"Giải Cứu" Đám Mây – Tối Ưu Hóa Chi Phí Hạ Tầng (Cloud FinOps) Bằng Kiến Trúc Kubernetes KEDA Và Spot Instances Giảm 60% Hóa Đơn AWS

Bối cảnh dự án và "Cơn Ác Mộng" Hóa Đơn Đám Mây: Điện toán đám mây (Cloud Computing) từng được quảng cáo là "chiếc đũa thần" giúp các doanh nghiệp tiết kiệm chi phí mua sắm máy chủ vật lý, chỉ phải trả tiền cho những gì mình sử dụng (Pay-as-you-go). Thế nhưng, khi các doanh nghiệp công nghệ phát triển đến quy mô lớn với hàng trăm dịch vụ vi mô (Microservices), đám mây nhanh chóng biến thành một "hố đen" nuốt chửng dòng tiền. Case Study này phân tích bài toán thực tế của một nền tảng SaaS chuyên cung cấp giải pháp tổng đài chăm sóc khách hàng đa kênh (Omnichannel Contact Center) đang phục vụ hàng chục triệu tương tác mỗi ngày.

Mặc dù có nguồn doanh thu tăng trưởng ấn tượng, ban giám đốc công ty đã vô cùng sốc khi hóa đơn sử dụng hạ tầng Amazon Web Services (AWS) hàng tháng liên tục vượt quá mức 450.000 USD, ăn mòn nghiêm trọng biên lợi nhuận ròng. Vấn đề cốt lõi nằm ở tư duy "Sợ sập web" (Fear of Downtime) của đội ngũ vận hành. Lưu lượng cuộc gọi của khách hàng có tính chu kỳ rất rõ rệt: Cao điểm từ 9h sáng đến 5h chiều, và gần như bằng 0 vào ban đêm. Tuy nhiên, để đảm bảo hệ thống không bị quá tải khi có chiến dịch quảng cáo đột xuất, đội ngũ DevOps đã cấp phát quá mức (Over-provisioning) số lượng máy chủ (EC2 instances). Họ chạy liên tục hàng ngàn máy chủ công suất lớn 24/7, khiến tỷ lệ sử dụng CPU (CPU Utilization) trung bình toàn hệ thống chỉ đạt mức lẹt đẹt 18%. Hơn 80% tài nguyên tính toán đang bị lãng phí hoàn toàn, nhưng công ty vẫn phải trả tiền theo giờ cho AWS. Một chiến dịch "Đại phẫu hạ tầng" mang tinh thần Cloud FinOps (Quản trị Tài chính Đám mây) đã được khởi động khẩn cấp.

Giải pháp Kiến trúc 1: Tự động hóa độ co giãn theo Sự kiện bằng Kubernetes KEDA: Bước đầu tiên trong hành trình cắt giảm chi phí là khiến cho hệ thống biết cách tự động "phình to" khi đông khách và "teo nhỏ" khi vắng khách một cách thông minh, thay vì dựa vào các cảnh báo CPU tĩnh truyền thống. Đội ngũ kiến trúc sư đã đóng gói lại toàn bộ ứng dụng và chuyển dịch vào hệ thống điều phối container Kubernetes (EKS).

Trọng tâm của sự thay đổi là việc triển khai công nghệ KEDA (Kubernetes-based Event Driven Autoscaling). Thay vì đo đạc CPU, KEDA kết nối trực tiếp với hệ thống hàng đợi thông điệp nội bộ (như RabbitMQ hay AWS SQS). Thuật toán được tinh chỉnh như sau: "Cứ mỗi 100 cuộc gọi đang nằm chờ trong hàng đợi, tự động sinh thêm 1 cụm máy chủ (Pod) xử lý. Khi số lượng cuộc gọi trong hàng đợi bằng 0 (vào ban đêm), hãy thu hẹp số lượng Pod xử lý về con số 0 (Scale-to-Zero)". Việc mạnh dạn cấu hình Scale-to-Zero cho các dịch vụ nền (Background workers) đã lập tức giải phóng một lượng tài nguyên RAM và CPU khổng lồ trong các khung giờ thấp điểm, chấm dứt việc trả tiền cho các máy chủ chạy không tải (Idle).

Giải pháp Kiến trúc 2: Khai thác "Mỏ vàng" Spot Instances bằng Karpenter: Tuy nhiên, thu hẹp quy mô bên trong phần mềm là chưa đủ nếu số lượng máy chủ vật lý áo (EC2 Nodes) bên dưới không giảm đi. Để tối ưu tận gốc mức giá thuê máy chủ, đội ngũ FinOps đã nhắm đến một vũ khí tối thượng của AWS: Spot Instances. Đây là những phần tài nguyên máy chủ dư thừa tại các trung tâm dữ liệu được AWS đem ra bán đấu giá rớt với mức giá rẻ hơn từ 70% đến 90% so với giá thông thường (On-demand). Rủi ro duy nhất của Spot Instance là AWS có quyền "giật lại" (Terminate) máy chủ đó bất cứ lúc nào với thời gian báo trước chỉ vỏn vẹn 2 phút. Việc chạy các hệ thống quan trọng trên Spot thường được coi là tự sát.

Để kiểm soát rủi ro này, đội ngũ đã triển khai Karpenter – một trình cấp phát máy chủ tự động thế hệ mới, linh hoạt hơn gấp nhiều lần công cụ Cluster Autoscaler cũ. Karpenter được cấu hình với chiến lược Đa dạng hóa (Diversification). Khi hệ thống cần thêm máy chủ để đáp ứng lưu lượng, Karpenter sẽ tự động đi lùng sục trên chợ Spot của AWS, mua những loại máy chủ rẻ nhất và ít bị tranh giành nhất ở nhiều vùng khả dụng (Availability Zones) khác nhau.

Khi AWS gửi tín hiệu cảnh báo sắp thu hồi một máy chủ Spot (Spot Interruption Notice), Karpenter chỉ có 2 phút để hành động. Ngay lập tức, nó kích hoạt thuật toán Cordon & Drain: Ra lệnh cho các ứng dụng đang chạy trên máy chủ sắp "chết" đó dừng nhận cuộc gọi mới, đóng gói công việc và di tản mượt mà sang một máy chủ mới vừa được Karpenter cấp tốc tạo ra ở chế độ On-demand dự phòng an toàn. Toàn bộ quá trình tháo chạy và tái thiết lập này diễn ra hoàn toàn tự động chỉ trong khoảng 45 giây, người dùng cuối đang gọi điện tổng đài hoàn toàn không cảm nhận được bất kỳ sự gián đoạn nào (Zero Downtime).

Kết quả Vận hành và Giá trị kinh tế chấn động: Sau 4 tháng triển khai hạ tầng KEDA và Karpenter, kết quả kiểm toán đám mây trả về đã làm kinh ngạc toàn bộ ban quản trị. Tỷ lệ sử dụng máy chủ Spot (Spot Coverage) trong cụm Kubernetes sản xuất đã đạt mức 82% một cách an toàn tuyệt đối. Hóa đơn AWS hàng tháng của tập đoàn đã rơi tự do từ 450.000 USD xuống chỉ còn 175.000 USD (giảm hơn 60%), tương đương với việc tiết kiệm được hơn 3.3 triệu USD tiền mặt mỗi năm. Tỷ lệ sử dụng CPU trung bình được tối ưu hóa từ 18% lên mức lý tưởng 65%.

Đáng kinh ngạc hơn, mặc dù hệ thống liên tục "khai tử" và "tạo mới" hàng trăm máy chủ giá rẻ mỗi ngày, tỷ lệ thời gian hoạt động (Uptime) của nền tảng tổng đài vẫn được duy trì vững chắc ở mức 99.99%. Case Study này là một minh chứng sống động cho triết lý Cloud FinOps hiện đại: Đám mây chỉ thực sự rẻ khi bạn sở hữu một đội ngũ kỹ sư có đủ năng lực kiến trúc (Architecture) để trị ngự và tự động hóa nó, biến những rủi ro về phần cứng giá rẻ thành một đòn bẩy tài chính vô giá cho doanh nghiệp.