其他行业 · AI应用
使用Amazon EKS驱动生成式AI
Ada在扩展运营以支持生成式AI应用日益增长的需求时，面临保持服务可用性的挑战。为此，实施了Amazon Elastic Kubernetes Service (EKS)，实现了容器化应用的高效管理。这一战略方法不仅使Ada实现了近乎零停机，还显著改进了工作流程优化并增强了技术能力。结果，Ada成功提升了服务交付，为用户提供了无缝体验，并成为IT和平台领域的领导者。
计算成本降低
15%
来源披露
计算效率提升
30%
来源披露
GPU使用成本效率提升
20%
来源披露
01
业务背景
Ada在扩展运营以支持生成式AI应用日益增长的需求时，面临保持服务可用性的挑战。为此，实施了Amazon Elastic Kubernetes Service (EKS)，实现了容器化应用的高效管理。这一战略方法不仅使Ada实现了近乎零停机，还显著改进了工作流程优化并增强了技术能力。结果，Ada成功提升了服务交付，为用户提供了无缝体验，并成为IT和平台领域的领导者。
02
遇到的问题
Ada在扩展运营以支持生成式AI应用时，面临自管理Kubernetes集群升级耗时过长（最多5个月）和严重影响服务可用性的挑战。维护复杂集群占用2-3名全职工程师，版本升级占全年错误预算的30%，导致高停机风险和工程创新受限。
03
AI 解决方案
将自管理集群完全迁移到Amazon EKS，利用AWS Global Accelerator实现蓝绿部署，通过逐步切流实现近零停机升级。应用Argo CD跨集群同步应用，采用GPU分片提高推理成本效率，并使用Spot实例和Graviton处理器进一步优化计算资源。
04
实施结果
计算成本降低：15%（降低15%）
计算效率提升：30%（提升30%）
GPU使用成本效率提升：20%（提升20%）
部署速度提升：70%（提升70%）
集群升级时间：5天（从最多5个月缩短到5天）
生成式AI自动解决率：最高77%（从20-30%提升到最高77%）
05
风险与边界
未披露
“Using Amazon EKS, we have much more time to develop and improve product capabilities to deliver a high-quality customer experience.”
Mike Gozzo · Chief Product and Technology Officer, Ada Support Inc.
信息来源
1 个来源页面内容为结构化改写；关键结论应可追溯到以下材料。