其他行业 · AI应用
利用低延迟生成式 AI 加速视频创作
Gan.AI 面临视频创作高延迟的挑战，这阻碍了大规模为粉丝制作个性化视频消息的能力。为解决此问题，该公司实施了 Amazon SageMaker 来托管多模型端点，显著提高了视频推理时间和运营效率。结果，Gan.AI 成功使 3000 名并发用户在一分钟内生成自定义视频，在三小时内制作了 100 万个独特视频。该活动不仅获得了超过 1 亿次展示，还使品牌知名度提高了 2.5 倍，展示了低延迟生成式 AI 在内容创作中的变革性影响。
平均自定义视频创建时间
50
来源披露
并发生成视频数
3000
来源披露
3小时内生成独特视频数
1000000
来源披露
01
业务背景
Gan.AI 面临视频创作高延迟的挑战，这阻碍了大规模为粉丝制作个性化视频消息的能力。为解决此问题，该公司实施了 Amazon SageMaker 来托管多模型端点，显著提高了视频推理时间和运营效率。结果，Gan.AI 成功使 3000 名并发用户在一分钟内生成自定义视频，在三小时内制作了 100 万个独特视频。该活动不仅获得了超过 1 亿次展示，还使品牌知名度提高了 2.5 倍，展示了低延迟生成式 AI 在内容创作中的变革性影响。
02
遇到的问题
Gan.AI面临视频创作高延迟挑战，生成每段个性化视频最多耗时4分钟，生成式AI模型推理是主要瓶颈，阻碍了大规模实时视频制作能力。消费者需要快速响应，即使是2分钟等待也过长。
03
AI 解决方案
采用Amazon SageMaker多模型端点托管深度学习模型，利用GPU加速推理；同时使用AWS Lambda卸载非GPU进程，实现资源高效利用。多模型端点消除了5-6分钟的冷启动延迟，使多个内容请求能在30-40秒内完成服务。架构支持单GPU实例并发处理最多5个请求，并可通过自动扩容从8-10个实例扩展到约200个实例。
04
实施结果
平均自定义视频创建时间：50（从4分钟降至50秒）
并发生成视频数：3000（未披露）
3小时内生成独特视频数：1000000（未披露）
多内容请求服务时间：30-40（从5-6分钟降至30-40秒）
05
风险与边界
未披露
“Amazon SageMaker helped us host multi-model endpoints without a high cold-start latency of 5-6 minutes. Now, we can serve multiple content requests within 30-40 seconds and scale without much engineering effort.”
Suvrat Bhooshan · Chief Executive Officer at Gan.AI
信息来源
1 个来源页面内容为结构化改写；关键结论应可追溯到以下材料。