其他行业 · AI应用
使用 NVIDIA NeMo 为印度市场提供可扩展且经济高效的 AI
CoRover.ai 发现印度市场面临一个重大挑战：需要可扩展且经济高效的 AI 解决方案来满足多样化的业务需求。为此，该组织利用 NVIDIA NeMo（一个用于开发高级自然语言处理能力的强大框架）创建了高效且价格合理的 AI 解决方案。这种方法的影响深远，实现了 AI 工具的快速部署，增强了通信能力，并推动了印度各行业的创新。
首令牌时间缩短
70%
来源披露
输出令牌吞吐量提升
20-25%
来源披露
开发工作量
大幅减少
来源披露
01
业务背景
CoRover.ai 发现印度市场面临一个重大挑战：需要可扩展且经济高效的 AI 解决方案来满足多样化的业务需求。为此，该组织利用 NVIDIA NeMo（一个用于开发高级自然语言处理能力的强大框架）创建了高效且价格合理的 AI 解决方案。这种方法的影响深远，实现了 AI 工具的快速部署，增强了通信能力，并推动了印度各行业的创新。
02
遇到的问题
印度企业面临重大挑战，缺乏能理解22种官方语言及众多方言的AI代理；CoRover在将对话AI平台扩展至数百万用户时出现延迟、吞吐量受限和性能瓶颈，亟需可扩展、高性能且成本高效的解决方案。
03
AI 解决方案
基于NVIDIA NeMo堆栈构建模块化架构，利用针对22种印度语言微调的BharatGPT大模型，结合NVIDIA A100/H100 GPU进行训练与推理；使用NVIDIA Riva提供语音AI，通过Triton Inference Server和TensorRT优化推理，实现低延迟、高并发的文本、语音和视频多模态对话体验，支持人口规模部署并降低云计算成本。
04
实施结果
首令牌时间缩短：70%（70%）
输出令牌吞吐量提升：20-25%（20-25%）
开发工作量：大幅减少（大幅减少）
云计算成本：降低（降低）
能源效率：每瓦处理请求数增加（每瓦更多请求）
并发能力：增强（增强）
05
风险与边界
未披露
“We are able to improve our platform with the help of NVIDIA, and in parallel, we are able to deploy our LLM-powered AI agents, as well.”
Ankush Sabharwal · Founder and CEO, CoRover.ai
信息来源
1 个来源页面内容为结构化改写；关键结论应可追溯到以下材料。