其他行业 · AI应用
利用NVIDIA AI推理加速机器学习模型部署
Wealthsimple是一家知名的加拿大在线投资管理公司，面临机器学习模型部署耗时数月的问题。为解决此问题，他们采用了NVIDIA AI推理平台，利用NVIDIA A10G GPU和Triton推理服务器。这一战略举措改变了部署流程，将模型交付时间缩短至15分钟以内，并实现了99.999%的正常运行时间。结果，Wealthsimple现在支持30个AI模型，在过去一年中生成了1.45亿次预测，同时消除了与AI推理相关的IT支持工单，显著提高了客户服务可靠性。
模型部署时间
15分钟以内
来源披露
正常运行时间
99.999%
来源披露
推理服务延迟
降低20%
来源披露
01
业务背景
Wealthsimple是一家知名的加拿大在线投资管理公司，面临机器学习模型部署耗时数月的问题。为解决此问题，他们采用了NVIDIA AI推理平台，利用NVIDIA A10G GPU和Triton推理服务器。这一战略举措改变了部署流程，将模型交付时间缩短至15分钟以内，并实现了99.999%的正常运行时间。结果，Wealthsimple现在支持30个AI模型，在过去一年中生成了1.45亿次预测，同时消除了与AI推理相关的IT支持工单，显著提高了客户服务可靠性。
02
遇到的问题
无标准化AI推理平台，机器学习模型部署平均耗时数月，阻碍了为客户提供ML驱动的投资服务。
03
AI 解决方案
部署NVIDIA AI推理平台，采用NVIDIA Triton推理服务器和NVIDIA A10G GPU，实现模型在CPU和GPU上的硬件无关运行，并以ML即服务的形式交付，使模型部署时间从数月缩短到15分钟以内。
04
实施结果
模型部署时间：15分钟以内（从数月缩短到15分钟以内）
正常运行时间：99.999%（提升4.999个百分点）
推理服务延迟：降低20%（降低20%）
年预测量：1.45亿次（未披露）
AI相关IT工单：0（在过去一年半内无任何AI推理相关工单）
05
风险与边界
未披露
“NVIDIA’s AI inference platform has been the linchpin in our organization's ML success story, revolutionizing our model deployment, reducing downtime, and enabling us to deliver unparalleled service to our clients.”
Mandy Gu · Senior Software Development Manager at Wealthsimple
信息来源
1 个来源页面内容为结构化改写；关键结论应可追溯到以下材料。