其他行业 · AI应用
GPU 驱动的更智能、更快速的视觉搜索
微软必应团队在视觉搜索能力中面临目标检测速度慢的问题，这影响了用户体验。为解决此问题，他们从传统的 CPU 处理转向 Azure 中的 NVIDIA Tesla M60 GPU，并利用 NVIDIA cuDNN 和创新模型设计。这一战略转变将目标检测延迟从 2.5 秒大幅降低至 40 毫秒，实现了 60 倍的总性能提升。结果，用户现在能获得快速且相关的搜索结果，同时该组织还节省了超过 90% 的运营成本，显著提高了整体效率和用户满意度。
目标检测延迟
40毫秒
来源披露
目标检测延迟（初次迁移至GPU）
200毫秒
来源披露
运营成本节省
超过90%
来源披露
01
业务背景
微软必应团队在视觉搜索能力中面临目标检测速度慢的问题，这影响了用户体验。为解决此问题，他们从传统的 CPU 处理转向 Azure 中的 NVIDIA Tesla M60 GPU，并利用 NVIDIA cuDNN 和创新模型设计。这一战略转变将目标检测延迟从 2.5 秒大幅降低至 40 毫秒，实现了 60 倍的总性能提升。结果，用户现在能获得快速且相关的搜索结果，同时该组织还节省了超过 90% 的运营成本，显著提高了整体效率和用户满意度。
02
遇到的问题
微软必应团队在视觉搜索中面临目标检测延迟过高的挑战，CPU处理每张图像需要2.5秒，导致用户等待时间过长，无法满足实时性期望。
03
AI 解决方案
将目标检测平台从CPU迁移至Azure中配备NVIDIA Tesla M60 GPU的虚拟机，利用NVIDIA cuDNN加速深度学习库并将驱动模式切换至Tesla Compute Cluster，同时从两阶段的快速R-CNN模型转变为一阶段的单次检测模型以支持超过80个物体类别，并采用过滤器触发模型和ObjectStore键值存储来限制处理数据量和缓存结果，从而大幅降低延迟并节省成本。
- 1将目标检测平台从CPU迁移至Azure NV系列虚拟机，部署NVIDIA Tesla M60 GPU加速器。
- 2集成NVIDIA cuDNN GPU加速深度学习库，并将驱动模式由Windows Display Driver Model切换为Tesla Compute Cluster，进一步降低延迟。
- 3将检测流程从快速R-CNN两阶段过程升级为一阶段的单次检测过程，提升检测速度并扩展至80多个物体类别。
- 4引入过滤器触发模型和微软ObjectStore键值存储，限制实时处理的数据量并缓存结果，以节省超过90%的成本。
04
实施结果
目标检测延迟：40毫秒（60倍）
目标检测延迟（初次迁移至GPU）：200毫秒（约10倍）
运营成本节省：超过90%
模型更新周期：近乎即时（从月级缩短至即时）
可检测物体类别数：超过80个
05
风险与边界
未披露
“It drastically cuts down our innovation and production cycle from over a month on each update to almost instantaneous.”
Yan Wang · Senior Engineer, Bing
信息来源
1 个来源页面内容为结构化改写；关键结论应可追溯到以下材料。