其他行业 · AI应用
Open Arena:企业级 LLM 实验平台
Thomson Reuters 发现需要一个用户友好的平台,使员工无需大量编码知识即可实验大型语言模型(LLM)。为解决这一挑战,他们开发了 Open Arena,一个基于 Web 的 LLM 实验平台,利用 AWS 服务在六周内建成。这一创新解决方案通过允许超过 1,000 名内部用户无缝使用 AI 技术,促进了协作并推动了创新。每位用户平均交互时间为五分钟,Open Arena 显著增强了公司的研发能力,使团队能够探索 AI 领域的新想法和应用。
月度活跃用户
超过 1,000
来源披露
平均交互时长
5 分钟
来源披露
01
业务背景
Thomson Reuters 发现需要一个用户友好的平台,使员工无需大量编码知识即可实验大型语言模型(LLM)。为解决这一挑战,他们开发了 Open Arena,一个基于 Web 的 LLM 实验平台,利用 AWS 服务在六周内建成。这一创新解决方案通过允许超过 1,000 名内部用户无缝使用 AI 技术,促进了协作并推动了创新。每位用户平均交互时间为五分钟,Open Arena 显著增强了公司的研发能力,使团队能够探索 AI 领域的新想法和应用。
02
遇到的问题
Thomson Reuters 需要用户友好的平台,让员工无需大量编码知识即可实验大型语言模型(LLM),以促进全公司范围内的 AI 意识、激发创新用例。
03
AI 解决方案
开发 Open Arena,一个基于 Web 的企业级 LLM 实验平台。通过 Amazon SageMaker 部署和微调多种开源与自研 LLM(如 Flan-T5‑XL、Falcon 等),并利用 Hugging Face Deep Learning Containers 加速推理。前端为 Amazon S3 托管的静态网站,通过 Amazon CloudFront 和公司单点登录实现安全访问。后端采用 AWS Lambda 与 Amazon API Gateway 处理 API,Amazon DynamoDB 存储用户查询和反馈。平台提供预置的交互磁贴,包括与开源 LLM 聊天、上传文档提问、文本摘要等体验。集成了检索增强生成(RAG)管道,将内部语料库与 LLM 结合以输出更相关的结果。整套方案在 6 周内完成开发并上线,赋能非技术员工安全、便捷地探索生成式 AI。
- 1构想企业级 LLM 实验平台,明确安全、易用的目标,支持内部团队探索自研和开源模型。
- 2利用 AWS 无服务器和机器学习服务构建平台架构:使用 Amazon SageMaker 部署模型,Hugging Face DLCs 加速推理,AWS Lambda、Amazon API Gateway、Amazon DynamoDB 管理后端,Amazon S3 与 CloudFront 托管前端并集成单点登录。
- 3开发面向用户的交互界面,以预置磁贴(如“实验开源 LLM”“询问文档”“文本摘要”)降低使用门槛,内置 RAG 管道对接内部语料,持续丰富体验。
04
实施结果
月度活跃用户:超过 1,000(上线当月即突破 1,000 名用户)
平均交互时长:5 分钟(未披露)
05
风险与边界
未披露
“Open Arena gives employees from all parts of the company a chance to experiment with LLMs in a practical, hands-on way.”
Abby Pinto · Talent Development Solutions Lead, People Function
信息来源
1 个来源页面内容为结构化改写;关键结论应可追溯到以下材料。