其他行业 · AI应用
Faraday Lab 使用 Amazon SageMaker 在数天内部署面向法语用户的 LLM
Faraday Lab 是一家成立于 2023 年的法国初创公司，发现了一个关键挑战：通过训练相关数据集上的大语言模型 (LLM) 使生成式 AI 更易于法语用户使用。为解决这一问题，他们迁移到 AWS 并利用 Amazon SageMaker，显著简化了训练流程。结果，他们将 LLM 训练时间缩短了 50%，降至仅两天，并将推理速度提高了 30%。这种方法不仅提高了运营效率，还确保了数据主权和 GDPR 合规性，最终将模型部署时间缩短至仅 15 天。
LLM训练时间缩短
50% faster
来源披露
训练耗时
2天
来源披露
推理速度提升
30%
来源披露
01
业务背景
Faraday Lab 是一家成立于 2023 年的法国初创公司，发现了一个关键挑战：通过训练相关数据集上的大语言模型 (LLM) 使生成式 AI 更易于法语用户使用。为解决这一问题，他们迁移到 AWS 并利用 Amazon SageMaker，显著简化了训练流程。结果，他们将 LLM 训练时间缩短了 50%，降至仅两天，并将推理速度提高了 30%。这种方法不仅提高了运营效率，还确保了数据主权和 GDPR 合规性，最终将模型部署时间缩短至仅 15 天。
02
遇到的问题
大多数生成式AI基于英语数据集训练的大语言模型，导致法语用户访问受限且存在语言多样性不足的问题。
03
AI 解决方案
迁移到AWS，使用Amazon SageMaker训练和微调大语言模型。与Data Reply France合作清洗开源数据集，将样本从1400万减少到10万，精选1万法语议会高质量样本。基于Llama 2 Chat基础模型微调，15天内部署了面向法语的LLM，并提供Ares chat无代码界面和Ares creative图像生成工具。
- 1与Data Reply France合作清洁开放数据集，将样本数从1400万压缩至10万，并筛选10,000条高质量法语议会语言样本。
- 2使用Amazon SageMaker对Llama 2 Chat基础模型进行微调训练。
- 3在15天内将微调后的模型部署为Ares chat（无代码聊天界面）和Ares creative（基于Stable Diffusion XL 1.0的图像生成工具），并通过Chrome扩展和网站提供访问。
04
实施结果
LLM训练时间缩短：50% faster（50%）
训练耗时：2天
推理速度提升：30%（30%）
部署时间：15天
前6个月模型下载用户数：10,000
ARIA 70B v3 MMLU评分：64.75
05
风险与边界
未披露
“I would invite all startups to use Amazon SageMaker to train their LLMs. You have the best of both worlds with inference capacity and cost-effective training capacity.”
William Elong · CEO
信息来源
1 个来源页面内容为结构化改写；关键结论应可追溯到以下材料。