其他行业 · AI应用
生成式AI问答聊天助手
Amazon 财务自动化部门发现，在高效回答客户查询方面存在重大挑战，初始回答准确率仅为49%。为了解决这个问题，他们使用 Amazon Bedrock 开发了一个生成式AI问答聊天助手，采用了检索增强生成（RAG）管道。这种创新方法包括文档语义分块和提示工程等增强措施，共同将回答准确率提升至86%。因此，该系统不仅减少了财务运营的查询响应时间，还通过提供及时准确的答案显著提高了客户满意度。
回答准确率
86%
来源披露
检索上下文相关性
75–80%
来源披露
01
业务背景
Amazon 财务自动化部门发现，在高效回答客户查询方面存在重大挑战，初始回答准确率仅为49%。为了解决这个问题，他们使用 Amazon Bedrock 开发了一个生成式AI问答聊天助手，采用了检索增强生成（RAG）管道。这种创新方法包括文档语义分块和提示工程等增强措施，共同将回答准确率提升至86%。因此，该系统不仅减少了财务运营的查询响应时间，还通过提供及时准确的答案显著提高了客户满意度。
02
遇到的问题
Amazon财务自动化的应付账款(AP)和应收账款(AR)分析师在回答客户查询时，需要联系主题专家并查阅大量政策文档，流程耗时数小时至数天，初始AI助手回答准确率仅为49%，严重影响响应效率和客户体验。
03
AI 解决方案
基于Amazon Bedrock构建检索增强生成(RAG)流水线，使用OpenSearch Service作为向量存储，Amazon Titan嵌入模型进行文档语义向量化，通过语义分块、提示工程、多样性排序及防丢失中间排序器优化检索与生成质量，并集成Amazon Bedrock Guardrails检测PII和防护提示注入，验证引擎防止幻觉，Streamlit提供聊天UI，最终大幅提高回答准确率。
- 1构建初始RAG流水线并评估基线准确率为49%
- 2实施文档语义分块，将准确率从49%提升至64%
- 3通过提示工程将准确率从64%提升至76%
- 4采用Amazon Titan Text Embeddings模型将准确率从76%提升至86%
04
实施结果
回答准确率：86%（+37个百分点）
检索上下文相关性：75–80%（提升约20个百分点）
05
风险与边界
初始版本因固定大小文档分块导致上下文不完整，14%的不准确由不完整上下文引起；LLM在无相关上下文时仍生成答案产生幻觉（约14%案例）；响应过简短缺乏完整信息（约13%案例）；检索上下文相关性低（55-65%），需要多次迭代改进；后续计划迁移到Amazon Bedrock知识库以消除集群管理负担。
信息来源
1 个来源页面内容为结构化改写；关键结论应可追溯到以下材料。