利用Amazon SageMaker上的生成式AI改善聊天体验

奥迪股份公司（Audi AG）面临员工花费过多时间搜索内部文档的挑战，这阻碍了生产力和效率。为解决此问题，该公司部署了基于Amazon SageMaker的生成式AI聊天机器人，采用检索增强生成技术。这一创新方法改变了员工获取信息的方式，将搜索时间从数小时缩短至数秒。结果，奥迪不仅提高了整体生产力，还通过提供高保真响应增强了用户体验，使员工能够专注于核心任务，为组织带来更好的成果。

奥迪内部知识库快速增长，员工难以快速找到所需文档，常花费数小时搜索信息，导致生产力损失和服务响应时间不佳。

基于Amazon SageMaker部署的生成式AI聊天机器人，采用检索增强生成（RAG）技术。方案通过Confluence API获取文档并进行文本分块、嵌入，存入Amazon OpenSearch向量数据库。用户查询时先经嵌入与LLM提取关键信息，再在向量库中进行语义检索，最后结合上下文和提示词由LLM（Falcon 7B-Instruct或Llama-2 13B-Chat）生成回答。整个系统由Lambda协调，前端托管在S3与CloudFront上，并通过API Gateway、Cognito实现安全交互，所有组件部署在VPC内以保障数据隐私。

1. 1数据摄入：从Confluence获取文档，转换为文本，分块并生成嵌入向量，存储至Amazon OpenSearch向量数据库。
2. 2聊天推理：用户通过Cognito认证后在前端提交查询，经API Gateway传入Lambda，将查询转换为嵌入，再由LLM提取查询关键信息，在向量库中检索最相关上下文，最终LLM根据提示和上下文生成回答。

模型有时难以处理较长查询；对于涉及具体名称的问题无法正确回答；平均延迟约6秒，对实时应用可能偏高。