其他行业 · AI应用
Perplexity.AI在Azure AI Studio上构建Perplexity Ask
Perplexity.AI是一家搜索技术与对话式AI初创公司,在Azure AI Studio和Azure OpenAI Service上开发了Perplexity Ask——一种结合大语言模型与语义搜索的对话式答案引擎。该初创公司利用Azure的微调API和对Azure AI模型的早期访问,在数小时内完成原型,并在六个月内以精简团队推向市场。他们采用了ChatGPT 3.5和ChatGPT 4.0,并使用预配吞吐量单元(PTUs)和缓存来提高吞吐量、降低延迟和成本。
每月服务700万用户
未披露
吞吐量从每分钟30万token翻倍至60万
未披露
延迟降低了30%
未披露
01
业务背景
Perplexity.AI是一家搜索技术与对话式AI初创公司,在Azure AI Studio和Azure OpenAI Service上开发了Perplexity Ask——一种结合大语言模型与语义搜索的对话式答案引擎。该初创公司利用Azure的微调API和对Azure AI模型的早期访问,在数小时内完成原型,并在六个月内以精简团队推向市场。他们采用了ChatGPT 3.5和ChatGPT 4.0,并使用预配吞吐量单元(PTUs)和缓存来提高吞吐量、降低延迟和成本。
02
遇到的问题
03
AI 解决方案
04
实施结果
每月服务700万用户:
吞吐量从每分钟30万token翻倍至60万:
延迟降低了30%:
六个月内推向市场;数小时内完成首个原型:
Azure上的每token成本下降,增强了高吞吐量下的成本效益:
05
风险与边界
“”
信息来源
1 个来源页面内容为结构化改写;关键结论应可追溯到以下材料。