企业服务TechCrunch
enterprise · 海外 AI 灵感
法国初创Kog推软件方案，让现有GPU加速LLM推理30倍
Kog通过底层GPU优化，在不更换硬件的情况下，将大模型推理速度提升30倍，已获200个潜在客户。
为什么有市场空间
国内AI应用爆发，但高端GPU供应受限，企业普遍面临算力成本高企。通过软件优化提升现有GPU利用率，可显著降低推理成本，尤其适合金融、制造等对数据安全敏感、无法完全上云的企业。此外，国内政策鼓励自主可控，此方案不依赖特定硬件，更契合国产芯片生态，市场潜力大。
01
背景故事
随着大模型应用普及，推理速度和成本成为瓶颈。企业虽拥有数据中心GPU，但受限于软件效率，无法发挥全部性能。Kog创始人Delalleau曾从事网络安全，擅长逆向工程，他相信通过深度优化GPU的底层操作，可以在现有硬件上榨取更多算力。团队耗时数月研究每款新GPU的细节，用类似白帽黑客的手法，找到传统CUDA未利用的性能。其技术预览在Hacker News上引发热议，展示了在AMD MI300X和Nvidia H200上实现极高解码速度，吸引众多企业关注。
02
落地效果
Kog在5月发布技术预览后，获得200个商业线索。目前种子轮由Varsity VC联合领投，并获法国Bpifrance和French Tech 2030支持。演示达到每请求3000 tokens/秒，但仅针对自研的20亿参数小模型。公司预计9月实现首个大模型10倍加速，届时将展示客户成果并寻求A轮融资。
栏目说明
本栏目内容由 AI 对海外科技媒体公开报道进行中文改写，并经创新性筛选、国内相关性门控与 MVP 可行性分析生成。 金点子用于灵感参考，不构成投资或创业建议。点击「查看原文」可追溯出处。