AI推理调度联合体正式成立

数码
TIME
2025-07-28 11:18
通信世界网
分享

当前,大模型推理已成为算力需求的核心增长点。随着 AI 技术的快速迭代,算力需求结构正发生深层次转变 —— 从过去 70% 以上用于集中式训练,转向未来 70% 以上用于分布式推理。与此同时,国产化算力需求持续提升,全国国产卡占比已超 25%,其中国产卡中昇腾卡占比近 80%。然而,推理加速产业仍面临多重挑战:算力服务商与推理加速企业因信任壁垒难以深度合作;线下授权模式无法实现弹性扩缩容与动态计费;推理加速框架各自为战、缺乏开源协同生态;异构算力资源调度与适配效率不足。

为此,由中国信通院牵头与中国科技云、移动云、硅基流动共同成立“AI推理调度联合体” ,针对上述痛点问题提出创新性解决方案,依托中立第三方身份与长期产业培育经验,联合各方构建 “技术协同 + 生态共建 + 商业共赢” 的合作模式,具体包括:

一是创新动态授权与计费机制。联合体将基于中国信通院 License Server 搭建推理加速框架动态授权平台,由硅基流动等优质推理加速企业提供不同芯片上的最优推理加速框架,通过 “动态授权码” 助力算力服务商按需购买授权,降本增效,用户可通过实际使用时长按需付费,实现弹性扩缩容、使用最优推理加速框架。实现用户、算力提供商、推理加速提供商三方共赢的新生态!

二是构建开源协同生态。联合体将以中国信通院算网云系统开放社区(CNCOS)为基础,推动推理加速技术开源共享。基于开源推理加速框架 vLLM 及其优化方案,联合攻关 CPU/GPU 异构协同推理、多模态推理等关键技术,同时制定统一的接口规范与适配标准,解决不同框架 “各自闭塞、无法互通” 的问题,让算力服务商能为用户提供 “芯片 - 框架 - 调度” 一体化的最优推理加速服务。

三是实现异构算力高效调度。依托中国信通院 AICOS 架构(AI 云操作系统)的资源管理与编排能力,联合体将整合移动云、中国科技云等算力服务商的异构资源,通过跨域跨架构调度技术,实现大模型在不同芯片上的快速适配与高效部署,提升整体算力资源利用率。

此次 “AI 推理调度联合体” 的成立,标志着我国算力互联网在 “推理加速 + 生态协同” 领域迈出关键一步。通过整合技术、资源与生态优势,联合体将为 AI 产业发展注入新动能,为数字经济高质量发展提供坚实的算力支撑。

THE END
免责声明:本文系转载,版权归原作者所有;刊载之目的为传播更多信息,如内容不适请及时通知我们。