清华团队开源大模型推理引擎赤兔，实现DeepSeek推理成本降低一半
IT之家 3 月 14 日消息，清华大学高性能计算研究所翟季冬教授团队、清华系科创企业清程极智今日联合宣布，大模型推理引擎“赤兔 Chitu”现已开源。
据介绍，该引擎首次实现在非英伟达 Hopper 架构 GPU 及各类国产芯片上原生运行 FP8 精度模型，实现 DeepSeek 推理成本降低一半、性能翻番。其定位为“生产级大模型推理引擎”，提供如下特性：
多元算力适配：不仅支持 NVIDIA 最新旗舰到旧款的多系列产品，也为国产芯片提供优化支持。
全场景可伸缩：从纯 CPU 部署、单 GPU 部署到大规模集群部署，赤兔引擎提供可扩展的解决方案。
长期稳定运行：可应用于实际生产环境，稳定性足以承载并发业务流量。
官方表示，当前开源的赤兔引擎在部署 DeepSeek-R1-671B 满血版时，在 A800 集群的测试中，相比部分国外开源框架，实现了 GPU 使用量减少 50% 的同时，推理速度提升 3.15 倍。
IT之家附开源地址：
https://github.com/thu-pacman/chitu
相关阅读:
- 2025-06-12 07:42:00 亚马逊首席安全官呼吁美政府减少AI监管，否则会妨碍技术进步
- 2025-06-12 02:03:00 工信部两度部署“人工智能+”行动 产业发展进度加快
- 2025-06-11 14:26:00 微软发布Win10 22H2/21H2六月累积更新
- 2025-06-08 07:40:00 河北加快推进特色产业集群省级以上检验检测机构建设
- 2025-06-02 19:13:00 Anthropic开源神经网络追踪工具，可生成归因图
- 2025-05-31 10:05:00 江门设立“科技工作者之家” 服务6万名科技人才
