2。该引擎初次实现正在非英伟达Hopper架构GPU及各类国产芯片上原生运转FP8精度模子，打破硬件绑定窘境。
3。赤兔引擎正在机能优化和架构顺应性方面展示了显著劣势，GPU利用量削减50%，推理速度仍有3。15倍提速。赤兔引擎方针成立笼盖从纯CPU到大规模集群的全场景大模子摆设需求，适配英伟达多款GPU及多款国产芯片。
14日，大学高机能计较研究所翟季冬传授团队取系科创企业清程极智结合颁布发表，开源大模子推理引擎“赤兔Chitu”，该引擎初次实现正在非英伟达Hopper架构GPU及各类国产芯片上原生运转FP8精度模子，为国产AI芯片的普遍使用和生态扶植带来了新的冲破。
正在帮帮企业降本增效的同时，赤兔引擎的手艺可实现模子结果不受损。这一源于团队对GeMM、MoE等核默算子的指令级优化，间接处置FP8数据而非简单量化，确保模子精度无损。
然而，当前全球领先的FP8模子持久依赖英伟达H系列高端GPU，这使得国内企业正在摆设大模子时受限于AI芯片的。一方面，英伟达H系列芯片的进口受限，导致国内企业难以获取高机能硬件支撑；另一方面，大大都国产芯片因不支撑FP8数据类型，无法充实阐扬新一代AI模子的机能，企业摆设成本昂扬。
DeepSeek的成长鞭策了 FP8 精度模子成为行业支流，跟着DeepSeek的持续火热， 企业大模子私有化摆设的需求也呈现井喷态势。
本次开源的版本出格聚焦于当前市场最火急的需求——将DeepSeek-R1 FP8精度模子无损且高效地摆设正在存量英伟达GPU上。团队暗示，针对多款国产芯片出格优化的版本也将连续开源。这一冲破不只为企业供给了更高效、更矫捷的AI摆设处理方案，降低了大模子落地门槛，也为国产AI算力的成长带来了新的契机。
本年以来，跟着DeepSeek—R1、QwQ 等优良的国产开源大模子的不竭出现，大模子私有化摆设的需求越来越兴旺，但大模子摆设和运营成本居高不下，因而显著降低推理成本对推广 AI 使用至关主要。为此，赤兔引擎从底层设想上便将“算力效率”做为首要优化方针，力图以更低资本耗损实现更高机能输出。
目前，赤兔引擎方针成立笼盖从纯CPU到大规模集群的全场景大模子摆设需求，适配英伟达多款GPU及多款国产芯片。同时面临市场上分歧的大模子算力优化需求，赤兔支撑低延迟、高吞吐、小显存三方面优化，用最低成本实现最高机能。”基于如许的设想，集成赤兔引擎的大模子摆设办事客户笼盖面很是普遍。
大学高机能计较研究所翟季冬传授团队取清程极智结合颁布发表开源大模子推理引擎“赤兔Chitu”。
专注AIGC范畴的专业社区，关心微软&OpenAI、百度文心一言、讯飞星火等狂言语模子（LLM）的成长和使用落地，聚焦LLM的市场研究和AIGC开辟者生态，欢送关心！
跟着“赤兔”引擎的开源，“国产大模子+国产引擎+国产芯片”手艺闭环正正在加快成型，中国大模子财产从手艺到生态的全面冲破，已按下加快键。“无论用什么卡，赤兔城市是高性价比的选择。”赤兔团队的这句话折射出国产AI根本设备从逃逐迈向引领的决心。
大学翟季冬传授强调，赤兔凝结了团队多年并行计较取编译优化手艺堆集，方针是“弥合先辈模子取多样化硬件之间的差距，让国产算力实正‘跑起来’，为中国大模子财产落地供给环节支持”。清程极智CEO汤雄超暗示：“赤兔的定位是成为毗连多元算力取大模子使用的桥梁。我们不只支撑英伟达全系列GPU，还针对国产芯片深度优化，将来将连续开源适配版本。”。
此外，清程极智推出基于赤兔的“推理一体机”，供给开箱即用摆设方案及专业运维办事，进一步简化企业AI落地流程。
正在首期开源版本中，赤兔引擎摆设DeepSeek-R1-671B满血版时，正在A800集群的测试中，比拟部门国外开源框架，GPU利用量削减50%的环境下推理速度仍有3。15倍提速。这意味着企业能够用更少的硬件资本获得更高的推能，极大降低了摆设门槛和运营成本。
清程极智CEO汤雄超暗示：当前国内正在推理引擎这一焦点环节，仍缺乏出产级开源产物。开源“赤兔”引擎是帮力国内AI生态扶植的主要一步。赤兔团队取多家国产芯片厂商展开合做，代码贡献通道，缩短硬件适配周期。“开源不只是手艺共享，更是为国产芯片‘抢时间’，当新模子或数据类型呈现时，赤兔能帮力国产芯片跟上国际节拍，缩小取国际先辈芯片之间的‘时间差’。”汤雄超暗示。