专为大模型设计:新芯航途 X7 Ultra 芯片中国首发量产 Armv9 车规级 CPU
IT之家 10 月 29 日现场消息,在今天的发布会上,XHEART 新芯航途 CEO 李宗霖正式发布全新 X7 Ultra 大模型芯片。 据介绍,这枚芯片专为大模型设计,拥有超大核 NPU 架构,核内数据交互对比核间数据交互, 互联速率 TB/s 数量级提升 。另外,芯片的多级缓存架构支持大容量、高并发特性,可降低推理时延与功耗。 新芯航途 X7 Ultra 大模型芯片内置高精度大模型专用算子加速引擎,针对 Layernorm、Softmax、Transpose 等一系列 Transformer 大模型关键算子进行极致硬件优化,原生支持 FP16/FP32 高精度向量计算,保障模型精度。 通过架构与工具链协同创新, X7 Ultra 支持可部署模型参数量实现 10 倍提升 ,让更大的模型在车端高效运行。 根据新芯航途官方公布的数据,X7 Ultra 的 NPU 硬件并行度解锁可充分释放大模型推理潜能, 计算利用率达 98.7%...
来自IT之家 AI的《专为大模型设计:新芯航途 X7 Ultra 芯片中国首发量产 Armv9 车规级 CPU》。重点看模型能力与工程、文化创意、产品发布。摘要提到:IT之家 10 月 29 日现场消息,在今天的发布会上,XHEART 新芯航途 CEO 李宗霖正式发布全新 X7 Ultra 大模型芯片。 据介绍,这枚芯片专为大模型设计,拥有超大核 NPU 架构,核内数据交互对比核间数据交互, 互联速率 TB/s 数量级提升 。另外,芯片的多级缓存架构支持大容量、高并发特性,可降低推理时延与功耗。 新芯航途 X7 Ultra 大模型芯片内置高精度大模型专用算子加速引擎,针对 Layernorm、Softmax、Transpose 等一系列 Transformer 大模型关键算子进行极致硬件优化,原生支持 FP16/FP32 高精度向量计算,保障模型精度。 通过架构与工具链协同创新, X7 Ultra 支持可部署模型参数量实现 10 倍提升 ,让更大的模型在车端高效运行。 根据新芯航途官方公布的数据,X7 Ultra 的 NPU 硬件并行度解锁可充分释放大模型推理潜能, 计算利用率达 98.7%...
本站只提供摘要与原文入口。完整内容请阅读原文。
来源:IT之家 AI · ithome.com