跳到正文
IT之家 AI·· 12 小时前评分72

腾讯混元 Hy4 flash 模型发布:224B 总参、12B 激活,单任务成本约 Hy4 的 5%

摘要

IT之家 11 月 16 日消息,腾讯混元团队今天宣布正式推出 Hy4 flash,官方将其定位为迄今性价比最高的 Hy 模型。 其模型总参数量 224B,其中包含 64B Engram 参数,每个 token 激活 12B 参数,支持多模态输入与 100 万 token 上下文长度,API 价格较 Hy4 大幅降低。 腾讯表示,Hy4 flash 的高性价比来自预训练、后训练和推理三个阶段的协同优化。预训练阶段引入混合注意力、LatentMoE 与 Engram(IT之家注:Engram 是一种可扩展的查表式参数模块,用于以较低算力成本扩充模型容量)等架构,KV cache 大小降至 Hy3 的 1/24、Hy4 的 1/6。后训练阶段通过自蒸馏 Hy4 获得综合智能水平,再经强化学习将端到端任务输出长度压缩 50%。推理阶段结合 megakernel、4bit 量化和 dflash 等手段,解码速度超过 150 tps,支持...

推荐理由

来自IT之家 AI的《腾讯混元 Hy4 flash 模型发布:224B 总参、12B 激活,单任务成本约 Hy4 的 5%》。重点看模型能力与工程、产品发布。摘要提到:IT之家 11 月 16 日消息,腾讯混元团队今天宣布正式推出 Hy4 flash,官方将其定位为迄今性价比最高的 Hy 模型。 其模型总参数量 224B,其中包含 64B Engram 参数,每个 token 激活 12B 参数,支持多模态输入与 100 万 token 上下文长度,API 价格较 Hy4 大幅降低。 腾讯表示,Hy4 flash 的高性价比来自预训练、后训练和推理三个阶段的协同优化。预训练阶段引入混合注意力、LatentMoE 与 Engram(IT之家注:Engram 是一种可扩展的查表式参数模块,用于以较低算力成本扩充模型容量)等架构,KV cache 大小降至 Hy3 的 1/24、Hy4 的 1/6。后训练阶段通过自蒸馏 Hy4 获得综合智能水平,再经强化学习将端到端任务输出长度压缩 50%。推理阶段结合 megakernel、4bit 量化和 dflash 等手段,解码速度超过 150 tps,支持...

本站只提供摘要与原文入口。完整内容请阅读原文。

来源:IT之家 AI · ithome.com