跳到正文
IT之家 AI·· 15 小时前评分70

2.4 万亿参数阿里通义千问 Qwen4-Max 正式上线:任务成本降低超 60%,后续将开源小尺寸模型

摘要

IT之家 11 月 16 日消息,阿里通义千问团队今日宣布推出新一代旗舰模型 Qwen4-Max,采用全新的 MoE(混合专家)架构,主干参数规模达到 2.4 万亿,原生支持视觉理解,并提供 100 万 Token 上下文窗口。 与此前 11 月 11 日先行开放的限时预览版不同,此次发布标志着 Qwen4-Max 作为正式版本接入千问 AI 平台,开发者可通过 Token Plan 或 API 调用。 Qwen4-Max 采用稀疏 MoE 架构,围绕 Attention、Residual 和 Embedding 三个层面做了系统性调整。每四层中三层使用 Gated DeltaNet 将历史信息压缩为固定状态,剩余一层以 Qwen Sparse Attention 按 block 粒度选择相关上下文,以降低长序列的注意力计算开销;Gated Residual 将残差流扩展为四条并行分支,增强跨层信息传递;N-gram Embed...

推荐理由

来自IT之家 AI的《2.4 万亿参数阿里通义千问 Qwen4-Max 正式上线:任务成本降低超 60%,后续将开源小尺寸模型》。重点看模型能力与工程、开源生态、产品发布。摘要提到:IT之家 11 月 16 日消息,阿里通义千问团队今日宣布推出新一代旗舰模型 Qwen4-Max,采用全新的 MoE(混合专家)架构,主干参数规模达到 2.4 万亿,原生支持视觉理解,并提供 100 万 Token 上下文窗口。 与此前 11 月 11 日先行开放的限时预览版不同,此次发布标志着 Qwen4-Max 作为正式版本接入千问 AI 平台,开发者可通过 Token Plan 或 API 调用。 Qwen4-Max 采用稀疏 MoE 架构,围绕 Attention、Residual 和 Embedding 三个层面做了系统性调整。每四层中三层使用 Gated DeltaNet 将历史信息压缩为固定状态,剩余一层以 Qwen Sparse Attention 按 block 粒度选择相关上下文,以降低长序列的注意力计算开销;Gated Residual 将残差流扩展为四条并行分支,增强跨层信息传递;N-gram Embed...

本站只提供摘要与原文入口。完整内容请阅读原文。

来源:IT之家 AI · ithome.com