蚂蚁百灵开源 Ling-3.1-flash AI 模型,最高支持 1M 上下文
IT之家 10 月 16 日消息,蚂蚁百灵昨日宣布开源 Ling-3.1-flash 模型,Ling-3.1-flash 总参数约 560B,每个 Token 激活约 25B,最高支持 1M 上下文。 在 Artificial Analysis 的公开评测中,Ling-3.1-flash 的智能指数为 41、输出速度约为每秒 210 Token。 针对本地部署,团队对 routed experts 采用 MXFP4 量化、dense 层保持 block-FP8,权重占用从约 534GB 降至 292GB 。在对应的 Hopper GPU 测试配置中,服务部署由 8 卡降至 4 卡 ,让具备服务器级 GPU 的团队以更少卡数运行模型;实际需求仍随上下文、并发量和服务配置而变。 针对长资料处理,团队提供长上下文并行推理方案(PCP / DCP);工具调用也加强了对 JSON Schema 的支持,方便与现有业务接口对接。 企业知识问...
来自IT之家 AI的《蚂蚁百灵开源 Ling-3.1-flash AI 模型,最高支持 1M 上下文》。重点看模型能力与工程、评测与基准、文化创意。摘要提到:IT之家 10 月 16 日消息,蚂蚁百灵昨日宣布开源 Ling-3.1-flash 模型,Ling-3.1-flash 总参数约 560B,每个 Token 激活约 25B,最高支持 1M 上下文。 在 Artificial Analysis 的公开评测中,Ling-3.1-flash 的智能指数为 41、输出速度约为每秒 210 Token。 针对本地部署,团队对 routed experts 采用 MXFP4 量化、dense 层保持 block-FP8,权重占用从约 534GB 降至 292GB 。在对应的 Hopper GPU 测试配置中,服务部署由 8 卡降至 4 卡 ,让具备服务器级 GPU 的团队以更少卡数运行模型;实际需求仍随上下文、并发量和服务配置而变。 针对长资料处理,团队提供长上下文并行推理方案(PCP / DCP);工具调用也加强了对 JSON Schema 的支持,方便与现有业务接口对接。 企业知识问...
本站只提供摘要与原文入口。完整内容请阅读原文。
来源:IT之家 AI · ithome.com