腾讯混元姚顺雨团队:Hy4 仍有很大改进空间,计划训练更大规模模型
IT之家 11 月 21 日消息,11 月 21 日凌晨,腾讯首席 AI 科学家、混元大模型负责人姚顺雨和团队成员,在 Reddit 进行了一场持续 120 分钟的 AMA,回答全球开发者关于混元的“任何问题”。 问答环节,有人询问:字节跳动、Kimi 等似乎都在往 3 万亿、甚至 5 万亿参数的超大模型推进,而你们还在 7000 亿。为什么?你们怎么看参数量对模型能力的实际影响?这方面有什么计划? 混元团队回应:“Hy3 和 Hy4 已经表明, 做得扎实的小模型也能超过更大的模型。 它们的成本也更低,而且在这个过程中,你能学到更多、收获更多。” 不过,混元团队也表示,Hy4 仍有很大的改进空间,尤其是通过后训练。“我们正投入大量精力进行大规模强化学习,同时继续改善用户体验和模型安全。 我们还计划训练更大规模的模型 。” 对于是否有可能推出 240 亿到 310 亿参数的稠密模型?该团队表示:“有可能,我们正在考虑。” 对于是否...
来自IT之家 AI的《腾讯混元姚顺雨团队:Hy4 仍有很大改进空间,计划训练更大规模模型》。重点看模型能力与工程。摘要提到:IT之家 11 月 21 日消息,11 月 21 日凌晨,腾讯首席 AI 科学家、混元大模型负责人姚顺雨和团队成员,在 Reddit 进行了一场持续 120 分钟的 AMA,回答全球开发者关于混元的“任何问题”。 问答环节,有人询问:字节跳动、Kimi 等似乎都在往 3 万亿、甚至 5 万亿参数的超大模型推进,而你们还在 7000 亿。为什么?你们怎么看参数量对模型能力的实际影响?这方面有什么计划? 混元团队回应:“Hy3 和 Hy4 已经表明, 做得扎实的小模型也能超过更大的模型。 它们的成本也更低,而且在这个过程中,你能学到更多、收获更多。” 不过,混元团队也表示,Hy4 仍有很大的改进空间,尤其是通过后训练。“我们正投入大量精力进行大规模强化学习,同时继续改善用户体验和模型安全。 我们还计划训练更大规模的模型 。” 对于是否有可能推出 240 亿到 310 亿参数的稠密模型?该团队表示:“有可能,我们正在考虑。” 对于是否...
本站只提供摘要与原文入口。完整内容请阅读原文。
来源:IT之家 AI · ithome.com