不用显卡:玩家靠停产傲腾内存跑通 2.8 万亿参数 Kimi K3 AI 模型,每秒输出 1.5 词元
IT之家 11 月 13 日消息,网友 u/IndividualSurvival 于 11 月 2 日在 Reddit 社区发帖,分享了一项家庭实验室尝试,在不配备显卡的情况下,使用已停产的英特尔傲腾持久内存, 成功运行 2.8 万亿参数的月之暗面 Kimi K3 模型。 IT之家注:“傲腾”(Intel Optane)是一套基于 3D XPoint 的内存与存储产品技术,是英特尔与美光共同开发的非易失性存储技术。该网友使用傲腾持久内存 200 系列,外形和安装方式接近服务器内存条,单条提供 128GB、256GB 和 512GB 三种容量,针对第三代至强可扩展处理器平台设计。 在配置方面,该网友使用 40 核第三代英特尔至强可扩展处理器(原文并未明确具体规格),以及傲腾持久内存 200 系列(原文并未明确具体容量),并使用 App Direct 模式(DRAM 和傲腾作为两个独立的数据空间呈现给软件)测试,并使用 llama....
来自IT之家 AI的《不用显卡:玩家靠停产傲腾内存跑通 2.8 万亿参数 Kimi K3 AI 模型,每秒输出 1.5 词元》。重点看模型能力与工程、产品发布。摘要提到:IT之家 11 月 13 日消息,网友 u/IndividualSurvival 于 11 月 2 日在 Reddit 社区发帖,分享了一项家庭实验室尝试,在不配备显卡的情况下,使用已停产的英特尔傲腾持久内存, 成功运行 2.8 万亿参数的月之暗面 Kimi K3 模型。 IT之家注:“傲腾”(Intel Optane)是一套基于 3D XPoint 的内存与存储产品技术,是英特尔与美光共同开发的非易失性存储技术。该网友使用傲腾持久内存 200 系列,外形和安装方式接近服务器内存条,单条提供 128GB、256GB 和 512GB 三种容量,针对第三代至强可扩展处理器平台设计。 在配置方面,该网友使用 40 核第三代英特尔至强可扩展处理器(原文并未明确具体规格),以及傲腾持久内存 200 系列(原文并未明确具体容量),并使用 App Direct 模式(DRAM 和傲腾作为两个独立的数据空间呈现给软件)测试,并使用 llama....
本站只提供摘要与原文入口。完整内容请阅读原文。
来源:IT之家 AI · ithome.com