跳到正文
IT之家 AI·· 29 分钟前精选评分76

每秒输出最高 43 词元:Garlic LLM 可让越狱 PS4 运行 9B 参数本地 AI 模型

摘要

IT之家 11 月 17 日消息,科技媒体 Gigazine 今天(11 月 17 日)发布博文, 报道称开源项目 Garlic LLM 可以让越狱版 PlayStation 4 运行 90 亿参数的本地大语言模型,最高生成速度可达每秒 43 个词元(Token) ,且无需联网即可完成 AI 聊天与语音对话。 该项目由开发者 Leonardo Alegria 创建,技术实现上是绕过 PS4 原本面向游戏图形处理的驱动程序,直接向其 AMD GCN 架构 GPU 下达底层指令,把游戏主机变成一台可运行 AI 推理的“离线电脑”。 由于 PS4 并未提供非官方程序调用的通用 GPU 计算接口或机器学习库,开发者自行开发 GPU 相关指令,让 PS4 游戏主机运行本地模型。 为了适配 PS4 有限的内存,Garlic LLM 采用阿里巴巴的 Qwen3.5-9B 模型基座,并将模型权重压缩为 3 位或 4 位量化格式,连同加速数据整体...

推荐理由

来自IT之家 AI的《每秒输出最高 43 词元:Garlic LLM 可让越狱 PS4 运行 9B 参数本地 AI 模型》。重点看模型能力与工程、开源生态、产品发布。摘要提到:IT之家 11 月 17 日消息,科技媒体 Gigazine 今天(11 月 17 日)发布博文, 报道称开源项目 Garlic LLM 可以让越狱版 PlayStation 4 运行 90 亿参数的本地大语言模型,最高生成速度可达每秒 43 个词元(Token) ,且无需联网即可完成 AI 聊天与语音对话。 该项目由开发者 Leonardo Alegria 创建,技术实现上是绕过 PS4 原本面向游戏图形处理的驱动程序,直接向其 AMD GCN 架构 GPU 下达底层指令,把游戏主机变成一台可运行 AI 推理的“离线电脑”。 由于 PS4 并未提供非官方程序调用的通用 GPU 计算接口或机器学习库,开发者自行开发 GPU 相关指令,让 PS4 游戏主机运行本地模型。 为了适配 PS4 有限的内存,Garlic LLM 采用阿里巴巴的 Qwen3.5-9B 模型基座,并将模型权重压缩为 3 位或 4 位量化格式,连同加速数据整体...

本站只提供摘要与原文入口。完整内容请阅读原文。

来源:IT之家 AI · ithome.com