本地推理引擎 llama.cpp 1.0.0 史诗级更新:支持超 150 种模型架构,断网也能满血跑大模型
IT之家 11 月 14 日消息,开发者 Georgi Gerganov(X 账号为 @ggerganov)昨日(11 月 13 日)在 X 平台发布推文, 宣布开源 AI 推理项目 llama.cpp 与底层机器学习引擎 ggml 的库版本迈入 1.0.0。 IT之家查询公开资料,Gerganov 是开源项目 llama.cpp 的创建者,也是 ggml、 whisper.cpp 等本地 AI 基础软件的重要开发者。他在个人 X 简介中将自己标注为 Hugging Face 工程师,GitHub 资料所在地为保加利亚索非亚。 llama.cpp 是一个主要用 C/C++ 编写的开源 AI 推理项目,核心作用是让大语言模型在个人电脑、服务器等不同硬件上运行。它既可以用于本地部署,也可以用于云端服务,目标是降低部署复杂度,并充分利用设备的计算能力。 本次更新最大的亮点就是明确接口兼容性规则: 项目 库 定位 llama.cpp l...
来自IT之家 AI的《本地推理引擎 llama.cpp 1.0.0 史诗级更新:支持超 150 种模型架构,断网也能满血跑大模型》。重点看模型能力与工程、开源生态、产品发布。摘要提到:IT之家 11 月 14 日消息,开发者 Georgi Gerganov(X 账号为 @ggerganov)昨日(11 月 13 日)在 X 平台发布推文, 宣布开源 AI 推理项目 llama.cpp 与底层机器学习引擎 ggml 的库版本迈入 1.0.0。 IT之家查询公开资料,Gerganov 是开源项目 llama.cpp 的创建者,也是 ggml、 whisper.cpp 等本地 AI 基础软件的重要开发者。他在个人 X 简介中将自己标注为 Hugging Face 工程师,GitHub 资料所在地为保加利亚索非亚。 llama.cpp 是一个主要用 C/C++ 编写的开源 AI 推理项目,核心作用是让大语言模型在个人电脑、服务器等不同硬件上运行。它既可以用于本地部署,也可以用于云端服务,目标是降低部署复杂度,并充分利用设备的计算能力。 本次更新最大的亮点就是明确接口兼容性规则: 项目 库 定位 llama.cpp l...
本站只提供摘要与原文入口。完整内容请阅读原文。
来源:IT之家 AI · ithome.com