微软升级 Win11 的 AI 框架，实验性支持 GGUF 与 ONNX 原生本地推理
IT之家 10 月 9 日消息，科技媒体 NeoWin 昨日（10 月 8 日）发布博文，报道称微软正与 llama.cpp 和 GGUF 开源社区合作，在 Windows 11 系统上升级 Windows ML， 实验性原生支持 GGUF 与 ONNX 格式模型推理，并推出 Windows ML Runtime API。 在 Windows 与 Surface 十月活动中，微软介绍了 Windows ML 的最新进展。Windows ML 是微软面向 Windows 11 的本地 AI 推理框架，开发者可在设备端运行 AI 模型，构建文本生成、语音识别等应用，并减少对特定硬件优化的依赖。 微软表示通过社区合作，开发者现可通过 llama.cpp 的实验性集成，从 Hugging Face 导入 GGUF 模型并直接在本地运行。在性能方面，微软还携手英伟达公司，向 llama.cpp 及相关性能优化贡献代码。 Windows M...
来自IT之家 AI的《微软升级 Win11 的 AI 框架，实验性支持 GGUF 与 ONNX 原生本地推理》。重点看模型能力与工程、开源生态、产品发布。摘要提到：IT之家 10 月 9 日消息，科技媒体 NeoWin 昨日（10 月 8 日）发布博文，报道称微软正与 llama.cpp 和 GGUF 开源社区合作，在 Windows 11 系统上升级 Windows ML， 实验性原生支持 GGUF 与 ONNX 格式模型推理，并推出 Windows ML Runtime API。 在 Windows 与 Surface 十月活动中，微软介绍了 Windows ML 的最新进展。Windows ML 是微软面向 Windows 11 的本地 AI 推理框架，开发者可在设备端运行 AI 模型，构建文本生成、语音识别等应用，并减少对特定硬件优化的依赖。 微软表示通过社区合作，开发者现可通过 llama.cpp 的实验性集成，从 Hugging Face 导入 GGUF 模型并直接在本地运行。在性能方面，微软还携手英伟达公司，向 llama.cpp 及相关性能优化贡献代码。 Windows M...
本站只提供摘要与原文入口。完整内容请阅读原文。
来源：IT之家 AI · ithome.com