llama.cpp v1.0.0：本地 AI 生态更坚实的基础
本文目录
llama.cpp 让在多模态大语言模型（LLM）在广泛的硬件上运行成为可能——从消费级本地机器到高端企业服务器。通过量化、优化后端和可移植的 C/C++ 实现，我们让 AI 推理在软件栈的每个层级都触手可及。我们相信，这是构建跨平台、私有 AI 产品最轻量、最通用也最合理的平台。
自项目创立以来的 3.5 年里，项目成长了许多，许多下游应用已经依赖我们的工作。随着本地 AI 和隐私在日常生活中日益重要，我们预计这一趋势将持续。每一次新集成都意味着更多开发者依赖我们的库接口，因此拥有灵活但稳定的 API 至关重要。
今天我们发布 v1.0.0 库，以此强调我们对这些开发者的责任。今后，llama.cpp 和 ggml 都将通过主版本号升级来体现 API 和 ABI 不兼容性。随着采用率增长，我们会更严格地让这些边界对下游消费者可见。
发布#
| 版本 | 库 | 公共头文件 |
|---|---|---|
| llama.cpp v1.0.0 —— C/C++ 中的 LLM 推理 | libllama | llama.cpp/include/ |
| ggml v1.0.0 —— 面向机器学习的张量库 | libggml | ggml/include/ |
语义化版本更新规则#
以下规则适用于所有使用语义化版本（semantic versioning）的 ggml-org 项目：
| 变更类型 | 版本号提升 |
|---|---|
| 主版本（MAJOR） | 对 ./include 中公共 C API 的破坏性变更 |
| 次版本（MINOR） | 向后兼容的功能、后端更新、模型支持或 API 新增 |
| 修订版本（PATCH） | 无 API 变更的缺陷修复 |
分发#
我们期待扩展 ggml-org 软件的分发方式，使其触达开发者和最终用户。有关如何将 ggml-org 项目加入打包和发布流水线的更多信息，请查看以下讨论。
| 渠道 | 平台 |
|---|---|
| 预发布工件 | Linux、macOS、Windows、Android、iOS |
| Docker | Linux |
| Debian | Linux |
| Homebrew | macOS、Linux |
| conda-forge | Windows、macOS、Linux |
| MacPorts | macOS |
| Winget | Windows |
| XCFramework | iOS、macOS |
开发#
项目培育了一个由高技能、有才华贡献者组成的出色开源社区。随着 AI 能力在软件工程领域快速进步，我们继续以审慎而合理的方式在开发周期中适配并集成 LLM。保持高质量代码库、掌控架构并理解实现细节，仍将是我们的首要任务。
为巩固更快的开发节奏，我们持续投入更多资源改善项目背后的 CI 基础设施。借助 HF Buckets 和 HF Jobs 等 HF 技术，我们得以扩展必要容量，保证每次合入 master 分支的变更都正确。在 NVIDIA、AMD、Qualcomm、Arm、IBM 和 Intel 的硬件支持下，我们继续在所有主要硬件平台上部署更多自托管运行器。
后端与模型覆盖#
llama.cpp 的底层机器学习引擎——ggml——被设计为几乎能在现有任何硬件上运行。这是通过实现专用的 ggml 后端实现的。每个后端都可编译为动态库，并可在运行时选择加载。
当前已实现后端的完整列表可在此处找到。
我们承诺持续支持所有模型架构。目前，llama.cpp 支持超过 150 种架构变体，以及所有主流的推测解码方法。
致谢#
Hugging Face 的 llama.cpp 团队感谢社区给予的不可思议的支持。特别感谢项目的长期维护者和所有贡献者。这是一个重要的里程碑，没有我们的共同努力就不可能实现！
其他资源#
- llama.cpp 示例
- Hugging Face 上的 ggml-org
- GitHub 上的 ggml-org
查看面向 macOS 和 Windows 的 Llama 桌面应用，由 llama.cpp 背后的团队与 Hugging Face 用心打造。
该作者的更多文章#
llama.cpp 新增功能：决策模型
111 2026 年 10 月 2 日
在 llama.cpp 中使用 OCR 模型
47 2026 年 4 月 10 日