FreeToken#

| 下载 | 论文 | 开发者 Slack | 社区 Discord | 社区微信群 |

在你已经拥有的硬件上解锁数据中心级智能——在游戏 PC 上以极快的交互速度本地运行 290B+ 前沿 MoE 模型。

关于#

FreeToken 是一个边缘原生（edge-native）的混合专家（Mixture-of-Experts，MoE）服务引擎，旨在个人和消费级硬件上运行前沿规模的开源权重模型。它将异构边缘资源——GPU、CPU、主机内存和互连——视为一个统一、弹性的推理平台。其核心特性包括：

• 快速的边缘原生运行时：提供高效的 MoE 服务，具备带宽自适应的 CPU–GPU 协同执行（$q^\star$ 策略）、全层双缓冲预填充流式传输、全局 LRU 专家缓存、图兼容执行以及 FTW 快速权重格式。

• 语义感知缓存：具备用于循环状态和 KV 缓存的语义锚点检查点，使智能体上下文编辑（例如工具调用、思考块）能够避免冗余的上下文重计算。

• 弹性内存管理：支持在专家缓存和 KV 内存之间进行动态的运行时 VRAM 重新分配，无需重启引擎或重新加载权重。

• 广泛的 MoE 与生态支持：支持各种参数规模和量化格式（例如 MXFP4、NVFP4、FP8、BF16）的前沿开源权重 MoE 模型（例如 DeepSeek-V4-Flash、Qwen3.6-35B-A3B、GLM-5.2），并提供 Anthropic/OpenAI 兼容 API，可与真实的编程和工具调用智能体（例如 Codex、Claude Code、OpenCode、OpenClaw、DeepSeek Harness）无缝集成。

• 多样化的消费级硬件：可扩展到消费级笔记本电脑、游戏台式机和工作站 GPU，原生支持 NVIDIA RTX 30、RTX 40 和 RTX 50 系列 GPU。

开始使用#

桌面应用#

在 flashml.ai 下载适用于 Windows 或 Linux 的 FreeToken。它会为你设置引擎，并提供一个用于运行模型、聊天和调整引擎的 GUI。

CLI#

使用 uv（推荐）或 pip 安装 FreeToken：

uv pip install "freetoken[accel]"

或从源码构建：

git clone https://github.com/FlashML-org/FreeToken.git && cd FreeToken
uv venv && source .venv/bin/activate
uv pip install -e ".[accel]"

更多细节：

• 安装 FreeToken
• 快速开始
• 支持的模型
• CLI 参考
• 修复旧的 FTW 检查点
• 诊断加载失败的检查点

引用#

如果你在研究中使用 FreeToken，请引用我们的论文：

@article{yang2026freetoken,
  title={FreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution},
  author={Yang, Shuo and Fan, Xiaoze and Pan, Melissa and Xi, Haocheng and Wang, Zhe and Sun, Shanlin and Keutzer, Kurt and Han, Song and Zaharia, Matei and Xu, Chenfeng and Stoica, Ion},
  journal={arXiv preprint arXiv:2608.16157},
  year={2026}
}

致谢#

FreeToken 深受 mini-sglang 启发，并学习、复用了以下项目的设计（和代码）：SGLang、vLLM、FlashInfer、flash-linear-attention、LightLLM 和 llama.cpp。

许可证#

Apache License 2.0。