ruvnet / RuView
本文目录
用 WiFi 看穿墙壁#
把普通 WiFi 变成一个空间智能/感知系统。探测人员、测量呼吸和心率、追踪移动、监测房间——穿墙、在黑暗中,无需摄像头或可穿戴设备。只靠物理。
原生支持四大智能家居生态系统:通过 HA-DISCO MQTT 发布器接入 Home Assistant;作为可被发现的 HAP-1.1 桥接接入 Apple Home & HomePod;通过同一 HA 桥接或 Matter 端点接入 Google Home + Amazon Alexa。Siri、Google Assistant 和 Alexa 可以按房间语音播报存在和生命体征,无需任何自定义技能。
用一个 --mqtt 标志即可接入任何 Home Assistant 安装。或者作为 Matter Bridge 配对到 Apple Home / Google Home / Alexa / SmartThings。每个节点提供 21 个实体(11 个原始信号 + 10 个推断语义状态:有人睡觉、可能痛苦、房间活跃、老人不活动异常、会议进行中、卫生间占用、跌倒风险升高、离床、无移动、多房间转换),外加 3 个入门 HA 蓝图。参见 docs/integrations/home-assistant.md · ADR-115。
π RuView 是一个 WiFi 感知平台,把无线电信号转化为空间智能。
每个 WiFi 路由器都已经用无线电波填满你的空间。当人们移动、呼吸甚至静坐时,他们会以可测量的方式扰动这些波。RuView 使用来自低成本 ESP32 传感器的信道状态信息(Channel State Information,CSI)捕获这些扰动,并将其转化为可操作的数据:谁在那里、他们在做什么,以及他们是否安好。
它感知什么:
- 存在与占用——穿墙探测人员、计数、追踪进出
- 生命体征——呼吸率和心率,非接触式,在睡眠或坐着时
- 活动识别——行走、坐下、手势、跌倒——基于时间序列 CSI 模式
- 环境测绘——射频指纹识别房间、检测家具移动、发现新物体
- 睡眠质量——夜间监测,包含睡眠阶段分类和呼吸暂停筛查
还包括:
- 无摄像头姿态——从 WiFi CSI 估计 17 个身体关键点
- 内置模型工作流——记录 CSI、训练模型、加载 RVF 文件、切换 LoRA 配置
- 本地自动化——HOMECORE 提供状态、历史、自动化、签名 Wasm 插件、语音钩子和 HomeKit 支持
- 统一射频世界模型——在一个隐私受限的场景模型中融合 WiFi CSI、雷达、UWB 和蜂窝感知;在真实数据验证之前,精度仍是合成数据
- 受治理的证据——为感知事件附加隐私政策、不确定性、来源和见证记录
- RuView MetaHarness——使用 AI 操作员来入门、校准、训练、验证和检查感知声明
演示:存在与运动 · 呼吸与生命信号 · 姿态研究与局限 · 边缘传感器网络 · 本地自动化 · 引导式 AI 操作员
RuView MetaHarness——面向人类和 AI 智能体的引导式操作#
我们创建的 RuView 专用 metaharness 以 @ruvnet/ruview 发布。它提供:
- 带来源引用的指导;
- 用于 CSI 节点、雷达和 LiDAR 的设备访问;
- 带启动证据的固件刷写;
- 一个 MCP 服务器,可通过 stdio 或 HTTP 供 ChatGPT 使用,带有实时控制台小组件;
- 一个 Claude Code mod;
- 受保护的 Claude Code/Codex 智能体;
- 确定性验证;
- 对精度声明的诚实性检查。
配套包:homecore(Homecore 开发者 metaharness)和 @ruvnet/ruview-kernel(作为 WASM 的生命体征流水线)。
# Check the local setup and get source-cited guidance
npx @ruvnet/ruview@0.9.1 doctor
npx @ruvnet/ruview@0.9.1 guidance --topic sensing --query "model loading"
# Hardware: what is plugged in, live CSI from your nodes, a 60 GHz radar kit
npx @ruvnet/ruview@0.9.1 devices
npx @ruvnet/ruview@0.9.1 esp32 --watch # ESP32 + Realtek RAC1 nodes, live view
npx @ruvnet/ruview@0.9.1 esp32 --seconds 45 --analyze # live CSI through the vitals kernel
npx @ruvnet/ruview@0.9.1 mmwave --source esphome --host <kit-ip>
# Agents: MCP over stdio, or over HTTP for ChatGPT (token-protected, read tools only)
npx @ruvnet/ruview@0.9.1 mcp start
RUVIEW_MCP_GRANTS=device-access npx @ruvnet/ruview@0.9.1 mcp start --http
# Claude Code: a live sensing pane (/ruview), shipped in the package
npx @ruvnet/ruview@0.9.1 mod
# Run a read-only RuView agent through Codex
npx @ruvnet/ruview@0.9.1 agent run --host codex --repo . \
--prompt "Find the nearest tests and cite the source files"
# Check claims, replay the deterministic proof, search the reviewed brain
npx @ruvnet/ruview@0.9.1 claim-check --file REPORT.md
npx @ruvnet/ruview@0.9.1 verify
npx @ruvnet/ruview@0.9.1 brain search --query "calibration"
安全:
- 智能体运行默认只读。工作区写入需要同时提供
--allow-write和--confirm。 - 硬件读取需要 device-access 授权。
- 刷写和校准绝不通过 HTTP 传输运行。
- 设备报告的生命体征标记为未验证。
- 检索到的大脑内容是证据,不是权威。
一个包含所有这些的 npx ruview 单包已就绪(ADR-376)。它正在等待 npm 发布这个无作用域名称。
完整演练:用户指南 → RuView npm 工具包。
基于 RuVector 和 Cognitum Seed 构建,RuView 完全在边缘硬件上运行——一个 ESP32 网格(每节点低至 9 美元)搭配一个 Cognitum Seed,用于持久记忆、密码学证明和 AI 集成。无需云、无需摄像头、无需互联网。
系统使用脉冲神经网络在本地学习每个环境,30 秒内完成适应;多频网格扫描跨越 6 个 WiFi 信道,把你的邻居路由器当作免费雷达照明源。每次测量都通过 Ed25519 见证链进行密码学证明。
RuView 把普通 WiFi 变成非接触式传感器。一块 9 美元的 ESP32 板读取房间内人体反射的无线电波,一个小型预训练模型——发布在 Hugging Face 的 ruvnet/wifi-densepose-pretrained——告诉你谁在那里、他们如何呼吸,以及心率趋势。该模型大小为 8 KB(4 位量化),在树莓派上以微秒级运行。(v2 编码器报告诚实的、无标签的留出时间三元组准确率为 82.3%——从原始的 66.4% 提升;较早的“100% 存在”数字是在单类录音上测得的,已撤回,改用当前数字。)无摄像头、无可穿戴设备、用户手机上无需应用。
为低功耗边缘应用而构建#
边缘模块是直接运行在 ESP32 传感器上的小程序——无需互联网、无云费用、即时响应。
| 功能 | 方式 | 速度 / 规模 |
|---|---|---|
| 🫁 呼吸率 | 对包裹相位进行 0.1–0.5 Hz 带通、圆方差、过零 BPM(#593) | 6–30 BPM,实时 |
| 💓 心率 | 0.8–2.0 Hz 带通、过零 BPM | 40–120 BPM,实时 |
| 👤 存在检测 | Hugging Face 上的训练头(ruvnet/wifi-densepose-pretrained;v2 编码器 = 82.3% 留出时间三元组准确率,已诚实重新基准测试)+ 无需模型的相位方差回退 | < 1 ms,约 30 秒环境校准 |
| 🧬 CSI 嵌入 | 128 维对比编码器发布在 Hugging Face,4 位量化版本适配 8 KB | M4 Pro 上 164,183 emb/s |
| 🦴 17 关键点姿态估计 | cog-pose-estimation Cog v0.0.1——GCS 上签名的 aarch64 + x86_64 二进制,通过 Candle 加载 pose_v1.safetensors(已提交的 pose_v1 是初步的端侧模型:PCK@20 = 3.0%,低于 ADR-079 ≥35% 的目标,其运行时路径仍是 confidence=0 的存根——参见“模型权重:哪些是真的,哪些不是”;下文的 82.69% 数字是单独的已发布 MM-Fi 基准,不是这个实时 cog)。在 RTX 5080 上从配对数据训练自己的模型需 2.1 秒(ADR-101,基准)。MM-Fi 上的 SOTA:ruvnet/wifi-densepose-mmfi-pose 达到 82.69% torso-PCK@20(集成 83.59%),在匹配的 MM-Fi random_split 协议上击败 MultiFormer(72.25%)和 CSI2Pose(68.41%)——已在 AetherArena 上自我修正并可审计 | Pi 5 上 8.4 ms 冷启动 |
| 🚶 运动 / 活动 | 运动频带功率 + 相位加速度 | 实时 |
| 🤸 跌倒检测 | 相位加速度阈值 + 3 帧去抖 + 5 秒冷却(#263) | < 200 ms |
| 🧮 多人计数 | 自适应 P95 归一化 + 运行时可调去重因子(/api/v1/config/dedup-factor,#491)。六个专用学习计数器可作为 Cog 使用:occupancy-zones、elevator-count、queue-length、customer-flow、clean-room、person-matching | 实时,自校准 |
| 🌍 世界模型预测 | OccWorld TransVQVAE——15 帧未来占用预测,209 ms 推理,RTX 5080 上 3.4 GB 显存;用 occworld_retrain.py 在你的空间上微调(ADR-147) | 15 帧 × 200×200×16 体素 |
| 🧱 穿墙感知 | 菲涅尔区几何 + 多径建模 | 最远约 5 米,取决于信号 |
| 🧠 边缘智能 | 105-cog 目录(ADR-102)从 app-registry.json 实时加载——健康、安全、建筑、零售、工业、研究、AI、群体、信号、网络和开发者模块。可选 Cognitum Seed 增加持久向量存储 + kNN + 见证链 | 物料清单总计 140 美元 |
| 🎯 无摄像头预训练 | 自监督对比编码器,在 6 万帧上训练 1220 万步,发布在 Hugging Face | M4 Pro 上每轮重训 84 秒 |
| 📷 摄像头监督微调 | MediaPipe + ESP32 CSI 配对训练,RTX 5080 上的端到端 Candle 流水线(ADR-079) | 400 轮 2.1 秒(约 5 ms/轮) |
| 📡 多频网格 | 跨 6 个频段的信道跳变,TDM 时隙调度(ADR-029) | 3 倍感知带宽 |
| 🌐 3D 点云融合 | 摄像头深度(MiDaS)+ WiFi CSI + 毫米波雷达 → 统一空间模型 | 22 ms 流水线 · 每帧 19K+ 点 |
在下方 🧩 Edge Module Catalog 中浏览完整的 105 模块目录(包含实用描述、大小和难度),或访问 seed.cognitum.one/store。
🤗 预训练权重:从 ruvnet/wifi-densepose-pretrained 下载——一键设置参见下文“加载预训练模型”。
快速开始选项——Docker、ESP32-S3/C6、Cognitum Seed 和 Python#
# Option 1: Docker (simulated data, no hardware needed)
docker pull ruvnet/wifi-densepose:latest
export RUVIEW_API_TOKEN=$(openssl rand -hex 32) # required; the container exits 64 without it
docker run -p 127.0.0.1:3000:3000 -e RUVIEW_API_TOKEN ruvnet/wifi-densepose:latest
# Open http://localhost:3000
# ESP32 nodes in Docker also need a UDP source guard (RUVIEW_UDP_ALLOW);
# see docs/user-guide.md "Receiving ESP32 frames in Docker".
# Option 2a: Live sensing with ESP32-S3 hardware ($9)
# Flash firmware, provision WiFi, and start sensing:
python -m esptool --chip esp32s3 --port COM9 --baud 460800 \
write_flash 0x0 bootloader.bin 0x8000 partition-table.bin \
0xf000 ota_data_initial.bin 0x20000 esp32-csi-node.bin
python firmware/esp32-csi-node/provision.py --port COM9 \
--ssid "YourWiFi" --password "secret" --target-ip 192.168.1.20
# Option 2b: WiFi 6 + 802.15.4 research sensing with ESP32-C6 ($6-10, ADR-110)
# Same csi-node firmware compiled for the C6 target — picks up the C6
# overlay (sdkconfig.defaults.esp32c6) automatically.
cd firmware/esp32-csi-node
idf.py set-target esp32c6 && idf.py build
idf.py -p COM6 flash
# C6 boot extras (vs S3): HE-LTF subcarrier tagging in ADR-018 bytes 18-19,
# 802.15.4 mesh time-sync on channel 15, TWT setup when the AP supports it,
# opt-in LP-core wake-on-motion for ~5 µA battery seed nodes.
# v0.6.7 adds: real LP-core RISC-V motion-gate program (debounce + motion
# counter) and a Wi-Fi 6 soft-AP with TWT Responder so two C6 boards can
# benchmark real iTWT without buying an 11ax router. Both default off,
# flip CONFIG_C6_{LP_CORE,SOFTAP_HE}_ENABLE to turn them on.
# Option 3: Full system with Cognitum Seed ($140)
# ESP32 streams CSI → bridge forwards to Seed for persistent storage + kNN + witness chain
node scripts/rf-scan.js --port 5006 # Live RF room scan
node scripts/snn-csi-processor.js --port 5006 # SNN real-time learning
node scripts/mincut-person-counter.js --port 5006 # Correct person counting
# Option 4: Python — live on PyPI (ADR-117)
pip install ruview # or: pip install wifi-densepose
# Both ship the same compiled PyO3 wheel (~250 KB, abi3-py310, Linux/macOS/Windows).
# Add [client] for the asyncio WebSocket + paho-mqtt clients:
pip install "ruview[client]" # or: pip install "wifi-densepose[client]"
# from ruview import BreathingExtractor, HeartRateExtractor # equivalent to:
# from wifi_densepose import BreathingExtractor, HeartRateExtractor
# from ruview.client import SensingClient, RuViewMqttClient
注意: 推荐支持 CSI 的硬件。存在、生命体征、穿墙感知和所有高级能力都需要来自 ESP32-S3(9 美元)或研究级网卡的信道状态信息(CSI)。Docker 镜像使用模拟数据运行以供评估。消费级 WiFi 笔记本仅提供 RSSI 存在检测。
实时 CSI 捕获的硬件选项:
| 选项 | 硬件 | 成本 | 完整 CSI | 能力 |
|---|---|---|---|---|
| ESP32 + Cognitum Seed(推荐) | ESP32-S3 + Cognitum Seed | 约 140 美元 | 是 | 存在、运动、呼吸、心率、跌倒检测、多人计数、17 关键点姿态(签名 Cog 二进制——初步端侧模型,参见“模型权重:哪些是真的,哪些不是”)、105-cog 目录、持久向量存储、kNN 搜索、见证链、MCP 代理 |
| ESP32 网格 | 3-6× ESP32-S3 + WiFi 路由器 | 约 54 美元 | 是 | 同上能力,但没有持久记忆功能 |
| ESP32-C6 研究节点(ADR-110,见证,评审指南,固件 v0.7.0) | ESP32-C6-DevKit(6–10 美元) | 约 10 美元 | 是(支持 Wi-Fi 6) | 双目标 CSI,实测 ESP-NOW 同步匹配率 99.56%,并在 IDF 5.5.2 上实测 HE-LTF 捕获。TWT 和约 5 µA 运行仍需硬件验证。 |
| 研究级网卡 | Intel 5300 / Atheros AR9580 | 约 50-100 美元 | 是 | 3x3 MIMO 完整 CSI |
| Qualcomm CSI beta(ADR-268) | 现在为 QCA9300;QCN9074/QCN9274 实验性 | 约 30-200 美元 | 现在为模拟器;硬件适配器受限 | Rust QCS1 编解码器、确定性重放、UDP/API 集成;现代 ath11k/ath12k 配置文件不声称公开 CSI 导出 |
| 厂商提供方 beta(ADR-270) | Origin、Plume、Mist、NETGEAR、Electric Imp、RF Solutions、Luma、Nest、Linksys、Wifigarden | 不等 | 取决于能力 | 有界 Rust 适配器和确定性夹具;遥测/仅网络/不支持状态不能伪装成 CSI |
| 任意 WiFi | Windows、macOS 或 Linux 笔记本 | 0 美元 | 否 | 仅 RSSI:粗粒度存在和运动(参见教程 #36) |
没有硬件?用确定性参考信号验证信号处理流水线:python archive/v1/data/proof/verify.py
实时姿态骨架来自 WiFi CSI 信号——无摄像头、无可穿戴设备(演示可视化;仅 CSI 的实时单 ESP32 17 关键点模型仍是初步版本——参见“模型权重:哪些是真的,哪些不是”)
▶ 实时天文台演示 | ▶ 双模态姿态融合演示 | ▶ 实时 3D 点云 | ▶ three.js 演示(5 个)
服务器对于可视化和聚合是可选的——ESP32 独立运行,用于存在检测、生命体征和跌倒警报。
实时 ESP32 流水线:连接一个 ESP32-S3 节点 → 运行感知服务器 → 打开姿态融合演示,进行实时双模态姿态估计(网络摄像头 + WiFi CSI)。参见 ADR-059。(在此双模态演示中,网络摄像头提供真值姿态;仅 CSI 的端侧 17 关键点模型仍是初步版本——参见“模型权重:哪些是真的,哪些不是”。)
three.js 场景画廊位于 /three.js/——五个逐步丰富的 ADR-097 演示:辅助对象、电影感、GLTF 蒙皮、FBX 蒙皮,以及由 ESP32 CSI 驱动的实时 MediaPipe→Mixamo 重定向流。演示 04 和 05 需要本地 Mixamo X Bot.fbx(许可边界——不再分发)。
🤗 Hugging Face 上的预训练模型#
预训练 CSI 权重位于 ruvnet/wifi-densepose-pretrained——在 6 万帧 / 61 万个对比三元组上训练 1220 万步,留出时间三元组准确率 82.3%(从原始 66.4% 提升;较早的“100% 存在”数字是在单类录音上测得的,已撤回),4 位量化版本适配 8 KB。该版本包括一个对比 CSI 编码器,生成 128 维嵌入(M4 Pro 上 164,183 emb/s)和一个存在检测头。每个节点都包含 LoRA 适配器,用于环境特定微调。
# Download the model bundle
pip install huggingface_hub
huggingface-cli download ruvnet/wifi-densepose-pretrained --local-dir models/wifi-densepose-pretrained
今天可用与待接通的部分:
| 消费方 | 使用的格式 | 状态 |
|---|---|---|
| Python 训练 / 评估 / 嵌入提取 | model.safetensors | ⚠️ 已发布文件的头部用 NUL 填充,参考实现 safetensors.torch.load_file 会拒绝(issue #1522)——等待修正后重新上传。同一仓库中的 csi-embed-v2.safetensors 不受影响,可正常加载。 |
| 检查 / 重新导出包 | model.rvf.jsonl(逐行 JSON) | ✅ 可用——纯 JSONL |
感知服务器 --model <PATH> 标志 | 原生 RVF、model.safetensors 或 model.rvf.jsonl | ✅ 原生 RVF 直接加载;safetensors 和 JSONL 在内存中自动转换 |
加载器范围:--model 现在接受原生 RVF,并自动转换已发布的 safetensors 或 JSONL 文件。量化的 model-q*.bin 文件仍需要兼容的读取器,而且加载权重不会提供匹配的姿态解码器架构,也不会建立端到端姿态精度。
量化选项(均在 HF 仓库中):model-q2.bin(4 KB) · model-q4.bin ⭐ 推荐(8 KB) · model-q8.bin(16 KB) · model.safetensors 完整版(48 KB)
单独的 17 关键点姿态估计模型现发布于 ruvnet/wifi-densepose-mmfi-pose——在 MM-Fi 上 82.69% torso-PCK@20(单模型)/ 83.59%(3 模型集成 + TTA),在匹配的 random_split 协议上击败此前发布的 SOTA MultiFormer(72.25%)和 CSI2Pose(68.41%)。参见下文“结果与证明”。
结果与证明#
查看实测基准、见证记录和一键可复现性检查。
查看基准与证明详情
| 项目 | 位置 | 数字 |
|---|---|---|
| MM-Fi 姿态模型(SOTA) | ruvnet/wifi-densepose-mmfi-pose | 82.69% torso-PCK@20(单模型) · 83.59%(集成+TTA) · 75K 参数微型版本 74.30% |
| AetherArena 基准 Space | ruvnet/aether-arena | 自我修正、可审计的 MM-Fi 排行榜 |
| 完整 MM-Fi 研究(诚实图景) | docs/benchmarks/mmfi-wifi-sensing-study.md | 姿态 + 动作;零样本跨受试者约 64%,有标签室内校准 → 72.2% |
| 效率前沿 | docs/benchmarks/wifi-pose-efficiency-frontier.md | 在约 37 KB int4 模型中击败 SOTA 的 MM-Fi 姿态;尚未建立实时 ESP32 兼容性 |
| 预训练编码器 | ruvnet/wifi-densepose-pretrained | 82.3% 留出时间三元组,8 KB int4 |
| 可复现证明(Trust Kill Switch) | archive/v1/data/proof/verify.py + expected_features.sha256 | 一键确定性流水线重放(输出 SHA-256 与已发布哈希对比) |
| 基准证明 ADR | ADR-168 | 数字如何产生和验证 |
| 见证证明 | docs/WITNESS-LOG-028.md | 33 行能力证明矩阵,带逐项声明证据 |
# Reproduce the deterministic pipeline proof yourself (must print VERDICT: PASS):
python archive/v1/data/proof/verify.py
跟踪于 #509;相机监督微调路径参见 ADR-079 阶段 P7–P9。
模型权重:哪些是真的,哪些不是#
查看哪些检查点经过验证、属于实验性,或仅有架构。
查看模型成熟度详情
“WiFi → 姿态”在这个仓库中意味着三种不同的东西,处于三种不同的成熟度级别。读标签,不要读标题(ADR-187):
| 层级 | 检查点 | 诚实状态 |
|---|---|---|
| 真实且已验证 | ruvnet/wifi-densepose-pretrained(CSI 编码器 + 存在头) · ruvnet/wifi-densepose-mmfi-pose(17 关键点姿态) · cog-person-count/count_v1 | 已测量 / 已发布。存在 = 82.3% 留出时间三元组准确率(旧的“100% 存在”数字已撤回);MM-Fi 姿态 = random_split 协议上 82.69% torso-PCK@20。这些是该项目今天所支持的姿态/存在数字。 |
| 真实但较弱(已诚实标注) | 已提交的 v2/crates/cog-pose-estimation/cog/artifacts/pose_v1.safetensors | 初步端侧模型。在 217 个样本的留出集上 PCK@20 = 3.0% / PCK@50 = 18.5%——低于 ADR-079 的 ≥35% 目标。它能学到粗略结构(r_hip 77% PCK@50);远端/面部关节接近随机。其在 cog-pose-estimation/src/inference.rs 中的运行时路径仍是返回 confidence=0 的居中骨架存根——权重尚未接入。完整披露见 cog README。 |
| 仅架构,无权重 | archive/v1 DensePoseHead | 随机 kaiming_normal_ 初始化,没有任何检查点(archive/v1/ 下没有 .pth/.onnx/.safetensors 文件)。已弃用并被取代——参见 archive/v1/DEPRECATED.md。不要指望它输出真实姿态。 |
关于 ESP32-SISO 问题(#509):单天线、56 子载波、20 帧窗口的 CSI 流,不携带多天线网卡研究所依赖的细粒度空间信息——上面的 cog 测量显示远端/面部关节接近随机。项目今天能支持的、可交付的姿态精度是 MM-Fi 基准数字,而不是实时单 ESP32 数字。通向首个可复现端侧基线(PCK@20 ≥ 35%)的路径跟踪于 ADR-079 / #645——在测量到该基线之前,不要在没有“初步、低于目标、运行时存根”警告的情况下宣传实时单 ESP32 17 关键点功能。
🧩 边缘模块目录#
为健康、安全、建筑、工业、研究、AI 等添加签名模块。
浏览完整的边缘模块目录
在 seed.cognitum.one/store 浏览和安装模块,或在你自己的设备上访问 http://<appliance>:9000/cogs。每个模块都是一个小的签名二进制文件,运行在感知栈旁边。设备会通过空中更新目录,并在安装前验证每个模块(ADR-100、ADR-102)。
🫀 健康——14 个模块#
| ID | 功能 | 大小 | 难度 |
|---|---|---|---|
| air-quality-index | 用 CO2 和颗粒物传感器追踪室内空气质量 | 8 KB | 简单 |
| baby-cry | 用于婴儿房/婴儿监护的持续中频带能量检测器。仅音频,无摄像头。 | 451 KB | 简单 |
| breathing-sync | 检测两个人何时同步呼吸 | 10 KB | 困难 |
| cardiac-arrhythmia | 发现不规则心跳和异常心律 | 8 KB | 困难 |
| cough-detect | 声学瞬态 + 频谱咳嗽检测器,带 30 秒聚类聚合。呼吸道疾病的早期预警信号。 | 451 KB | 简单 |
| dream-stage | 追踪你的睡眠阶段——浅睡、深睡和做梦 | 14 KB | 困难 |
| fall-detect | 基于环境特征流的两阶段冲击 + 静止跌倒检测器(ESP32 运动/麦克风)。可选 ruview-mode 用于基于 CSI 的姿态增强。 | 402 KB | 简单 |
| gait-analysis | 检测行走问题并评估跌倒风险 | 12 KB | 困难 |
| health-monitor | 非接触式心率、呼吸、睡眠和跌倒警报 | 30 KB | 中等 |
| respiratory-distress | 当呼吸变得费力或危险地急促时发出警报 | 10 KB | 困难 |
| seizure-detect | 识别癫痫发作并立即发送警报 | 10 KB | 困难 |
| sleep-apnea | 检测睡眠中呼吸停止 | 4 KB | 简单 |
| snore-monitor | 用于睡眠质量/呼吸暂停风险趋势的周期性低频带能量追踪器。sleep-apnea cog 的配套模块。 | 451 KB | 简单 |
| vital-trend | 追踪数周内的呼吸和心率趋势 | 6 KB | 中等 |
🔒 安全——14 个模块#
| ID | 功能 | 大小 | 难度 |
|---|---|---|---|
| audit-logger | 为合规记录每个操作——防篡改日志 | 8 KB | 简单 |
| behavioral-profiler | 学习正常行为并标记任何异常 | 12 KB | 困难 |
| fleet-auth | 在所有 seed 上管理设备证书和访问权限 | 12 KB | 中等 |
| glass-break | 两阶段爆裂 + 碎裂声学检测器。区分玻璃破碎与普通脉冲噪声。 | 451 KB | 简单 |
| gunshot-detect | 饱和峰值 + 指数衰减声学检测器,可选 ruview CSI 运动下降增强。 | 451 KB | 简单 |
| intrusion | 当未经授权的人进入房间时发出警报 | 6 KB | 中等 |
| intrusion-detect-ml | 使用机器学习检测网络攻击 | 14 KB | 困难 |
| loitering | 当某人在一个地点逗留过久时发出警报 | 3 KB | 简单 |
| network-firewall | 按 cog 阻止未经授权的网络访问 | 6 KB | 简单 |
| panic-motion | 检测突然的恐慌或异常运动 | 6 KB | 中等 |
| perimeter-breach | 守护多个区域并显示进入方向 | 10 KB | 中等 |
| prompt-shield | 阻止针对 seed 的信号重放和注入攻击 | 10 KB | 中等 |
| tailgating | 抓住尾随在持卡人身后潜入的人 | 6 KB | 中等 |
| weapon-detect | 检测人身上的隐藏金属物体 | 8 KB | 困难 |
🏢 建筑——11 个模块#
| ID | 功能 | 大小 | 难度 |
|---|---|---|---|
| beehive-monitor | 声学蜂箱状态分类器。通过嗡嗡频带能量 + 混沌度 + piping 自相关检测健康 / 混乱 / 无王 / 分蜂 / 盗蜂。 | 451 KB | 简单 |
| elevator-count | 统计电梯里有多少人 | 8 KB | 中等 |
| energy-audit | 学习你的日程并减少能源浪费 | 6 KB | 中等 |
| frost-warning | 通过温度趋势 + 露点差门控提前 6 小时预测霜冻。适用于大田/果园农业。 | 451 KB | 简单 |
| hvac-presence | 你到达时开启供暖和制冷 | 3 KB | 简单 |
| lighting-zones | 当人们在房间之间移动时开关灯 | 4 KB | 简单 |
| meeting-room | 显示会议室是空闲还是占用 | 5 KB | 简单 |
| occupancy-zones | 穿墙统计每个房间的人数 | 8 KB | 中等 |
| predictive-maintenance | 用于旋转设备的振动谐波分析器。追踪 F1 / 2×F1 / 高阶 / 边带能量,以评估退化严重程度。 | 451 KB | 简单 |
| smoke-fire | 多信号烟雾和火灾检测器。融合声学噼啪声、热漂移代理和可选 ruview CSI 烟羽特征。不是符合规范要求的烟雾报警器的 UL 认证替代品。 | 451 KB | 简单 |
| water-leak | 持续低幅嘶嘶声 + 周期性滴水的声学检测器,带数分钟持久门控。两阶段:可能 → 确认。 | 451 KB | 简单 |
🛍️ 零售——7 个模块#
| ID | 功能 | 大小 | 难度 |
|---|---|---|---|
| customer-flow | 统计每个入口的进出人流 | 8 KB | 中等 |
| dwell-heatmap | 显示顾客停留时间最长的区域 | 6 KB | 中等 |
| package-detect | 用于门廊/装卸区包裹到达和离开的持续 CSI 偏移检测器。需要 ESP32 CSI ruview 输入。 | 451 KB | 简单 |
| parking-occupancy | 通过 ESP32 CSI 子载波幅度偏移实现按区域停车占用检测。追踪利用率和每小时周转率。需要 ruview。 | 451 KB | 简单 |
| queue-length | 估计排队长度和等待时间 | 6 KB | 中等 |
| shelf-engagement | 检测顾客何时与商品互动 | 6 KB | 中等 |
| table-turnover | 追踪餐厅哪些餐桌空闲或占用 | 4 KB | 简单 |
🏭 工业——7 个模块#
| ID | 功能 | 大小 | 难度 |
|---|---|---|---|
| clean-room | 强制控制环境中的最大人数 | 4 KB | 简单 |
| confined-space | 监测狭窄空间中的工人以确保安全 | 5 KB | 中等 |
| forklift-proximity | 当叉车过于靠近工人时发出警告 | 10 KB | 困难 |
| livestock-monitor | 监测动物的痛苦、逃逸或疾病 | 6 KB | 中等 |
| ppe-compliance | Cog 组合层:当 ruview-densepose 检测到受限区域有人存在,但没有伴随的 PPE-camera-cog 确认向量时发出警报。 | 387 KB | 简单 |
| slip-fall-zone | 跌倒前风险检测器。当运动方差下降、溅水声和可选的谨慎步态 CSI 都表明滑倒风险升高时触发。 | 451 KB | 简单 |
| structural-vibration | 检测建筑物或机器中的危险振动 | 8 KB | 困难 |
🔬 研究——12 个模块#
| ID | 功能 | 大小 | 难度 |
|---|---|---|---|
| emotion-detect | 从肢体语言和呼吸读取压力和平静 | 10 KB | 困难 |
| energy-harvester | 为离网 seed 部署优化太阳能和电池 | 6 KB | 中等 |
| gesture-language | 实时识别手语手势 | 12 KB | 困难 |
| ghost-hunter | 发现无法解释的环境异常——纯属娱乐 | 10 KB | 困难 |
| happiness-score | 从运动和情绪信号估计幸福感 | 8 KB | 中等 |
| hyperbolic-space | 将数据映射到弯曲空间以处理树状结构 | 12 KB | 困难 |
| music-conductor | 读取指挥家的手势以获得速度和力度 | 12 KB | 困难 |
| plant-growth | 追踪植物生长速率和昼夜周期 | 8 KB | 中等 |
| rain-detect | 检测雨何时开始、停止以及雨量多大 | 6 KB | 中等 |
| ruview-densepose | 通过 WiFi 进行全身姿态追踪——无需摄像头 | 50 KB | 困难 |
| sound-classifier | 识别玻璃破碎、警报或婴儿哭声等声音 | 16 KB | 困难 |
| time-crystal | 实验重复时间模式对称性 | 12 KB | 困难 |
🤖 AI——15 个模块#
| ID | 功能 | 大小 | 难度 |
|---|---|---|---|
| anomaly-attractor | 学习什么是正常的,并抓住任何异常 | 10 KB | 困难 |
| cognitive-pipeline | FastGRNN 异常门控 + SmolLM2 稀疏 LLM 推理,用于端侧 Pi Zero 2W 认知事件 | 320 KB | 困难 |
| dtw-gesture-learn | 通过展示示例来教自定义手势 | 14 KB | 中等 |
| ewc-lifelong | 学习新事物而不忘记旧知识 | 8 KB | 困难 |
| federated-learning | 在不共享原始数据的情况下跨 seed 训练 AI | 18 KB | 困难 |
| goal-autonomy | 自行规划和执行目标 | 14 KB | 困难 |
| meta-adapt | 自动调整自身以获得最佳性能 | 10 KB | 困难 |
| micro-hnsw | 端侧快速指纹识别和分类 | 12 KB | 中等 |
| neural-trader | 从实时数据中发现市场模式和趋势 | 20 KB | 困难 |
| pagerank-influence | 找出群体中最有影响力的人 | 12 KB | 中等 |
| pattern-sequence | 检测日常规律和重复习惯 | 10 KB | 中等 |
| rag-local | 用 AI 搜索你的文档——在 seed 上运行 | 14 KB | 中等 |
| spiking-tracker | 受大脑启发的追踪器,可在微型硬件上运行 | 16 KB | 困难 |
| temporal-logic | 对实时事件流执行安全规则 | 12 KB | 困难 |
| time-series-forecast | 使用历史模式预测传感器趋势 | 12 KB | 中等 |
🐝 群体——11 个模块#
| ID | 功能 | 大小 | 难度 |
|---|---|---|---|
| swarm-backup-restore | 自动将数据备份到其他 seed——一键恢复 | 8 KB | 简单 |
| swarm-cluster-monitor | 每个 seed 健康和状态的实时仪表盘 | 6 KB | 简单 |
| swarm-consensus | seed 在共同做出关键更改前投票 | 16 KB | 困难 |
| swarm-delta-sync | 在 seed 之间自动同步数据——只发送变化 | 8 KB | 中等 |
| swarm-deploy | 一次性在所有 seed 上安装或移除 cog | 10 KB | 中等 |
| swarm-distributed-store | 将数据分散到多个 seed 并一次性全部搜索 | 14 KB | 困难 |
| swarm-edge-orchestrator | 从一个地方管理所有 ESP32 传感器节点 | 14 KB | 困难 |
| swarm-load-balancer | 将查询分散到多个 seed,避免单个过载 | 10 KB | 中等 |
| swarm-mesh-manager | 查找、连接和监控你网络上的所有 seed | 12 KB | 简单 |
| swarm-mqtt-bridge | 通过 MQTT 消息在 seed 之间共享事件 | 6 KB | 简单 |
| swarm-witness-federation | 跨 seed 共享防篡改审计轨迹 | 12 KB | 困难 |
📡 信号——6 个模块#
| ID | 功能 | 大小 | 难度 |
|---|---|---|---|
| coherence-gate | 过滤噪声信号,保留干净信号 | 8 KB | 中等 |
| flash-attention | 将感知集中在特定区域以提高精度 | 12 KB | 中等 |
| optimal-transport | 使用形状感知的信号比较来测量运动 | 12 KB | 困难 |
| person-matching | 区分同一房间里的多个人 | 18 KB | 困难 |
| sparse-recovery | 从部分读数中恢复缺失的信号数据 | 16 KB | 困难 |
| temporal-compress | 压缩旧数据以节省内存而不丢失含义 | 14 KB | 中等 |
🌐 网络——1 个模块#
| ID | 功能 | 大小 | 难度 |
|---|---|---|---|
| tailscale | 通过私有 WireGuard 网格(Tailscale)从任何地方访问 seed。用户空间模式——无需 root。 | 700 KB | 中等 |
🛠️ 开发者——7 个模块#
| ID | 功能 | 大小 | 难度 |
|---|---|---|---|
| adversarial | 检测被篡改或伪造的传感器信号 | 4 KB | 简单 |
| coherence | 跨多个信道监测信号质量 | 4 KB | 简单 |
| gesture | cog 的核心手势识别构建块 | 6 KB | 中等 |
| interference-search | 一次搜索多种可能性以快速得到答案 | 14 KB | 困难 |
| psycho-symbolic | 以多种风格对知识图谱进行推理 | 16 KB | 困难 |
| quantum-coherence | 用于高级信号状态的量子启发模型 | 16 KB | 困难 |
| self-healing-mesh | 即使节点掉线也保持传感器网格运行 | 14 KB | 困难 |
ℹ️ 构建你自己的 cog:包装规范参见 ADR-100。此仓库发布到目录的第一个 cog 位于 v2/crates/cog-pose-estimation/(17 关键点 WiFi 姿态,ADR-101)。
🔬 工作原理#
WiFi 路由器用无线电波填满每个房间。当一个人移动——甚至呼吸——这些波会以不同方式散射。WiFi DensePose 读取这种散射模式并重建发生了什么:
WiFi 路由器 → 无线电波穿过房间 → 击中人体 → 散射
↓
ESP32 网格(4-6 个节点)通过 TDM 协议在信道 1/6/11 上捕获 CSI
↓
多频融合:3 个信道 × 56 个子载波 = 每条链路 168 个虚拟子载波
↓
多基地融合:N×(N-1) 条链路 → 注意力加权的跨视点嵌入
↓
相干门:接受/拒绝测量 → 无需调参即可稳定数天
↓
信号处理:Hampel、SpotFi、Fresnel、BVP、频谱图 → 干净特征
↓
AI 主干(RuVector):注意力、图算法、压缩、场模型
↓
Signal-Line Protocol(CRV):6 阶段格式塔 → 感官 → 拓扑 → 相干 → 搜索 → 模型
↓
神经网络:处理后的信号 → 17 个身体关键点 + 生命体征 + 房间模型
↓
输出:实时姿态、呼吸、心率、房间指纹、漂移警报
自学习系统(ADR-024)提供无摄像头的表征学习组件。跨房间姿态仍然是一个独立、受数据门控的问题:MERIDIAN(ADR-027)处于 Proposed 状态,而实测校准参考需要带标签的 CSI/关键点配对和模型特定的适配器。参见模型兼容性边界。
🏢 用例与应用#
安全边界: 这些是研究和原型应用,不是医疗设备、应急系统或安全认证控制。生命体征和姿态输出需要在确切的硬件、房间、受试者和故障条件下进行独立验证,才能投入运营使用。
WiFi 感知在任何有 WiFi 的地方都能工作。大多数情况下无需新硬件——只需在现有接入点或 8 美元的 ESP32 附加设备上运行软件。由于没有摄像头,部署在设计上就避开了隐私法规(GDPR 视频、HIPAA 影像)。
扩展: 每个 AP 可区分约 3-5 人(56 个子载波)。多 AP 可线性倍增——一个 4 AP 的零售网格可覆盖约 15-20 名占用者。软件没有硬性限制;实际上限是信号物理。
为什么 WiFi 感知胜出#
| WiFi 感知 | 传统替代方案 |
|---|---|
| 🔒 无视频,无 GDPR/HIPAA 影像规则 | 摄像头需要同意、标识、数据保留政策 |
| 🧱 可穿墙、货架、碎片工作 | 摄像头需要每个房间的视线 |
| 🌙 在完全黑暗中工作 | 摄像头需要红外或可见光 |
| 💰 每个区域 0-8 美元(现有 WiFi 或 ESP32) | 摄像头系统:每个区域 200-2,000 美元 |
| 🔌 WiFi 已到处部署 | PIR/雷达传感器需要每个房间重新布线 |
🏥 日常场景——医疗、零售、办公、酒店(普通 WiFi)#
| 用例 | 功能 | 硬件 | 关键指标 | 边缘模块 |
|---|---|---|---|---|
| 养老护理 / 辅助生活 | 跌倒检测、夜间活动监测、睡眠中的呼吸率——无需佩戴设备配合 | 每房间 1 个 ESP32-S3(8 美元) | 跌倒警报 <2s | Sleep Apnea、Gait Analysis |
| 医院病人监测 | 为非重症床位提供连续呼吸 + 心率监测,无需有线传感器;异常时通知护士 | 每病区 1-2 个 AP | 呼吸:6-30 BPM | Respiratory Distress、Cardiac Arrhythmia |
| 急诊分诊 | 自动占用计数 + 等待时间估计;在候诊区检测病人痛苦(异常呼吸) | 现有医院 WiFi | 占用准确率 >95% | Queue Length、Panic Motion |
| 零售占用与客流 | 实时人流、按区域停留时间、排队长度——无摄像头、无需选择加入、符合 GDPR | 现有商店 WiFi + 1 个 ESP32 | 停留分辨率约 1m | Customer Flow、Dwell Heatmap |
| 办公空间利用 | 哪些工位/房间实际被占用、会议室爽约、基于真实存在的 HVAC 优化 | 现有企业 WiFi | 存在延迟 <1s | Meeting Room、HVAC Presence |
| 酒店与住宿业 | 无需门传感器的房间占用、迷你吧/卫生间使用模式、空房节能 | 现有酒店 WiFi | 节省 15-30% HVAC | Energy Audit、Lighting Zones |
| 餐厅与餐饮服务 | 餐桌周转追踪、厨房员工存在、卫生间占用显示——用餐区无摄像头 | 现有 WiFi | 排队等待 ±30s | Table Turnover、Queue Length |
| 停车场 | 楼梯间和电梯中摄像头盲区的人行存在;有人逗留时发出安全警报 | 现有 WiFi | 穿透混凝土墙 | Loitering、Elevator Count |
🏟️ 专业场景——活动、健身、教育、市政(支持 CSI 的硬件)#
| 用例 | 功能 | 硬件 | 关键指标 | 边缘模块 |
|---|---|---|---|---|
| 智能家居自动化 | 房间级存在触发(灯光、HVAC、音乐),可穿墙工作——无死角、无运动传感器超时 | 2-3 个 ESP32-S3 节点(24 美元) | 穿墙范围约 5m | HVAC Presence、Lighting Zones |
| 健身与运动研究 | 无需可穿戴设备或摄像头即可探索运动和呼吸节奏;可靠的姿势纠正需要经过验证的兼容姿态模型 | 3+ ESP32-S3 网格 + 边缘主机 | 原型;不声称实时 S3 姿态精度 | Breathing Sync、Gait Analysis |
| 托儿所与学校 | 午睡呼吸监测、操场人数统计、限制区域警报——对未成年人隐私安全 | 每区域 2-4 个 ESP32-S3 | 呼吸:±1 BPM | Sleep Apnea、Perimeter Breach |
| 活动场馆与演唱会 | 人群密度测绘、通过呼吸压缩检测踩踏风险、紧急疏散流追踪 | 多 AP 网格(4-8 个 AP) | 每 m² 密度 | Customer Flow、Panic Motion |
| 体育场与竞技场 | 分区占用用于动态定价、餐饮人员配置、紧急出口流建模 | 企业 AP 网格 | 每个 AP 网格 15-20 人 | Dwell Heatmap、Queue Length |
| 宗教场所 | 无需人脸识别的出席计数——隐私敏感的会众、多房间园区追踪 | 现有 WiFi | 区域级准确率 | Elevator Count、Energy Audit |
| 仓库与物流 | 工人安全区、叉车接近警报、危险区域占用——可穿过货架和托盘工作 | 工业 AP 网格 | 警报延迟 <500ms | Forklift Proximity、Confined Space |
| 市政基础设施 | 公共卫生间占用(不可能装摄像头)、地铁站台拥挤、紧急情况下避难所人数 | 市政 WiFi + ESP32 | 实时人数 | Customer Flow、Loitering |
| 博物馆与画廊 | 访客流热力图、展品停留时间、人群瓶颈警报——艺术品附近无摄像头(闪光/盗窃风险) | 现有 WiFi | 区域停留 ±5s | Dwell Heatmap、Shelf Engagement |
🤖 机器人与工业——自主系统、制造业、安卓空间感知#
WiFi 感知为机器人和自主系统提供了一层空间感知,在 LIDAR 和摄像头失效的地方——穿过灰尘、烟雾、雾,以及绕过拐角——仍能工作。CSI 信号场充当“第六感”,无需视线即可检测环境中的人类。
| 用例 | 功能 | 硬件 | 关键指标 | 边缘模块 |
|---|---|---|---|---|
| 协作机器人安全区 | 检测协作机器人附近的人——在接触前自动减速或停止,即使有遮挡物 | 每单元 2-3 个 ESP32-S3 | 存在延迟 <100ms | Forklift Proximity、Perimeter Breach |
| 仓库 AMR 导航 | 自主移动机器人感知盲角、货架后方的人——无 LIDAR 遮挡 | 沿通道布置 ESP32 网格 | 穿货架检测 | Forklift Proximity、Loitering |
| 安卓 / 人形机器人空间感知 | 社交机器人的环境人体姿态感知——检测手势、接近方向和个人空间,无需摄像头常开 | 板载 ESP32-S3 模块 | 17 关键点姿态 | Gesture Language、Emotion Detection |
| 制造生产线监测 | 每个工位的工人存在、人体工学姿态警报、轮班合规人数——可穿过设备工作 | 每个区域工业 AP | 姿态 + 呼吸 | Confined Space、Gait Analysis |
| 建筑工地安全 | 重型机械周围禁区执行、脚手架跌倒检测、人员人数 | 加固型 ESP32 网格 | 警报 <2s,穿尘 | Panic Motion、Structural Vibration |
| 农业机器人 | 在摄像头不可靠的多尘/多雾田间条件下,检测自主收割机附近的农场工人 | 防风雨 ESP32 节点 | 开阔地范围约 10m | Forklift Proximity、Rain Detection |
| 无人机着陆区 | 验证着陆区没有人员——WiFi 感知在雨、尘和低光下工作,而下视摄像头在这些条件下会失效 | 地面 ESP32 节点 | 存在:>95% 准确率 | Perimeter Breach、Tailgating |
| 洁净室监测 | 无摄像头的人员追踪(摄像头风扇有颗粒污染风险)——通过姿态检查洁净服合规 | 现有洁净室 WiFi | 无颗粒排放 | Clean Room、Livestock Monitor |
🔥 极端场景——穿墙、灾难、国防、地下#
这些场景利用 WiFi 穿透固体材料的能力——混凝土、瓦砾、泥土——这是任何光学或红外传感器都无法到达的地方。WiFi-Mat 灾难模块(ADR-001)专为此层级设计。
| 用例 | 功能 | 硬件 | 关键指标 | 边缘模块 |
|---|---|---|---|---|
| 搜救(WiFi-Mat) | 通过呼吸特征检测瓦砾/碎片下的幸存者、START 分诊颜色分类、3D 定位 | 便携 ESP32 网格 + 笔记本 | 穿透 30cm 混凝土 | Respiratory Distress、Seizure Detection |
| 消防 | 在进入前穿过烟雾和墙壁定位被困人员;呼吸检测远程确认生命迹象 | 车载便携网格 | 零能见度下工作 | Sleep Apnea、Panic Motion |
| 监狱与安全设施 | 牢房占用验证、痛苦检测(异常生命体征)、周界感知——无摄像头盲区 | 专用 AP 基础设施 | 24/7 生命体征 | Cardiac Arrhythmia、Loitering |
| 军事 / 战术 | 穿墙人员检测、清房确认、对峙距离下的人质生命体征 | 定向 WiFi + 自定义固件 | 范围:穿墙 5m | Perimeter Breach、Weapon Detection |
| 边境与周界安全 | 检测隧道、围栏后、车辆中的人员存在——被动感知,无主动照明暴露位置 | 隐蔽式 ESP32 网格 | 被动 / 隐蔽 | Perimeter Breach、Tailgating |
| 采矿与地下 | 在 GPS/摄像头失效的隧道中检测工人存在、坍塌后呼吸检测、安全点人数统计 | 加固型 ESP32 网格 | 穿岩石/泥土 | Confined Space、Respiratory Distress |
| 海事与海军 | 穿过钢制舱壁进行甲板下人员追踪(范围有限,需要调参)、落水检测 | 船舶 WiFi + ESP32 | 穿过 1-2 层舱壁 | Structural Vibration、Panic Motion |
| 野生动物研究 | 在围栏或兽穴中进行非侵入式动物活动监测——无光污染、无视觉干扰 | 防风雨 ESP32 节点 | 零光发射 | Livestock Monitor、Dream Stage |
🧠 自学习 WiFi AI#
从原始 CSI 学习紧凑的房间指纹,并让模型适应每个环境。
查看自学习架构和命令
每个经过房间的 WiFi 信号都会创建该空间的独特指纹。WiFi-DensePose 已经读取这些指纹来追踪人员,但直到现在,它在每次读取后都会丢弃内部的“理解”。自学习 WiFi AI 捕获并保留这种理解,作为紧凑、可复用的向量——并为每个新环境持续优化自身。
用通俗的话说,它做什么:
- 将任何 WiFi 信号变成 128 个数字的“指纹”,唯一描述房间内正在发生的事
- 完全从原始 WiFi 数据自行学习——无摄像头、无标注、无需人工监督
- 仅用 WiFi 识别房间、检测入侵者并对活动分类(命名人员身份是实验性、受数据门控的研究能力——见下文,不是已发布功能)
- 在 8 美元的 ESP32 芯片上运行(整个模型适配 55 KB 内存)
- 在一次计算中同时产生身体姿态追踪和环境指纹
关键能力#
| 能力 | 工作原理 | 为什么重要 |
|---|---|---|
| 自监督学习 | 模型观察 WiFi 信号,自己学习“相似”和“不同”是什么样子,无需任何人工标注数据 | 随处部署——插上 WiFi 传感器,等 10 分钟 |
| 房间识别 | 每个房间产生独特的 WiFi 指纹模式 | 无需 GPS 或信标就能知道某人在哪个房间 |
| 异常检测 | 意外的人或事件会创建与以往任何模式都不匹配的指纹 | 自动入侵和跌倒检测成为免费副产品 |
| 人员重识别(实验性、研究) | 一个真实的逐信道相似度匹配器(Soul Signature §3.6,wifi-densepose-bfld);实测结果:仅凭 WiFi 的心跳+呼吸信道,两个人不可区分(差距约 0.0005) | 诚实的研究能力——不声称命名身份,并且在用决定性的 AETHER/身体共振信道注册时受数据门控。参见 #1021 |
| 环境适应 | MicroLoRA 适配器(每个房间 1,792 个参数)为每个新空间微调模型 | 用最少数据适应新房间——比从零重训少 93% |
| 记忆保留 | EWC++ 正则化记住预训练期间学到的东西 | 切换到新任务不会抹掉先前的知识 |
| 难负样本挖掘 | 训练聚焦于最令人困惑的样本,以更快学习 | 相同训练数据量下获得更好精度 |
架构#
WiFi Signal [56 channels] → Transformer + Graph Neural Network
├→ 128-dim environment fingerprint (for search + identification)
└→ 17-joint body pose (for human tracking)
快速开始#
# Step 1: Learn from raw WiFi data (no labels needed)
cargo run -p wifi-densepose-sensing-server -- --pretrain --dataset data/csi/ --pretrain-epochs 50
# Step 2: Fine-tune with pose labels for full capability
cargo run -p wifi-densepose-sensing-server -- --train --dataset data/mmfi/ --epochs 100 --save-rvf model.rvf
# Step 3: Use the model — extract fingerprints from live WiFi
cargo run -p wifi-densepose-sensing-server -- --model model.rvf --embed
# Step 4: Search — find similar environments or detect anomalies
cargo run -p wifi-densepose-sensing-server -- --model model.rvf --build-index env
训练模式#
| 模式 | 你需要什么 | 你能得到什么 |
|---|---|---|
| 自监督 | 只需原始 WiFi 数据 | 一个理解 WiFi 信号结构的模型 |
| 监督 | WiFi 数据 + 身体姿态标签 | 完整姿态追踪 + 环境指纹 |
| 跨模态 | WiFi 数据 + 摄像头画面 | 与视觉理解对齐的指纹 |
指纹索引类型#
| 索引 | 存储什么 | 实际用途 |
|---|---|---|
| env_fingerprint | 平均房间指纹 | “这是厨房还是卧室?” |
| activity_pattern | 活动边界 | “有人在做菜、睡觉还是锻炼?” |
| temporal_baseline | 正常条件 | “这个房间刚刚发生了异常” |
| person_track | 个人运动特征 | “A 刚进入客厅” |
模型大小#
| 组件 | 参数 | 内存(ESP32 上) |
|---|---|---|
| Transformer 主干 | 约 28,000 | 28 KB |
| 嵌入投影头 | 约 25,000 | 25 KB |
| 每房间 MicroLoRA 适配器 | 约 1,800 | 2 KB |
| 总计 | 约 55,000 | 55 KB(可用 520 KB 中的) |
自学习系统建立在 AI 主干(RuVector)信号处理层——注意力、图算法和压缩——之上,并在其上添加对比学习。
完整架构细节参见 docs/adr/ADR-024-contrastive-csi-embedding-model.md。
🧩 Claude Code 与 Codex 插件#
在 Claude Code 或 Codex 中使用仓库内插件进行引导式设置、感知、训练和验证。
查看插件安装与命令
RuView 的 Claude Code 插件和 Codex prompt 镜像覆盖入门、ESP32 设置、感知应用、模型训练、高级感知、CLI/API/WASM、毫米波雷达和见证验证。源码位于 plugins/ruview/;市场清单是 .claude-plugin/marketplace.json。
# In Claude Code — add this repo as a plugin marketplace, then install:
/plugin marketplace add ruvnet/RuView
/plugin install ruview@ruview
# Or try it for one session without installing (from a local clone of the repo):
claude --plugin-dir ./plugins/ruview
# Then, in Claude Code:
# /ruview-start → onboarding (Docker demo / repo build / live ESP32)
# /ruview-flash → build + flash ESP32 firmware
# /ruview-provision → provision WiFi creds, sink IP, channel/MAC, mesh slots
# /ruview-app → run a sensing application (presence / vitals / pose / sleep / MAT / point cloud)
# /ruview-train → train / evaluate / publish a model (incl. GPU on GCloud)
# /ruview-advanced → multistatic / tomography / cross-viewpoint / mesh-security
# /ruview-verify → tests + deterministic proof + witness bundle
Codex(OpenAI CLI):cp plugins/ruview/codex/prompts/*.md ~/.codex/prompts/——七个 /ruview-* 命令被镜像为 Codex prompt;plugins/ruview/codex/AGENTS.md 携带项目规则。参见 plugins/ruview/codex/README.md。
验证插件结构:bash plugins/ruview/scripts/smoke.sh。完整详情:plugins/ruview/README.md。
实时感知面板(Claude Code mod):同一市场还列出了 ruview-live,一个 Claude Code mod。
用 /plugin install ruview-live@ruview 安装它,或运行 npx @ruvnet/ruview@0.9.1 mod 获取它在 npm 包内的路径。
/ruview 会在对话记录旁打开一个面板,显示你的 CSI 节点和雷达,按定时器刷新,并附一行状态。
它是只读的。
Mod 是早期访问功能;如果 /ruview 缺失,请使用 CLAUDE_CODE_ENABLE_FUNCTION_HOOKS=1 启动 Claude Code。参见 ADR-377。
对于可移植的 RuView MetaHarness,使用 npx @ruvnet/ruview@0.9.1。快速命令和更完整的说明在本 README 顶部的 MetaHarness 折叠部分、harness/ruview/ 和用户指南中。
📖 文档#
从用户、构建和校准指南开始;展开以查看完整参考地图。
浏览所有文档
| 文档 | 描述 |
|---|---|
| 用户指南 | 分步指南:安装、首次运行、API 使用、硬件设置、训练 |
| 构建指南 | 从源码构建(Rust 和 Python) |
| 校准与房间训练指南 | calibrate/enroll/train-room 实际强制执行什么:最小帧数、每个锚点的质量门、宠物/小动作存在检测的注意事项,以及空房间基线条件——以真实代码为依据,而不仅仅是 ADR-135/151 |
| 信任状态与引擎错误 | /api/v1/status 上的 engine_error_count 和 demoted 意味着什么、确切的触发条件、当前诊断缺口(没有按原因分解)、WDP_GUARD_INTERVAL_US 恢复路径,以及为什么转换后的 Hugging Face 模型在代码中没有被显示为原因 |
| Home Assistant + Matter 集成 | 通过 MQTT 自动发现与 Home Assistant 配合 + Works with Matter(Apple Home / Google Home / Alexa / SmartThings)——完整实体目录、3 个入门蓝图、Lovelace 仪表盘、隐私模式、阈值调优(ADR-115)。 |
| BFLD——用于检测的波束成形反馈层 | 新的隐私门控 WiFi 感知层,测量并结构性防止 802.11ac/ax 波束成形反馈信息(BFI)的身份泄漏。三个类型强制不变量(原始 BFI 绝不离开节点、身份嵌入仅存于 RAM、跨站点关联通过每站点 BLAKE3 键控哈希 + 每日轮换在密码学上不可能)。提供完整操作表面(BfldPipeline、BfldPipelineHandle、Soul Signature §3.6 逐信道匹配器 EnrolledMatcher/SoulMatchOracle——实验性;命名身份受数据门控,实测在仅 WiFi 信道上不可区分)、MQTT 主题路由器 + HA-DISCO + 可用性 + LWT、3 个操作员 HA 蓝图、两个可运行示例、eclipse-mosquitto:2 CI 服务容器。327+ 测试。ADR-118 总括 + 子 ADR 119/120/121/122/123。研究档案:docs/research/BFLD/(11 个文件,13,544 词)。 |
| SENSE-BRIDGE——rvagent MCP 服务器 | 双传输 MCP 服务器(@ruvnet/rvagent),将 RuView 感知栈桥接到 AI 智能体(Claude Code、Cursor、ruflo 群)。已接入 6 个工具:ruview.presence.now、ruview.vitals.get_{breathing,heart_rate,all}、ruview.bfld.last_scan、ruview.bfld.subscribe。stdio + Streamable HTTP(POST /mcp、Origin 验证、bearer-token 认证、绑定 127.0.0.1)。完整的 20 工具 Zod schema barrel + 5 个 RUVIEW-POLICY 治理工具。93 个测试。ADR-124。试试:npx @ruvnet/rvagent stdio。 |
| 语义原语——精确率/召回率 | 在留出配对捕获集上的逐原语 F1:someone-sleeping、possible-distress、room-active、elderly-inactivity-anomaly、meeting、bathroom、fall-risk、bed-exit、no-movement、multi-room。 |
| Claude Code / Codex 插件 | ruview 插件 + 市场——技能、/ruview-* 命令、智能体,以及 Codex prompt 镜像 |
| 可移植 harness——npx @ruvnet/ruview | MetaHarness 铸造的、主机可移植的 RuView 操作员 harness——ruview.* MCP 工具 + 在代码中强制执行的 MEASURED-vs-CLAIMED 诚实性护栏(ADR-182)。仓库内插件的更轻量、多主机配套版本。 |
| CSI 帧选择——实测 | 哪种速率门控真正换来跨节点配对,在一个九节点 ESP32-C6 集群上以三个拉丁方块的 2x2 因子设计测量。按 802.11 rx_seq 选择帧大约使配对翻倍(+31.7 个百分点),而网格时间对齐只带来 +0.5 个百分点,在噪声范围内。包括它做出的权衡、一个最终被证明错误的预测、测量的局限性,以及 run_arms.py,以便重新运行比较而不是盲目相信。 |
| ESP32-C6 固件运行手册 | 运行什么、按什么顺序、检查什么:保留 OTA 回滚的三文件构建、五键预刷写门、OTA 可以到达和不能到达的闪存区域、带回退路径的单板诊断刷写,以及正确值取决于你家而不是芯片的可调参数。 |
| 架构决策 | 205 个 ADR——每个技术选择为何做出,按领域组织(硬件、信号处理、ML、平台、基础设施) |
| 领域模型 | 8 个 DDD 模型(RuvSense、Signal Processing、Training Pipeline、Hardware Platform、Sensing Server、WiFi-Mat、CHCI、rvCSI)——限界上下文、聚合、领域事件和通用语言 |
| rvCSI——边缘 RF 感知运行时 | Rust 优先 / TypeScript 可访问 / 硬件抽象化的 CSI 运行时:多源摄取(包括来自 Raspberry Pi 5 / Pi 4 / Pi 3B+ 的真实 nexmon_csi .pcap——CYW43455 / BCM43455c0)→ 验证 → DSP → 类型化事件 → RuVector RF 记忆(ADR-095、ADR-096、领域模型)。现为独立仓库——ruvnet/rvcsi——以 vendor/rvcsi 形式内嵌于此;crates.io 上有 9 个 rvcsi-* crate,npm 上有 @ruv/rvcsi,外加一个 Claude Code 插件。 |
| 桌面应用 | 进行中——用于节点管理、OTA 更新、WASM 部署和网格可视化的 Tauri v2 桌面应用 |
| ruview-swarm | 无人机群控制系统(ADR-148)——分层网格拓扑、Raft 共识、MARL、CSI 感知载荷、MAVLink/PX4/ArduPilot 兼容性、Ruflo AI 智能体集成 |
| ruview-unified | 统一 RF 空间世界模型(ADR-273..277)——规范 RF 张量 + 硬件适配器(WiFi CSI / FMCW 雷达 / UWB / 5G SRS)、带 ≤1% 任务适配器的通用 RF 基础编码器、带信道增益查询 + 逆更新的 RF 感知高斯空间记忆、物理引导的合成 RF 世界,以及对齐 802.11bf/ETSI-ISAC 的感知策略平面(原始 RF 在结构上不可导出)。所有精度数字在真实数据验证之前均为合成数据。 |
| 医疗示例 | 通过 60 GHz 毫米波雷达进行非接触式血压、心率和呼吸率测量——15 美元硬件,无需可穿戴设备 |
| 扩展文档 | 最新补充、关键特性、安装、快速开始、信号处理、训练、CLI、测试、部署和变更日志 |
🚧 Beta 软件#
Beta 软件——积极开发中。API 和固件可能变化。已知限制:
- 不支持 ESP32-C3 和原始 ESP32(单核,不足以进行 CSI DSP)
- 单个 ESP32 部署的空间分辨率有限——使用 2 个以上节点或添加 Cognitum Seed 以获得最佳结果
- 无摄像头姿态精度有限(使用代理标签时 PCK@20 ≈ 2.5%)——摄像头真值训练目标为 35%+ PCK@20;流水线已实现,但数据采集和评估阶段(ADR-079 P7–P9)仍待完成。
欢迎在 Issues 中贡献和报告 bug。
📄 许可证#
MIT License——详情请参见 LICENSE。
🤝 创作者联盟计划#
面向 TikTok · Instagram · YouTube 创作者——你推荐的每笔 Cognitum 销售可赚取 25%。你已经在制作的 RuFlo、RuView 和 RuVector 视频已经获得了数百万次观看;让它们带来的订单为你赚钱。点击追踪立即激活;佣金在快速人工审核后激活(通常少于 24 小时)。
立即申请 → cognitum.one/affiliate
📞 支持#
GitHub Issues | Discussions | PyPI
WiFi DensePose——通过 WiFi 信号进行隐私保护的人体姿态估计。