RuView项目,又名π RuView或WiFi DensePose,是一个开创性的开源项目,它利用商品化的WiFi信号实现实时人体姿态估计、生命体征监测和存在检测,而无需任何摄像头或可穿戴设备。它解决了传统基于摄像头的监控在隐私、穿墙能力和部署成本方面的痛点,以及可穿戴设备带来的不便。
该项目的核心价值在于其“透视”能力和隐私保护特性。通过分析人类活动(包括微小的呼吸和心跳)对WiFi信道状态信息(CSI)造成的扰动,RuView能够利用物理学信号处理和机器学习技术,重建人体的姿态、呼吸频率和心跳。这意味着它可以在完全不侵犯隐私的前提下,在墙后、障碍物后甚至在黑暗中进行监测。
RuView的工作原理是部署一个由3-6个ESP32-S3传感器组成的网状网络,这些传感器能够捕获WiFi信号的CSI数据(包括每个子载波的幅度与相位信息)。通过多频段融合、多站融合、相干门控等一系列复杂的信号处理步骤,结合AI骨干网络(如注意力网络、图算法和智能压缩),最终通过神经网络输出17个人体关键点、生命体征和房间模型。值得一提的是,它采用了自学习系统,无需标记训练数据或摄像头进行引导,并通过对抗性域泛化技术,确保模型在不同房间、建筑和硬件之间具有良好的泛化能力。
其关键特性包括:隐私优先(无摄像头、无视频存储)、生命体征监测(呼吸和心率)、多目标追踪(同时追踪多人)、穿墙能力、灾难响应(检测被困幸存者)、多站网状网络(提供360度覆盖和高精度)、持久场模型(学习房间RF特征并隔离人体运动)。在智能方面,它具备自学习能力、AI信号处理、跨环境泛化和跨视角融合。在性能和部署上,它实现了实时处理(54,000帧/秒)、Rust语言重写带来的高性能、一键式Docker部署以及完全本地运行(在ESP32上独立运行,无需互联网或云服务)。
RuView的实际应用场景非常广泛,包括但不限于:智能家居(老人跌倒检测、睡眠监测、智能照明)、医疗健康(非接触式生命体征监测、住院病人看护)、安防监控(无摄像头入侵检测、人员计数)、灾难救援(搜寻被困人员)、商业零售(客流分析、区域热度图)等。由于其不依赖摄像头,它天然规避了GDPR、HIPAA等隐私法规的限制,使其在对隐私敏感的场景中具有巨大优势。