底层技术原理|EVS事件视觉、双模硬件切换、事件时序空间智能、In-sensor Computing
DVS/EVS基础工作原理
- •传统图像传感器:固定时间输出整张图片,无论画面是否变化。大量静止背景像素造成数据冗余;运动拖影、强光过曝;携带完整图像隐私信息
- •EVS (Event-based Vision Sensor):只输出亮度发生改变的像素点
- •物体静止:几乎没有数据输出
- •物体运动:输出变化的像素事件+微秒级时间戳
- •优势:数据量小、延迟微秒级、功耗低、抗强光
双模硬件切换(Privacy Silhouette Mode / Forensic Snapshot Mode)
- •Privacy Silhouette Mode:硬件电路层面切断完整图像生成,设备不会产出一张完整图片;只有事件点数据流输出。固件、网络接口都无法绕过硬件隔离
- •Forensic Snapshot Mode:收到指令才开启,输出RGB彩色图像,用于取证留痕
- •不是软件打码;软件打码是先有原图再做模糊,原图依然存在设备内部。本方案硬件层面控制图像是否生成
端侧多模态行为大模型
- •大模型部署本地端设备;输入为事件时序数据流,不需要图像
- •识别能力:跌倒、人员滞留、人体姿态、手势动作
- •推理本地完成,不需要上传原始图像到云端,兼顾识别能力与隐私合规
事件时序空间智能
只依靠事件点+时间戳,不需要完整图像,完成:
- •空间拓扑解析
- •物体交互、移位检测
- •人员进出、区域滞留判断
- •应用:养老监测、机器人SLAM建图、工业工序时序校验
In-sensor Computing架构两种路线
- •近传感器计算:传感器输出事件数据,外部MCU/NPU完成AI计算;现有JYR-EH模组采用该路线
- •In-sensor Computing:感知单元与AI计算单元集成同一颗芯片;数据不需要离开芯片,极致降低延迟、功耗、带宽;JYR-ES预研项目采用该路线
知识产权矩阵&产学研模式
- •现有专利:17项自研发明专利+西电3项底层专利授权;3年规划扩充到100项专利
- •西电广研院:底层传感器、专利授权
- •光流慧芯:硬件、固件、算法、产品工程化、市场落地
- •大一资本:产业资本赋能
- •深圳虚拟大学园同园区协同,解决实验室原型走向量产产品的工程难题