当前位置:首页 > 金融市场 > WT99P4C5-S1:双芯架构实现局域网智能门铃

WT99P4C5-S1:双芯架构实现局域网智能门铃

市面上的智能门铃普遍价格较高且依赖云端服务,对于追求低成本、高隐私或局域网独立运行的用户而言,存在替代需求。基于WT99P4C5-S1模组的智能门铃方案,通过ESP32-P4与ESP32-C5双芯协作,实现了无需安装App、仅在浏览器打开网页即可使用的局域网可视对讲与门禁控制功能。

局域网智控

1

双芯架构与硬件配置

该方案核心采用WT99P4C5-S1模组,板上集成ESP32-P4与板载ESP32-C5两颗芯片,配备16MB Flash和32MB PSRAM。ESP32-P4负责音视频处理、AI判断及信令服务,ESP32-C5专责联网通信,分工明确以保障系统稳定性。4a8f769a-e271-11f1-80b8-92fbcf53809c.jpg

视频采集OV5647摄像头通过MIPI-CSI接口连接,支持RAW10格式输入

音频处理ES8311编解码器搭配麦克风与4Ω 3W扬声器,支持双向语音

门锁控制使用180°舵机模拟,GPIO32输出50Hz PWM信号控制开关

人体感知LD2450毫米波雷达提供X、Y坐标及速度数据,需单独5V供电

2

WebRTC局域网通信

系统上电后,串口会打印局域网地址,用户只需在浏览器打开HTTPS页面即可显示连接状态。界面左侧展示门外实时画面,右侧提供接听、挂断、开门按钮,下方记录雷达和摄像头的事件数据。

点击接听后,实测接通时间为4到6秒,视频分辨率为640×480、15帧,支持双向语音同时通信。刷新页面可重连,且第一次呼叫不会丢失,信令服务直接运行在P4上,无需依赖公网STUN服务器。

音频链路中,开门提示音直接混入通话的PCM流中,实现边通话边播报。采集管线常驻内存,接听第二通电话时无需重新等待初始化,提升了交互体验的流畅度。

3

雷达视觉融合检测

为了降低误报率,系统采用雷达与视觉融合的判断逻辑。只有当LD2450雷达确认有目标,且视觉算法在2秒内也识别到人时,才会触发门铃呼叫,单一传感器触发不响铃。

画面上的检测框分为三种颜色:绿色代表确认的行人,黄色代表近距离人脸,灰色代表正在确认的候选目标。这种可视化反馈帮助用户直观了解系统的检测状态。

在算力分配上,P4双核开启两条支路:一路处理640×480的通话视频,另一路处理320×180、2帧的检测视频。AI检测仅占用17%的算力,两个核心分别剩余77%和98%的空闲资源,确保通话编码不受影响。

4

开发与优化实践

该项目基于乐鑫开源的esp-webrtc-solution,在doorbell_local例程上进行复刻优化,主要改动集中在P4芯片的板级移植、舵机控制及传感器融合。32MB PSRAM确保了采集、编码、检测数据的同时驻留,避免内存排队等待。4aa98daa-e271-11f1-80b8-92fbcf53809c.jpg

开发过程中解决了两个关键问题:一是检测线程栈空间不足,从4KB增加至24KB以解决浮点格式化导致的Stack protection fault;二是优化呼叫链路,撤掉公网等待并关闭网页端多余采集,将接通时间从30秒缩短至4-6秒。

舵机参数500微秒脉冲对应锁止,2500微秒脉冲对应开启,动作后停5秒自动复位

雷达数据输出单位为毫米的X、Y坐标及速度值,与主板仅共地连接

视频参数ISP输出压缩至640×480分辨率,编码为H.264格式传输

5

源码获取与总结

目前该项目代码已完全开源,开发者可以通过GitHub获取完整源码,或在公众号留言“P4C5 智能门铃”获取下载链接。这一方案为低成本、高隐私保护的智能门禁开发提供了可行的参考路径。

通过ESP32-P4的强大算力与双芯架构的灵活配合,该方案在不依赖云端的情况下实现了完整的可视对讲与智能检测功能,适合对数据隐私敏感或需要局域网独立运行的应用场景。