拒绝“跑不通的Demo”：基于双核平台的网页LLM+语音对话方案实操 | 本周六 武汉

MCU上跑手写数字识别，就一定要牺牲实时性？语音具身智能，对嵌入式开发者来说还遥不可及？

如果你也看腻了那些只讲架构、跑不通完整链路的技术分享，这次我们换个思路：本周六，RT-Thread巡回培训-武汉场，我们将使用 PSOC E84 Edgi-Talk 双核开发板，带你完成“GUI显示、手写识别、LLM网页端部署、小智AI”四大实验。通过合理分配系统资源，直观体验边缘 AI 与实时控制的协同。所有工程代码、配置文件现场全量提供，直接打包带走！

1 项目概述

目标: 实现LLM网页端交互，运行小智AI并进行简单的MCP小灯控制。

平台: Edgi-Talk

使用手册: Infineon-PSOC-E84(https://ucnb3os0dr77.feishu.cn/wiki/BKJjwEocQiFlCBkhgP5cqwjgnNf)

2 运行准备

llmchat软件包

通义千问账号注册

小智AI账号注册

3 使用方法

1.创建Wifi工程：

因为wifi工程需要烧录wifi固件等信息。需要参考如下教程：

https://rt-thread-studio.github.io/sdk-bsp-psoc_e84-edgi-talk/latest/driver/Edgi_Talk_M55_WIFI/README_zh.html

2.使能 llmchat 软件包：

点击添加软件包按钮，搜索并添加 llmchat软件包：

添加成功后如下图

3.通义千问账号注册

①注册阿里云账号，并进入阿里云百炼平台：选择模型广场→API调用示例

②模型使用需要充值，请酌情充值即可，这里演示充值1元就可使用

③接下来进入千问开发者后台：

④ 新建大模型的 API-KEY：

⑤ 填写描述后即可创建API-KEY（SK-XXXXXXXX）:

⑥打开 RT-Thread Settings，进入 RT-Thread online packages → AI packages → Large Language Models(LLM) for RT-Thread 目录下；按照下图进行配置：

- llm qwen user api key：API KEY 需要在通义千问控制台获取；

- llm qwen model name：选择模型的名称默认是 qwen-plus；

⑦ 按照下图修改llm配置，同时使能 llmchat webnet 模式：

4.小智AI实验

1.创建小智AI项目工程:Edgi_Talk_M55_XiaoZhi

2.点击 Studio 中的锤子按钮进行编译

3.固件烧录：点击Studio中的下载按钮，进行固件烧录

4.如何配置小智APP联网：

注意：如果手上有SD卡，可以把卡插入到开发板的SD卡槽，下一次开机会自动联网了

开发板第一次默认会进入AP模式，需要找到对应的AP进行连接，密码在屏幕上有显示：

确保连接成功后，在设备的浏览器中输入：192.168.169.1，进入后台界面，进行配网：

先点击 scan 扫描周围 wifi 热点：

连接成功后，会显示如下界面：

当屏幕上显示“待命中”的时候，代表可以正常进行对话了

首次使用需要注册小智的账号，然后根据屏幕提示的内容进行验证码配对

https://xiaozhi.me/

按一下开发板的第一个 用户按键 进行对话，然后等待 1-2S 小智会自动回复。

小智的表情含义

联网中，请等待完成

监听对话中，此时需要按下用户按键/说出唤醒词“小睿，小睿”，然后进行对话

小智进入聆听状态，此时会处理对话内容，等一句话说完停顿后会进行处理

对话中，此时小智会回复你的对话请求

休眠状态，此时小智进入低功耗，需要手动按一下按键，然后等待小智进入待命中状态

然后就可以继续对话了

实现MCP控制开发板的外设

目前支持的外设控制： LED小灯、屏幕亮度、声音大小

使用方法：

按一下开发板的第一个 用户按键 进行对话

小智进入聆听状态

对小智说“打开灯”、“关闭灯”、“调亮屏幕”、“调大声音”等命令即可实现MCP控制开发板外设

小智MCP小灯控制原理

MCP初始化发送IOT描述符

注册Iot设备

LED灯控制工具

控制方法对应的驱动

4 常见问题

如果出现无法添加LLM_Chat软件包的情况请按照如下办法解决：

下载此压缩包：https://t3.znas.cn/X6nw42RKbc7

解压并替换下图所示 Studio 安装目录下的 ai 文件夹

保存，重启 Studio 然后重新打开 RT-Thread Settings 即可成功添加此软件包

进入 RT-Thread online packages → IoT - internet of things → WebClient: A HTTP/HTTPS Client for RT-Thread 选择MbedTLS support

进入 RT-Thread online packages → security packages → mbedtls 菜单，修改 Maxium fragment length in bytes 字段为 6144（否则TLS会握手失败）

使能旧版本兼容支持：

修改 LWIP 配置，增加 LWIP 线程栈大小到 4096：

使能组件-驱动中的软件模拟RTC设备：

webnet 软件包按照如下图所示进行配置，修改路径为：/flash/webnet

使能旧版本兼容支持：

使能 yomdem 的文件传输功能

退出保存配置，studio会自动拉取软件包：

修改 webnet线程栈大小为 8K：

编译固件

使用 XShell 打开开发板的串口终端，创建 webnet 文件夹

mkdir /flash/webnet

使用 ymodem 传输 html 文件到开发板：

ry /flash/webnet/ uart2

选择要传输的资源文件

选择下面的这个html文件

文件传输中：

接下来验证下文件系统中是否存在此文件：

连接 wifi，输入：wifi join [wifi AP名称] [wifi AP密码]，等待获取IP成功。

使用命令行快速测试：输入llm即可进入聊天终端，CTRL+D可以退出聊天窗口返回MSH终端；

联网成功后，在开发板上输入：webnet_llm_mode 命令

打开浏览器，输入开发板的ip地址，即可看到此网页。

5 现场好礼

我们将给到场伙伴准备签到礼，幸运小伙伴还有机会获得充电宝等精彩礼品，3人及以上组团到场参加，有额外礼品哦

6 场地指引

活动时间：10月31日1030

活动地点：武汉市洪山区 鲁磨路 武汉地质大学 西区教二楼 801教室

活动内容：