跳到主要内容
← 返回项目列表

【开源】玩转 T5-Pocket：你的 AI+IoT 智能伙伴

T5-Pocket show

✨ T5-Pocket 最新功能亮点

基于 TuyaOpen 最新固件，T5-Pocket 已实现以下核心功能：

🎮 AI 虚拟宠物系统

  • 宠物动画：吃东西、洗澡、睡觉、跳舞、生病、上厕所等丰富动画
  • 状态管理：健康值、能量值、清洁度、快乐度实时变化
  • 情绪表达：开心、悲伤、生病等情绪，根据状态自动切换
  • 互动操作：喂食（汉堡、披萨、苹果等食物）、洗澡、看医生、睡觉等
  • 智能定时系统：每 20 分钟自动衰减状态，模拟真实宠物需求
  • 数据持久化：宠物状态自动保存到 KV 存储，断电不丢失
  • 云端同步：状态实时上报涂鸦云，支持远程查看和控制

💬 多模态 AI 对话能力

  • 4 种对话模式：
    • 按键触发单次对话（按住说话，松开发送）
    • VAD 自由对话（自动检测语音起止）
    • 唤醒词单次对话（类似智能音箱）
    • 唤醒词自由对话（持续对话模式）
  • 情绪识别：AI 识别用户情绪（开心、生气、恐惧、悲伤）并调整回复
  • 流式文本处理：支持 AI 回复的流式接收和显示
  • 多语言支持：中英文语音识别和合成

🖥️ UI 界面

  • 主屏幕：显示宠物动画、状态栏（Wi-Fi、电池、4G）、宠物属性
  • 菜单系统：
    • 喂食菜单（食物选择）
    • 洗澡菜单
    • 健康菜单（看医生）
    • 睡眠菜单
    • 信息菜单（显示宠物详细属性）
    • 外设菜单（陀螺仪，I2C 扫描，WIFI 扫描, 游戏）
  • 游戏界面：
    • 贪吃蛇游戏（完整实现）
    • 小恐龙跑酷游戏（完整实现）
  • 工具界面：
    • RFID 扫描界面
    • I2C 设备扫描界面
    • 温湿度显示界面
    • 水平仪界面
    • AI 日志分析界面
    • 电子书阅读器
    • 键盘输入界面

🎵 音频系统

  • 系统提示音：
    • 网络配置提示音
    • 网络连接成功/失败提示音
    • 唤醒提示音
    • 各种对话模式提示音
  • 宠物音效：
    • 吃东西音效
    • 洗澡音效
    • 生病音效
    • 等等
  • 音量控制：0-100 级音量调节，支持云端同步

🔌 扩展功能

  • RFID 读卡器：支持 UID 读取和数据解析，CRC16 校验
  • 热敏打印机：支持文本和图像打印，UTF-8 转 GBK 编码
  • AI 日志分析：实时捕获串口日志，AI 智能分析错误
  • BMI270 陀螺仪：姿态检测、计步
  • I2C 设备扫描：自动扫描并显示 I2C 设备地址

T5-Pocket 可以怎么玩？

T5-Pocket 是一个基于 TuyaOpen 的开源项目，用户可以在 TuyaOpen 官网 下载源码 or 固件实现自定义功能。此外 TuyaOpen 团队提供了丰富的示例工程，用户可以参考这些示例工程来开发自己的项目。

摇杆

概述

T5-Pocket上搭载了双通道摇杆和独立按键，支持x，y双通道12bit精度 ADC采样。它既是摇杆，也可以是旋钮，还可以是方向键。通过摇杆可以更为准确的控制UI的切换以及功能的选择，以及更多隐藏玩法。

玩法

  • 游戏手柄：与常见的游戏手柄相同，在 T5-Pocket 上你可以使用摇杆来控制游戏角色的移动，小恐龙、贪吃蛇等经典游戏都可以自己实现。
  • 菜单切换：我们可以使用摇杆完成更为精确的 UI 页面切换，包括功能图标的选择，电子书的翻动，灵活的页面切换都由摇杆控制。

开发

关于摇杆的开发流程可以参考目录下的 工程示例。

陀螺仪

概述

T5-Pocket 板载一颗来自 Bosch Sensortec 的高性能6轴惯性测量单元（IMU）—— BMI270。它在极小的封装内集成了16位三轴加速度计和16位三轴陀螺仪，以超低功耗实现对设备姿态的精确感知。

玩法

  • 活动识别/计步： 利用 BMI270 内置的强大算法，可以轻松实现对用户步数、运动状态的实时监测。
  • 体感控制与水平仪： 通过解算 IMU 输出的四元数数据，可获得设备精确的欧拉角，从而实现体感鼠标、水平仪等创意应用。
  • 动作识别： 采集设备的动态手势数据，在T5本地部署的CNN模型，可以训练并识别特定的动作，如“摇一摇”、“翻转”等，打造全新的交互维度。
  • 平衡车： 结合扩展接口驱动电机，利用 IMU 解算出的俯仰角数据，你可以打造一台迷你平衡车。

开发

关于bmi270的开发流程可以参考目录下的工程示例，T5-Pocket 最新固件已经支持水平仪展示。

显示屏

概述

T5-Pocket 配备 2.9 英寸 384 * 168 分辨率全反射低功耗护眼屏，基于 LVGL（Light and Versatile Graphics Library）图形库开发，为用户提供直观的视觉反馈和交互界面。

玩法

  • AI 宠物动画： 显示屏是 AI 虚拟宠物的"脸"，通过丰富的动画展现宠物的各种状态和情绪。宠物会吃东西、洗澡、睡觉、跳舞，每个动作都有对应的动画效果，让虚拟宠物更加生动可爱。

  • 信息仪表盘： 将 T5-Pocket 作为桌面信息中心，实时显示天气、时间、待办事项、传感器数据等信息。通过摇杆可以在不同信息页面间切换，一目了然掌握重要信息。

  • 游戏机： 利用显示屏和摇杆，可以开发各种经典游戏，如贪吃蛇、俄罗斯方块、小恐龙跑酷等。单色屏幕反而带来复古游戏机的独特魅力。

  • 电子书： 高反射屏具备 0 蓝光的特点，长时间使用也不伤眼。开发者可以从 SD 卡中读取 txt 文件，实现掌上阅读。

开发

T5-pocket 目前最新固件已经支持 AI 宠物动画，信息展示，游戏机，电子书等多种功能，开发者可以根据UI 设计文档轻松创建自己的 UI 页面。

关于显示屏的开发流程可以参考显示示例和LVGL 示例目录下的工程示例。LVGL 提供了丰富的文档和示例，可以快速上手 UI 开发。

SD 卡

概述

T5-Pocket 支持外接 Micro SD 卡，提供大容量的外部存储空间，用于存储音频文件、日志数据、配置文件、图片资源等。

玩法

  • 音频播放器： 将音乐文件存储在 SD 卡中，T5-Pocket 可以作为便携式音乐播放器。支持多种音频格式，通过摇杆控制播放、暂停、切歌，显示屏显示歌曲信息和播放进度。

  • 数据记录仪： 连接各种传感器，将采集的数据实时记录到 SD 卡中。可以用于环境监测、运动追踪、实验数据采集等场景。数据以 CSV 或 JSON 格式存储，方便后续分析。

  • 离线语音库： 将常用的语音提示音、TTS 音频预先存储在 SD 卡中，在无网络环境下也能提供语音反馈。适合需要离线工作的应用场景。

开发

关于 SD 卡的开发流程可以参考目录下的 工程示例。

麦克风/扬声器

概述

T5-Pocket 内置高品质音频系统，包括 2 路数字麦克风和 1 路扬声器，是实现 AI 语音交互的核心硬件。配合 TuyaOpen 的音频处理能力，可以实现专业级的语音识别和合成效果。

玩法

  • 智能语音助手： 通过语音与 AI 对话，询问天气、设置提醒、查询信息、控制智能家居等。支持多轮对话，AI 能理解上下文，提供更智能的回复。

  • 语音翻译机： 利用 AI 的多语言能力，实现实时语音翻译。说中文，AI 用英文回复；说英文，AI 用中文回复。适合学习外语或跨语言交流。

  • 故事机： 为孩子讲故事、唱儿歌、背古诗。AI 可以根据孩子的年龄和兴趣，生成个性化的故事内容。还可以录制家长的声音，让宠物用家长的声音讲故事。

  • 语音备忘录： 快速录制语音备忘，AI 自动转换为文字并保存。支持语音搜索，快速找到需要的备忘内容。

  • 音乐播放器： 播放 SD 卡中的音乐文件，或者通过网络流媒体播放在线音乐。支持播放控制、音量调节、歌词显示等功能。

开发

关于音频的开发流程可以参考以下示例：

摄像头

概述

T5-Pocket 支持通过 DVP（Digital Video Port）接口连接摄像头模块，为设备增加视觉感知能力。结合 AI 视觉算法，可以实现人脸识别、物体检测、二维码扫描等功能。（AI 视频能力正在提升中...）

玩法

  • AI 视觉宠物： 宠物可以"看到"主人，当检测到人脸时会主动打招呼。可以识别主人的表情，如果主人笑了，宠物也会开心；如果主人皱眉，宠物会关心地询问。

  • 智能门禁： 通过人脸识别实现门禁控制。识别到授权人员时，自动开门并记录进出时间。可以连接电磁锁、舵机等执行器。

  • 物品识别助手： 对准物品拍照，AI 识别物品类别并提供相关信息。例如识别食物并显示营养成分，识别植物并介绍养护方法。

  • 二维码扫描器： 扫描二维码获取信息，可以用于产品溯源、电子名片、Wi-Fi 配网等场景。扫描结果显示在屏幕上或通过语音播报。

开发

关于摄像头的开发流程可以参考目录下的 工程示例。TuyaOpen 提供了完整的摄像头驱动和图像处理 API。

扩展设备

T5-Pocket 提供丰富的扩展接口，包括 I2C、SPI、UART、GPIO、PWM、Pogo Pin 等，开发者可以自由连接各种外设和传感器，打造个性化的 IoT 应用。

RFID 读卡器

概述

RFID（射频识别）技术是一种利用无线电波进行非接触式信息传递的技术，能够实现对目标物体的自动识别和数据采集。T5-Pocket 通过 UART 接口连接 RFID 读卡器模块，支持读取多种类型的 RFID 标签。

玩法

  • 门禁卡复制机： 读取门禁卡、电梯卡等未加密的 RFID 卡数据，将数据写入空白卡片，实现卡片复制。适用于备份重要的门禁卡，避免丢失带来的不便。

  • 虚拟宠物道具系统： 为 AI 虚拟宠物设计实体道具卡片。扫描"食物卡"给宠物喂食，扫描"玩具卡"和宠物玩耍，扫描"药品卡"给宠物治病。将虚拟和现实结合，增强互动体验。

  • 智能考勤系统： 员工或学生刷卡签到，系统自动记录考勤时间并上传到云端。可以设置迟到提醒、统计出勤率等功能。

  • 物品管理系统： 为物品贴上 RFID 标签，扫描标签即可查看物品信息、使用记录、维护计划等。适用于工具管理、资产盘点、仓库管理等场景。

  • 游戏互动卡片： 开发基于 RFID 卡片的游戏，如卡牌对战、角色扮演等。每张卡片代表不同的角色、技能或道具，扫描卡片触发相应的游戏事件。

开发

T5-Pocket 提供了完整的 RFID 扫描示例代码，包括数据解析、CRC 校验、UI 显示等功能。开发者可以基于此快速开发自己的 RFID 应用。

AI 热敏打印机

概述

热敏打印机通过加热打印头接触特殊热敏纸（涂层遇热变色），无需墨盒即可打印文字和图像。T5-Pocket 通过 UART 接口连接热敏打印机模块，结合 AI 能力，实现智能打印功能。

玩法

  • AI 故事打印机： 向 AI 提问"给我讲一个关于勇敢的故事"，AI 生成故事内容并自动打印出来。孩子可以收集打印的故事，制作自己的故事书。

  • 智能食谱打印机： 询问 AI"今天晚餐吃什么"，AI 根据季节、营养、口味推荐菜谱，并打印详细的食材清单和烹饪步骤。

  • 口算题生成器： 对 AI 说"生成 20 道小学二年级的加减法题目"，AI 生成题目并打印，背面打印答案。帮助孩子练习数学，家长也省心。

  • 每日格言打印机： 每天早上自动打印一句励志格言或诗词，贴在显眼的地方，开启美好的一天。

  • AI 绘画打印机： 向 AI 描述一个场景，如"一只猫坐在月亮上"，AI 生成图像并打印出来。虽然是黑白图像，但充满创意和趣味。

  • 购物清单打印机： 语音输入需要购买的物品，AI 整理成清单并打印。去超市购物时，不用担心忘记要买什么。

  • 会议纪要打印机： 会议结束后，AI 总结会议内容并打印纪要，包括讨论要点、决策事项、待办任务等。

开发

T5-Pocket 提供了热敏打印机的 示例代码，支持文本和图像打印。开发者可以参考示例代码，实现自己的打印应用。

AI 日志分析助手

概述

嵌入式开发中，分析日志是定位问题的重要手段，但面对海量日志，人工分析效率低下。T5-Pocket 的 AI 日志分析功能，可以自动捕获设备日志，利用 AI 智能分析，快速定位问题根源。

玩法

  • 嵌入式设备调试助手： 将正在开发的嵌入式设备的串口连接到 T5-Pocket，设备运行时，T5-Pocket 实时监控日志。一旦出现错误，立即捕获并分析，给出可能的原因和解决方案。

  • 生产测试工具： 在产品生产线上，将 T5-Pocket 连接到待测设备，自动运行测试程序并分析日志。如果发现异常，立即报警并记录，提高测试效率和准确性。

  • 远程技术支持： 客户设备出现问题时，引导客户将设备连接到 T5-Pocket，捕获日志并上传到云端。技术支持人员远程查看 AI 分析结果，快速定位问题，无需客户寄回设备。

  • 学习嵌入式开发： 初学者在学习嵌入式开发时，经常遇到各种错误。T5-Pocket 可以作为学习助手，分析错误日志并给出通俗易懂的解释，帮助理解问题本质。

开发

基于 T5-Pocket 的 AI 日志分析示例代码。开发者可以自定义错误关键字、分析逻辑、显示样式等。

传感器扩展

概述

T5-Pocket 支持连接各种传感器，将物理世界的信息数字化，实现环境监测、运动追踪、健康管理等功能。

支持的传感器类型

环境传感器

类型示例传感器
温湿度传感器SHT30、AHT20、DHT22
气压传感器BMP280、BMP180
光照传感器BH1750、TSL2561
空气质量传感器SGP30、CCS811
PM2.5 传感器PMS5003、GP2Y1010AU

运动传感器

类型示例传感器
加速度计 / 陀螺仪BMI270（板载）、MPU6050
磁力计QMC5883L、HMC5883L
GPS 模块NEO-6M、NEO-M8N
超声波测距HC-SR04

生物传感器

类型示例传感器
心率传感器MAX30102、MAX30100
体温传感器MLX90614、DS18B20
血氧传感器MAX30102

其他传感器

类型示例/说明
土壤湿度传感器电容式、電阻式
水质传感器TDS、pH 值
气体传感器MQ 系列（CO、甲烷、酒精等）
红外传感器人体感应、避障

玩法

  • 智能环境监测站： 连接温湿度、气压、光照、空气质量等传感器，实时监测室内环境。数据显示在屏幕上，并上传到云端。当环境参数异常时（如温度过高、湿度过低、空气质量差），通过语音提醒并给出改善建议。

  • 运动健康追踪器： 利用板载的 BMI270 加速度计和陀螺仪，实现计步、运动识别、姿态检测等功能。连接心率传感器，监测运动时的心率变化。数据可以同步到手机 App，生成运动报告。

  • 智能植物养护助手： 连接土壤湿度传感器、光照传感器，监测植物生长环境。当土壤过干时提醒浇水，当光照不足时提醒移动位置。AI 可以根据植物种类，给出个性化的养护建议。

  • 空气质量监测仪： 连接 PM2.5 传感器、甲醛传感器、CO2 传感器，实时监测室内空气质量。数据可视化显示，并生成空气质量指数（AQI）。当空气质量差时，提醒开窗通风或开启空气净化器。

  • 智能水族箱管家： 连接水温传感器、TDS 传感器、pH 传感器，监测水族箱水质。当水质参数异常时，及时提醒并给出处理建议。还可以控制加热棒、过滤器、灯光等设备。

开发

TuyaOpen 提供了丰富的传感器驱动和示例代码：

开发者可以参考这些示例，快速集成各种传感器。

结语

无论你是嵌入式开发者、AI 爱好者、创客，还是学生，T5-Pocket 都能帮助你快速实现创意，打造属于自己的智能设备。

立即开始你的 T5-Pocket 之旅，探索 AI+IoT 的无限可能！

🚀 Go to Project Repository