OpenAI开源Plant Talk：连上麦克风和传感器让盆栽跟你实时聊天

据动察 Beating 监测，OpenAI 开源教育项目 Plant Talk，将 Realtime API、多模态视觉模型与 Arduino 微控制器结合，让室内植物具备环境感知与语音对话功能。 项目支持通过电脑摄像头和麦克风与植物进行低延迟全双工语音对话，并能通过 Arduino 接入电容式土壤湿度和 LM393 光敏传感器。植物的 AI 角色（如默认角色 George）通过函数调用（Function Calling）获取硬件数据。当用户询问是否缺水或光照时，AI 会调用工具读取实时物理指标，结合摄像头捕获的图像估算植物干燥度、分枝数以及最大跨度（支持使用 25 美分硬币作为尺寸对照），并以拟人的植物口吻进行语音回应。 在安全与接口设计上，后端 Express 服务器通过申请临时客户端密钥（Ephemeral Token）将 WebRTC 连接安全委托给前端，避免在客户端泄露 API 主密钥。视觉识别与定时观测使用 Responses API 结合 Zod 模式以实现结构化输出。代码库中还内置了面向 AI 智能体的操作指南 AGENTS.md，指导 AI 助手逐步引导用户完成软件环境配置与硬件组装。

「查看原文」