← 返回项目目录01 / 04
PROJECT 01
水果采摘灵巧手机器人
融合视觉定位与全掌触觉反馈，搭建面向设施农业的自主采摘系统。
- 我的角色
- 总体技术负责人
- 项目周期
- 2025.06 — 2026.06
- 系统平台
- 越疆 CR7 / 强脑第三代触觉灵巧手 / 双目深度相机
水果采摘实物演示 · 臂手协同抓取 · 2 倍速单独打开 ↗
OVERVIEW
项目概览
面向设施农业中的非结构化采摘场景，基于越疆 CR7 机械臂、强脑第三代触觉灵巧手和双目深度相机，搭建自主采摘系统。系统采用 Eye-in-Hand 相机布置，串联果实识别、三维定位、预抓取目标生成、臂手协同执行与采摘结果判定。
需要解决的问题
果实的位置和姿态存在变化，需要把视觉目标转换为可执行的抓取动作，并在接触果实后检查抓持状态和采摘结果。
MY CONTRIBUTION
我的工作
搭建 ROS2 系统与设备通信
将果实感知、抓取决策和运动控制功能节点化部署，通过 TCP/IP、Modbus 集成机械臂、灵巧手与视觉模块，串联任务执行流程。
构建果实检测与三维定位流程
自采苹果、橘子、水蜜桃图像，结合翻转、旋转和 HSV 调整等增强方法微调预训练 YOLO 模型。融合检测结果、深度信息与手眼标定，估计果实三维位置并生成抓取目标。
调试预抓取策略与臂手动作
通过示教生成初始预抓取位姿，调用原厂 SDK 运动接口实现任务级协同。开展重复抓取实验，根据执行结果调整末端姿态与手指关节角度。
结合视觉与触觉验证采摘结果
利用视觉定位与全掌触觉感知果实位置、接触和抓持状态，结合执行结果判断采摘成败，形成目标定位、动作执行与结果判定的任务级闭环。
TECHNICAL WORKFLOW
技术流程
- 果实检测
- 深度融合与坐标转换
- 预抓取目标生成
- 臂手协同执行
- 触觉反馈与结果判定
OUTCOMES
项目成果
- 完成真实采摘场景下的机器人自主采摘实验。
- 建立从感知、目标生成到执行和结果判定的任务流程。