应用场景: 从料箱中随机抓取铸件、锻件等散乱堆放的工件

技术性问题点:
1.点云遮挡与物体分割:
细节: 工件相互堆叠、嵌入,导致单个工件的点云不完整。算法需要根据局部的、不完整的点云来推断出整个物体的位姿(3D位置和3D旋转)。
技术挑战: 传统的模板匹配方法在此场景下效果很差。需要依赖基于深度学习的分割和位姿估计算法。
深度学习的难点: 需要大量、多样化的合成数据和真实数据进行训练,以应对各种可能的堆叠姿态。对于新产品,数据采集和模型训练周期长。
2.抓取点规划与碰撞检测:
细节: 即使成功识别了物体位姿,也需要为机器人规划一个可行的抓取点。这个抓取点不仅要保证机器人能稳定抓取,还要确保机器人的手爪(End-Effector)在进入和离开料箱的过程中不会与箱壁或其他工件发生碰撞。
技术挑战: 这需要3D视觉系统与机器人运动规划器进行深度集成。视觉系统不仅要输出位姿,有时还需要提供整个抓取区域的稠密点云,供规划器进行实时的3D碰撞检测。
3.动态变化与系统节拍:
细节: 每抓取一次,料箱内工件的状态就发生剧烈变化。系统需要在极短的时间内(通常要求数秒内完成一次识别-规划-抓取循环)处理海量的点云数据。
技术挑战: 对计算硬件(GPU)和算法效率要求极高。点云处理算法的并行化优化是关键。