机器视觉｜机器人动态跟随抓取

功能概述    

跟随工艺是跟踪移动的物体，以移动的物体为参考规划机器人的运动，传送带跟随是跟随工艺中的一种典型应用。传送带跟随是通过视觉或光电传感器检测到传送带上的物体，实时跟踪移动的物体，以移动的物体为参考坐标系，进行轨迹和点位运动。

工作流程

跟随工艺工作过程主要分两部分：检测和跟随运动。检测是通过视觉或光电传感器获得物体在传送带上的位置，将获得的物体位置信息放入传送带对象队列中，并通过编码器反馈跟踪其位置的变化；跟随运动是以队列中移动物体为参考坐标系的机器人运动。检测与跟随运动并行处理，具体流程如下图所示。    

位置描述体系 

跟随运动以物体坐标系为参考系，物体坐标系（Oobj）是固连在物体上随物体移动的坐标系，是动态坐标系。物体坐标系描述了物体在传送带上的位置和方向，是物体基准点在传送带坐标系下的坐标。传送带坐标系（Ocny）表示传送带在机器人基坐标系下的位置和方向，用于描述传送带与机器人之间的相对关系，传送带坐标系是静态的。传送带视觉中的视觉坐标系（Ovis）描述了相机与传送带之间的位置转换关系。通过相机获得了物体在传送带上的瞬时位置，通过编码器实时获得物体在传送带上的运动量，从而实现机器人对物体位置的实时追踪。跟随工艺中各坐标系之间的关系如下：    

硬件配置

重点知识

1、需采用脉冲型编码器；

2、如果使用视觉检测，相机触发必须采用硬件触发的方式。

3、工件高度设置：视觉或传感器都不能检测到工件的高度，需要通过参数设定指定每种工件类型的高度。工件高度值是工件基准点（物体坐标系原点）在传送带坐标系下的Z坐标值。

4、拍照间距的设置原则：保证能拍全传送带上的每个物体标识，保证不漏拍。如果设置的拍照间距等于相机视野宽度，相机前后两次拍到的画面无缝衔接，此时能拍全传送带上的每一部分，如果某个物体刚好位于前后两次拍照的衔接处，则前后两次各拍到此物体的一半，此物体不能被识别。如下图所示，第一次拍照时工件位于虚线位置，第二次拍照时工件运动到了右侧的实线位置，前后两次拍照都不能识别到工件A。    

为了避免这种情况，前后两个画面应略有重叠，重叠宽度大于物体标识的最大宽度，实现至少有一次拍照是完整的，如下图所示。

视觉必须在一个拍照周期内完成图像识别，拍照周期=拍照间距/传送带速度，拍照间距设置过小会导致拍照周期变短，要求视觉的处理速度更快，因此在满足不漏拍的前提下拍照间距尽量大。综合各方面需求，拍照间距不能太大也不能太小，可按下列公式给定，其中Ltrig为拍照间距，Lvision为视野宽度，Dmax为物体识别标识最大宽度， 为设置余量。    

5、重复检测判定距离：按上述拍照间距设置原则，前后两次拍照画面有重叠，这有可能导致同一个物体在前后两次拍照中同时被识别，造成重复，此时需要剔除其中一个。控制器内部会对前后两次拍照物体的位置进行比较，如果两个物体的距离小于重复检测判定距离，认为是重复，剔除后一次拍照得到的物体。重复检测判定距离的设置原则是正确识别重叠的同一物体和正常靠近的两个物体。如下图所示，当两个物体距离大于2Rmin时可认为是两个物体，否则认为是同一个物体，因此重复剔除距离按如下原则设置：