基于双目立体视觉的番茄识别与定位技术

作者：郑小东 赵杰文 刘木华

欢迎访问e展厅 展厅 10 机器视觉展厅 工业相机, 镜头, 视觉传感器, 图像采集卡, 视觉光源, ... 摘 要：根据颜色特征利用阈值自动设定的方法对图像进行分割，自动、快速识别红色番茄；采用形心匹配取代常规的特征点选择和匹配方法，对双目立体成像测距公式进行了修正，经过验证，当工作距离小于500mm时，距离误差可以控制在±10mm以内。 关键词：计算机视觉；定位；双目立体视觉 利用机器人采摘果实，首先要识别果实，然后确定果实的空间位置，这样才能实现下一步的采摘工作。基于计算机视觉寻找树上果实的方法大致可以分为两类：一类是根据颜色或者灰度特征分割图像、寻找果实；另一类是在图像采集时使用滤波片或者其它设备获取较为简单的图像，然后根据形状特征寻找果实[1,2]。这些方法目前基本上都停留在理论研究阶段，与实际生产的需要差距很大。本文所提出的番茄识别与定位技术可满足实际工作需要，力求快速、准确。 1 识别 1.1 图像分割 在图像上成熟番茄呈现红色，背景大部分是绿色的枝叶，还有少部分是呈现介于黄色和红色之间颜色的枯萎枝叶。当图像上的像素呈现红色时，其R值(像素红色颜色分量)大于G值(像素绿色颜色分量)；当像素呈现绿色时，其G值大于R值；当像素呈现介于黄色和红色之间的颜色时，虽然R值也大于G值，但是二者的差值远小于红色像素的R值与G值的差值。根据这个特征，可以实现对图像的两次分割。令T＝R－G。第一次分割：如果T≤0，认为是背景像素，令该像素的R值、G值、B值都为0；如果T>0，认为该像素可能属于番茄，令该像素的R值、G值、B值都为T。经过第一次分割后，图像转变为灰度图像。属于番茄部分的像素的灰度值大部分集中在高灰度区域，非番茄部分的像素的灰度值大部分集中在低灰度区域，选择合适的阈值进行第二次分割。阈值确定后，把灰度值小于阈值的像素变为白色像素(灰度值为255)，灰度值大于阈值的像素变为黑色像素(灰度值为0)，这样图像就转化成二值图像，可进行下一步处理。为适用于在不同光照条件下拍摄到的图像，阈值需要根据具体图像自动设定，阈值确定采用迭代法[3]。为了显示第一次分割和第二次分割的效果，特对第一次分割后的图像作如下处理：令T≤0的像素的颜色值为(255，255，255)，即变为白色像素，令T>0的像素保持原来原始图像中的颜色。图1(a)为原始图像，图1(b)为第一次分割后的效果图，图1(c)为第二次分割后的图像。 1.2 噪声消除 经过第二次分割后的图像中仍有许多非番茄部分的像素。对于较小的在视觉上表现为散点的噪声，可以用形态学开运算和中值滤波相结合的方法去掉。对于较大的噪声区域，其面积和周长同番茄的面积和周长相比是比较小的，可以根据面积或周长特征去掉。图1(d)是经过轮廓提取、曲线标记，基于周长特征的识别结果。 2 定位 番茄位置的确定采用双目立体视觉技术。双目立体视觉技术是用两个摄像头模拟人的双眼，同时从两个不同位置对同一目标拍摄图像，然后通过目标匹配根据三角关系计算目 标的空间位置。 2.1 摄像头到番茄之间距离的计算 如图2所示，L、R表示左右两个摄像头，点O表示番茄上的特征点，摄像头焦距为f，摄像头之间距离为b，Lo为左摄像头L拍摄到的图像(简称左边图像)的中心，Lx为点O在左边图像上的成像，Ro为右摄像头R拍摄到的图像(简称右边图像)的中心，Rx为点O在右边图像上的成像。根据三角关系，可以计算出O点到LR连线的垂直距离为 其中xL为点Lx在左边图像中的横坐标，xR为点Rx在右边图像中的横坐标。 利用双目立体视觉技术测量距离的关键是特征点(即O点)的选取和匹配。常用的方法是选择一幅图像中目标的形心为特征点，根据灰度值在另一幅图像中进行匹配，所用的匹配算法通常比较复杂，计算量大，而且对采集到的图像质量要求很高，否则造成错误匹配的概率很大。针对上述问题和本研究的具体对象，本文提出以下采用形心匹配取代常规特征点选择和匹配的方法。如图3所示，圆O1表示番茄， Lo为左左边图像的中心，Lx为左边图像上番茄的形心，Ro为右边图像的中心，Rx右边图像上番茄的形心。我们认为Lx和Rx是番茄上同一点在两幅图像上的成像。很明显，如果存在这样一点，它一定是圆心O1。 根据前面图像识别的结果，很容易求得两幅图像中番茄的形心坐标。这样利用式(1)就可以求得圆心O1到LR连线的距离d。但是真正需要得到的是番茄上C点到LR连线的距离d1，所以测距公式应该变成 当研究对象是理想球体时，c就是球体的半径。实际工作时，番茄是不规则的半球体，并且大小有差别，在工作前，必须对c进行标定。根据对实验大棚和田间番茄生长情况观察，在同一时期，在同一个大棚或者同一块田地里，大部分成熟番茄的半径差异基本上都在10mm以内，这样的误差应该可以满足采摘的需要。这样只要选取有代表性的番茄，将其摆放在距离摄像头不同的位置，通过处理、计算，即可标定c值。图4是对3个番茄在不同位置的试验结果，c用另外一个西红柿进行标定，标定值为22mm。表1中横坐标是测量距离，纵坐标是根据式(2)计算得到的距离与测量距离之间的偏差，单位都是mm。 从图4可以看出，当工作距离小于500mm时，除了个别奇异点，误差基本上都在±10mm以内。这是因为摄像机有一定的取景范围，距离较远时，图像上番茄的像比较小，微小的偏差就会造成较大误差。 2.2 番茄空间坐标换算 如果取两摄像头镜头中心连线向右为x轴正方向，连线中点为空间坐标系原点，垂直于x轴所在水平面向下为y轴正方向，根据右手规则，z轴正方向为垂直于x、y所在平面离开摄像头指向番茄的方向。根据三角关系可求得番茄特征点空间坐标为 其中b、xL、xR、f的意义同式(1)，yL和yR是两幅图像中番茄形心的纵坐标。 3 结论 本文提出的识别与定位技术在Visual C++ 6.0编译环境下编程实现，运行效果良好。综上所述可以得出以下结论： (1)对不同光照条件下采集到的图像进行处理，红色成熟番茄都可以识别； (2)番茄的空间位置可以基本确定，当工作距离在小于500mm时，距离误差可以控制在±10mm以内； (3)由于不需要根据像素的颜色值或者灰度值进行特征点匹配，本文提出的识别和定位技术对图像质量要求不高，只要人眼可以从图像上根据颜色识别出红色番茄，该技术就可以识别并确定番茄的位置； (4)该识别与定位技术稍加修改，也可用于其它与背景有明显颜色差别的球形果实的识别与定位。其中，ke和kc为量化因子。取Ke=3,kc=3,ku=1.2，当速度给定为2 000rpm时，实测的系统输出响应曲线如图5(a)所示。可见，系统的动态特性较好，但存在稳态误差。为此，可改为Fuzzy-PID开关切换型混合控制方式，偏差绝对值较大时，采用模糊控制，以获得较好的动特性，偏差绝对值较小时，自动切换成PID控制，利用积分作用消除稳态误差。当切换阈值为0.8（给定值）时，系统响应曲线见图5(b)。可见，此时，系统得到了满意的动、静态特性。 因为性能分析是基于实际的物理系统进行的，且分析所得的结果直观明了，故具有与一般仿真分析不同的客观真实性，这对于实时控制系统的教学以及新的控制策略和算法的研究都有非常现实的意义。 3 结束语 本文结合计算机控制、智能控制和网络通信等高新技术，构建了可实现联网控制的计算机实时控制系统。该系统硬、软件有所创新，对于促进理论研究与实际应用的结合有现实的意义。该项目已通过江苏省科技厅组织的鉴定。 参考文献 1 Ko C C, Chen B M. Development of a Web-based Laboratory forContol Experiments on a Coupled Tank Apparatus.IEEE Trans.Educ.,2001, 44(2):76-86 2 王耀南. 智能控制系统[M]. 长沙：湖南大学出版社，1996 3 庞文尧. 基于高速局域网络的实时控制程序开发[J]. 上海：电气自动化, 2001,(6) 4 易继锴. 智能控制技术[M].北京：北京工业大学出版社，1999

文章内容仅供参考 (投稿) (如果您是本文作者，请点击此处) (1/4/2009)