双目视觉传感焊缝跟踪立体匹配方法的比较与选择

作者：

欢迎访问e展厅 展厅 10 机器视觉展厅 工业相机, 镜头, 视觉传感器, 图像采集卡, 视觉光源, ... 前言 所谓焊缝跟踪就是以焊炬为被控对象，电弧相对于焊缝中心几何位置偏差为被调量，通过机械、电磁、激光、视觉等多种测量手段，控制焊炬使其在焊接过程中始终处于工艺要求范围之内。焊缝跟踪系统最重要的部分就是跟踪传感器和控制器的设计。按传感方式的不同，焊缝跟踪中使用的传感器可以分为：附加式传感器和电弧传感器两大类。其中附加式传感器包括接触式、电磁式、涡流式和光学视觉式。电弧传感器有弯丝轮式、并列双丝式、钨极摆动式、熔化极摆动式和高速旋转式[1]。 近年来，视觉传感因其具备的明显优点而备受关注：①图像传感具有非接触的特点；②可传感各种材料，不受导磁或非导磁材料的限制；③可传感各种焊接接头形式；④受焊接电弧的电、磁场干扰不大；⑤具有较大、较宽的传感距离和范围[2]。国内对基于视觉传感焊缝跟踪的研究开展较晚, 目前已取得长足进步。但在实际工业应用中，真正意义上既不需要示教，又预先不告知焊缝类型的情况下，基于视觉传感的焊缝跟踪技术还仍未进入成熟阶段，还需进行更深入的研究。 1 双目立体视觉 1.1 双目立体视觉模型 立体视觉的研究始于20世纪60年代中期美国MIT的Robert的工作。他把过去的二维图像分析推广到三维景物, 这标志着立体视觉技术的诞生。在对人类视觉生理学的研究基础上，70年代Marr建立了立体视觉计算理论[3]被认为是目前对人类立体视觉过程最完整的论述，作为其理论重要组成部分的立体视觉匹配三大约束（唯一性、相容姓和连续性）、零交叉匹配基元以及多通道协同处理方式对立体视觉的发展起了巨大的推动作用。立体视觉在诞生至今的30多年里迅速发展成为一门新的学科，在机器人导航、测绘、医学成像、军事和工业检测等方面的应用愈来愈广泛。目前，人们对立体视觉的研究基本上分为两个方向。 （1）从理解人类视觉的立体融合机制出发，试图建立一种通用的人类双眼视觉计算模型。高级动物的视觉系统是一个复杂的信息处理系统。其信息处理的许多方面都表现为自底而上和自顶而下的闭环控制机制。这一机制类似于显著性映射，对该控制过程的全面了解将导致视觉建模的重大突破。 （2）从实际应用和要求出发，建立实用的立体视觉系统：多层次的串行结构。从三维场景中获得视觉信息并提取特征。匹配：把场景各部分与模型相匹配以达到识别的目的；场景的重建与理解：利用匹配的图像对场景重建并利用人机交互手段从中获得知识，以达到识别解释的目的[4]。 1.2 双目立体视觉实现步骤 双目立体视觉的基本原理是从两个或多个视点观察同一景物，以获取物体在不同视角下的图像，通过三角测量原理计算图像像素间的位置偏差（即视差）来获得三维信息。一个完整的双目立体视觉实现通常可分为图像获取、摄像机标定、特征提取、立体匹配、深度确定及内插重建等六大部分[5]。 通常图像获取是通过配置在不同位置和方位的两个CCD摄像器件或者CMOS摄像器件来完成的，由于摄像头视角总是有限的，为保证不同摄像机均能拍摄到物体，摄像头之间的相对几何位置关系（如夹角）通常要根据应用场合来确定。 摄像机标定是为了确定摄像机的内部参数（如焦距、镜头失真系数）和外部参数（如与世界坐标之间的旋转矩阵和平移矢量），其中既有线性参数也有非线性参数，用于确定成像模型。标定方法有许多种，传统的方法是利用三角测量原理求解一组非线性方程组。另外一类利用三层前向型BP神经网络来模拟物、像对应关系，把畸变、环境变化因素所带来的非线性误差通过网络的学习被分散到各神经元之间的连接权值上，当网络的输出值与学习样本值的均方误差满足系统精度时，即可以认为学习成功。此类方法输入为二维像平面坐标，输出为物体的空间三维坐标。常用于实时工业测量，但对于复杂景物，此种方法所需训练的节点数目非常多，训练过程亦相当缓慢[6]。 特征提取是为了得到匹配赖以进行的图像特征。迄今为止，由于在不同的具体应用场合中，很多要素如图像本身构成特点，系统需要实现的目标和系统预期的性能要求等均有较大差别，所以尽管数字图像处理理论与基本处理手段早已系统化理论化，但由于图像特征的提取往往是一系列方法的综合使用，而且没有确定的步骤和参数指定，目前还没有一种普遍使用的理论可以适用于任何场合下的图像特征的提取，大多数时候还是具体情况具体分析。 图像匹配是在图像空间或其变换域中寻找一种算法，使来自不同时间、不同传感器或者不同视角的同一场景的两幅或多幅图像在空间上一致，在立体视觉中，为了得到图像的深度图, 需要寻找场景中同一目标特征在两幅图像中的对应关系，从而获得图像特征点在像间的视差，并根据视差确定像点的三维信息。这也即是图像匹配研究的核心内容。 深度确定就是在匹配的结果上利用视差计算模型获得目标完整空间信息。有的情况由于特征数量有限，因此非特征处需要后续的插值处理来计算以获得物体更完整的空间信息。 2 立体匹配算法比较 立体匹配在近几十年来一直是研究的热点和难点，它也是立体视觉中最困难的一步。匹配算法如何达到精度高、匹配正确率高、速度快、鲁棒性和抗干扰性强以及并行实现是研究人员追求的主要目标。在过去的几十年中，匹配特征选取和立体匹配算法呈现出明显的多样性，而且结合许多数学理论和方法，人们还在不断提出新的匹配方法。 目前基于匹配的基本原理将图像匹配算法分为基于区域的匹配、基于特征的匹配、以及基于相位的匹配（变换域匹配）[7,8]。常用的匹配准则：1）绝对差或平方差等距离测度。在这种准则下，距离度量值最小处确定为匹配位置。2）概率测度。通常采用后验概率评估基准图与对准图之间的相似程度。在此种策略下，后验概率值最大处确定为匹配位置。 2.1 基于区域的匹配 基于区域的匹配算法是一种对待匹配图像的像元以一定大小窗口的灰度阵列按某种或几种相似性度量顺次进行搜索匹配的方法。这类算法的性能主要取决于相似性度量及搜索策略的选择上。匹配窗口大小的选择也是该类方法必须考虑的问题，大窗口对于景物中存在遮挡或图像不光滑的情况会出现误匹配的问题，小窗口不能覆盖足够的强度变化，这种方法含有较多的信息易于进行快速匹配，能得到致密的视差图像，但定位精度差而且特征提取和描述困难。因此可自适应调整匹配区域的大小来达到较好的匹配结果。该类算法主要缺陷是对畸变敏感和计算时间复杂性高。 2.2 基于特征的匹配 为克服基于灰度相关匹配方法的缺点，人们提出了基于特征的匹配方法，该类方法首先从待匹配的图像中提取特征，用相似性度量和一些约束条件作用于待匹配图像用于确定目标点在图像中的对应关系。匹配中常用的特征有边缘、轮廓、点、线、颜色、纹理等。而常用的约束条件有：外极线约束、一致性约束、唯一性约束以及连续性约束，并且只能得到稀疏视差图。良好的匹配特征应具有可区分性、稳定性和唯一性以及有效解决歧义匹配的能力。但利用点、线、交点和轮廓等比较明显的特征作匹配基元, 只能获得稀疏的视差图，得不到稠密的视差图。对下一步三维表面的重建插值不利。利用面积做匹配基元，主要利用了象素之间的相关性，依赖灰度进行匹配。这种方法可获得较稠密的匹配点。但这种方法过度依赖于图像的统计特征。对物体表面结构敏感, 抗噪性能差。全局特征的定义和提取跟具体应用有关，在计算机视觉领域常用广义圆柱面和超二次曲面来描述某一类物体。还可以利用射影3D空间中平面目标的射影不变特征做匹配基元和识别。典型的射影不变量有：1）空间曲线上的零曲率点；2）空间曲线上的奇点；3）空间平面多边形射影的交比。 基于矩特征的匹配也是一种特征匹配方法。矩作为图像的一种形状特征，已经广泛应用于计算机视觉和模式识别等领域。在代数不变量的基础上首先提出了几何矩的概念，并使用几何矩的非线性组合，导出了具有尺度、平移和旋转不变性的矩不变量。几何矩存在信息冗余方面的缺欠，而且对噪声比较敏感。后来，人们又推导出了正交的zernike矩和Regendre矩。基于特征的匹配对于图像畸变、噪声、遮挡等具有一定的鲁棒性，但是它的匹配性能在很大程度上取决于特征提取的质量，而且匹配精度不高。 特征匹配的特点是它能快捷清晰地应用数据结构，易于软、硬件的实现。能很好的处理畸变问题和视差不连续的问题。但由于只能得到稀疏视差场，要进行重建和插值、拟合过程复杂。 2.3 基于相位的匹配 间的视差。最常用的相位匹配方法有相位相关法和相位差-频率法[9]。匹配后建立的视差图由于周期性模式、光滑区域的存在、以及遮挡效应、约束原则的不严格等原因会导致视差图产生误差。因此还必须对视差图进行误差检测和校正。相位匹配中大多采用带通滤波器，选择符合人眼视觉生理特征的Gabor变换核。但是，对于方差固定的Gabor函数来讲，其伸缩/平移在像空间中的分辨率是固定的。因此，后来又提出了利用双正交小波基为变换核的改进相位匹配算法[10]。 相位匹配适于并行处理。对几何畸变和辐射畸变有很好的抑制能力。可获得亚像素级精度的致密视差图，但条件必须是两个摄像头的核线平行且局部结构假设要成立。如假设不成立，匹配算法会因输出信号幅值太小而失去有效性。另外，匹配算法的收敛与滤波器的波长有关，会产生相位卷绕。相位卷绕会使算法的精度随视差的增大而减小。常用自适应滤波器解决相位卷绕。以相位为匹配基元有两个条件：1）对图像的局部结构假设成立；2）摄像器件核线平行。 通过对以上各种方法的分析比较, 我们需要结合焊接的实际特点来选择合适的匹配算法。在焊缝跟踪过程我们关心的往往只是焊缝本身，并不需要稠密的视差图，而影响其最终跟踪质量的核心要素是精度和实时性，考虑到这些因素，基于特征的匹配方法最符合焊接的应用场合，而从实时性要求出发，选择时间复杂性较低的特征提取算法和高效的特征匹配约束条件能最显著地减少系统计算时间，缩短控制周期，从而达到系统工艺的最终要求。 3 结束语 立体视觉自20世纪70年代视觉计算理论产生以来取得了广泛的应用。视觉理论是一门涉及面广泛、多学科交叉且尚未成熟的学科。它不但具有重大的理论价值，可以揭开人类视觉机理，而且还具备广阔的工程应用前景。现阶段，立体视觉的应用还大多是针对具体问题而提出的，仍然存在着巨大的未知发展空间。 尽管目前视觉传感在焊缝跟踪领域的运用有明显增加，但是大多处理和解决的问题都是平面焊缝的跟踪问题，立体视觉在焊接当中的运用在各种科技文献中还鲜见报道，然而立体视觉的引入势必将大大拓展视觉传感在焊接自动化中的适应性和应用范围, 同时有效提高焊接过程的焊接质量，其实现能够使焊接智能化取得可观的进步。目前研究突破点主要集中在以下几方面。 （1）由传统的双目视觉向多目视觉，静态视觉向动态视觉发展。通过增加信息输入降低视觉计算的难度。 （2）向智能化方向发展，建立基于知识、模型和规则的立体视觉方法。 （3）算法的并行化，采用并行流水线机制和专用的信号处理器件，增加系统的实时性，拓展其应用范围。 （4）将视觉传感与其他各种类传感器进行融合以克服彼此的不足之处, 从而提高整个系统的适应性。 （5）强调场景与任务约束。针对不同的应用目的优化选择各部分，建立系统的面向目标的视觉系统。 致谢：本论文获得了国家自然科学基金项目的资助，项目编号为（No. 50705041）。 参考文献 [1] 潘际銮.现代弧焊控制.北京: 机械工业出版社, 2000. [2] 王麟琨,徐德,谭民.机器人视觉伺服研究进展.机器人, 2004,26(3): 277~282. [3] Marr D[美]. 视觉计算理论[M]. 姚国正等译. 北京: 科学出版社, 1998. 65~90. [4] 潘华,郭戈. 立体视觉研究的进展[J]. 计算机测量与控制. 2004. 12(12). 1121 ~1124 [5] 游素亚等. 立体视觉研究的现状与进展[J]. 中国图象图形学报. 1997.Vol. 2: 17~25. [6] 崔彦平,林玉池,张晓玲. 基于神经网络的双目视觉摄像机标定方法的研究. 光电子·激光.2005.9,1097~ 1099. [7] 徐奕,周军,周源华. 立体视觉匹配技术[J]. 计算机工程与应用, 2003, (1): 1~6. [8] 狄红卫等. 一种快速双目视觉立体匹配算法[J]. 光学学报,2009 (8): 2180 ~2184. [9] 徐彦君等. 基于相位的尺度自适应立体匹配方法[J].电子学报,1999, 27(7): 38~41. [10] zhou, Y Xu, R Yu. Phase matching with multiresolu-tion wavelet transform [J]. Proc SPIE, 2002, 4661 (10) : 82~91. (end)

文章内容仅供参考 (投稿) (如果您是本文作者，请点击此处) (6/22/2012)