留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

利用高帧频相机检测运动控制轴精细形变

李佳田 阿晓荟 王聪聪 高鹏 朱志浩 晏玲

李佳田, 阿晓荟, 王聪聪, 高鹏, 朱志浩, 晏玲. 利用高帧频相机检测运动控制轴精细形变[J]. 武汉大学学报 ● 信息科学版, 2022, 47(3): 388-395. doi: 10.13203/j.whugis20190369
引用本文: 李佳田, 阿晓荟, 王聪聪, 高鹏, 朱志浩, 晏玲. 利用高帧频相机检测运动控制轴精细形变[J]. 武汉大学学报 ● 信息科学版, 2022, 47(3): 388-395. doi: 10.13203/j.whugis20190369
LI Jiatian, A Xiaohui, WANG Congcong, GAO Peng, ZHU Zhihao, YAN Ling. Fine Deformation Detection of Motion Control Axis with High Frame Frequency Camera[J]. Geomatics and Information Science of Wuhan University, 2022, 47(3): 388-395. doi: 10.13203/j.whugis20190369
Citation: LI Jiatian, A Xiaohui, WANG Congcong, GAO Peng, ZHU Zhihao, YAN Ling. Fine Deformation Detection of Motion Control Axis with High Frame Frequency Camera[J]. Geomatics and Information Science of Wuhan University, 2022, 47(3): 388-395. doi: 10.13203/j.whugis20190369

利用高帧频相机检测运动控制轴精细形变

doi: 10.13203/j.whugis20190369
基金项目: 

国家自然科学基金 41561082

详细信息
    作者简介:

    李佳田,博士,教授,主要研究方向为数值最优化方法和机器场景理解。ljtwcx@163.com

    通讯作者: 阿晓荟,博士生。1665369329@qq.com
  • 中图分类号: P237

Fine Deformation Detection of Motion Control Axis with High Frame Frequency Camera

Funds: 

The National Natural Science Foundation of China 41561082

More Information
    Author Bio:

    LI Jiatian, PhD, professor, specializes in numerical optimization method and machine scene understanding algorithm. E-mail: ljtwcx@163.com

    Corresponding author: A Xiaohui, PhD candidate. E-mail: 1665369329@qq.com
  • 摘要: 在运动控制应用场景中,由于疲劳等原因会导致设备微小形变,因此需要更加密集的观测手段与恢复方法。考虑到待检设备的摄影测量属性及高帧频相机高信息量特性,利用240帧/s的高帧频电荷耦合元件(charge coupled device,CCD)相机结合摄影测量方法实现对运动控制轴形变信息的精确量测,具体步骤如下:(1)固定标定板,由运动控制器控制高帧频相机运动,并对标定板进行连续拍摄。(2)提取标定板角点坐标,提出基于角点几何与运动特征的角点坐标精确定位方法。(3)计算相机坐标序列,恢复相机运动的高密度点轨迹。实验结果表明,由轨迹可精确地反映室内运动控制轴形变位置和形变量,实现亚毫米级形变检测,实际检测的运动轴最小倾斜角为0.012°,水平轴左端48.016 cm处存在0.98 mm的形变,竖直轴上端3.810 cm处形变量为2.00 mm。
  • 图  1  系统结构示意图

    Figure  1.  Diagram of System Structure

    图  2  角点几何特性示意图

    Figure  2.  Diagram of Geometric Characteristics of Corner

    图  3  角点运动特性示意图

    Figure  3.  Diagram of Motorial Characteristic of Corner

    图  4  相机运动轨迹恢复及分析流程图

    Figure  4.  Flowchart of Camera Motion Track Recovery and Analysis

    图  5  实验环境图

    Figure  5.  Diagram of Experimental Environment

    图  6  角点检测结果图

    Figure  6.  Diagram of Corner Detection Result

    图  7  相机标定精度结果

    Figure  7.  Calibration Accuracy Result of Camera

    图  8  有效性验证运动轨迹图

    Figure  8.  Diagram of Validity Verification Trajectory

    图  9  精度验证运动轨迹图

    Figure  9.  Diagram of Precision Verification Motion Trajectory

    表  1  相机标定精度分析

    Table  1.   Analysis of Camera Calibration Accuracy

    焦距/mm 摄影距离/m 物方分辨率/mm 重投影误差/像素
    4 0.5 1.24
    4 1.0 1.49 0.108
    4 1.5 1.77 0.194
    4 2.0 2.04 0.360
    4 2.5 2.59 0.774
    8 1.5 1.13
    8 2.0 1.46 0.091
    8 2.5 1.70 0.182
    8 3.0 2.04 0.342
    8 3.5 2.55 0.743
    注:“-”表示相机沿轴运动过程中,标定板并非始终处于相机有效视场范围内
    下载: 导出CSV

    表  2  水平轴精度验证实验数据计算结果

    Table  2.   Calculation Results of Horizontal Axis Accuracy Verification Experimental Data

    检测方法 数据点/个 Y轴方向倾角/(°) Z轴方向倾角/(°) 形变位置/cm 形变量/mm
    方法一 4 056 0.012 0.370 48.016 0.98
    方法二 416 0.015 0.375
    下载: 导出CSV

    表  3  竖直轴精度验证实验数据计算结果

    Table  3.   Calculation Results of Vertical Axis Accuracy Verification Experimental Data

    检测方法 数据点/个 X轴方向倾角/(°) Z轴方向倾角/(°) 形变位置/cm 形变量/mm
    方法一 4 056 0.021 0.509 3.810 2.00
    方法二 416 0.022 0.527
    下载: 导出CSV
  • [1] Ohnishi K, Shibata M, Murakami T. Motion Control for Advanced Mechatronics[J]. IEEE/ASME Transactions on Mechatronics, 1996, 1(1): 56-67 doi:  10.1109/3516.491410
    [2] 郗志刚, 周宏甫. 运动控制器的发展与现状[J]. 机床电器, 2005, 32(4): 5-10 doi:  10.3969/j.issn.1004-0420.2005.04.001

    Xi Zhigang, Zhou Hongfu. The Development and Status of Motion Controller[J]. Machine Tool Electric Apparatus, 2005, 32(4): 5-10 doi:  10.3969/j.issn.1004-0420.2005.04.001
    [3] 史露强, 何怡刚, 罗旗舞, 等. 基于传感器数据融合的倾斜角度测量方法研究[J]. 仪器仪表学报, 2017, 38(7): 1683-1689 doi:  10.3969/j.issn.0254-3087.2017.07.015

    Shi Luqiang, He Yigang, Luo Qiwu, et al. Research on the Measurement Method of Tilt Angle Based on Sensor Data Fusion[J]. Chinese Journal of Scientific Instrument, 2017, 38(7): 1683-1689 doi:  10.3969/j.issn.0254-3087.2017.07.015
    [4] Ribeiro D, Calçada R, Ferreira J, et al. Non contact Measurement of the Dynamic Displacement of Railway Bridges Using an Advanced Video-Based System[J]. Engineering Structures, 2014, 75: 164-180 doi:  10.1016/j.engstruct.2014.04.051
    [5] 王延亮, 夏国芳, 胡春梅. 利用三维激光扫描技术进行工业设备三维重建及变形分析[J]. 测绘通报, 2012(2): 94-96 https://www.cnki.com.cn/Article/CJFDTOTAL-CHTB201202034.htm

    Wang Yanliang, Xia Guofang, Hu Chunmei. Industrial Equipment 3D Reconstruction Based on 3D Laser Scanning Technology and Its Deformation Analysis[J]. Bulletin of Surveying and Mapping, 2012 (2): 94-96 https://www.cnki.com.cn/Article/CJFDTOTAL-CHTB201202034.htm
    [6] 陈金磊, 康志忠. 高分辨率三维激光扫描数据的微小变形统计分析[J]. 武汉大学学报·信息科学版, 2015, 40(6): 744-750 doi:  10.13203/j.whugis20130358

    Chen Jinlei, Kang Zhizhong. A Statistical and Analytical Method for Detecting Tiny Deformations in High Resolution 3D Laser Scanning Data[J]. Geomatics and Information Science of Wuhan University, 2015, 40(6): 744-750 doi:  10.13203/j.whugis20130358
    [7] 高燕, 吴思进, 祝连庆, 等. 基于数字散斑干涉技术的物体面内和面外变形测量[J]. 仪器仪表学报, 2015, 35(z1): 154-161 doi:  10.3969/j.issn.0254-3087.2015.Z1.026

    Gao Yan, Wu Sijin, Zhu Lianqing, et al. Measurement of In-Plane and Out-of-Plane Deformations Using Digital Speckle Pattern Interferometry[J]. Chinese Journal of Scientific Instrument, 2015, 35(z1): 154-161 doi:  10.3969/j.issn.0254-3087.2015.Z1.026
    [8] Bing P. Digital Image Correlation for Surface Deformation Measurement: Historical Developments, Recent Advances and Future Goals[J]. Measurement Science and Technology, 2018, 29(8): 082001 http://smartsearch.nstl.gov.cn/paper_detail.html?id=b1faa885a1bfafb2c4409a60072c092c
    [9] Hartmann C, Wang J, Opristescu D, et al. Implementation and Evaluation of Optical Flow Methods for Two-Dimensional Deformation Measurement in Comparison to Digital Image Correlation[J]. Optics and Lasers in Engineering, 2018, 107: 127-141 doi:  10.1016/j.optlaseng.2018.03.021
    [10] 于合龙, 刘浩洋, 苏恒强. 基于光流追踪技术的变形位移测量方法[J]. 吉林大学学报(理学版), 2014, 52(2): 331-335 https://www.cnki.com.cn/Article/CJFDTOTAL-JLDX201402035.htm

    Yu Helong, Liu Haoyang, Su Hengqiang. Material Deformation Displacement Measurement Method Based on Light Flow Tracing Technology[J]. Journal of Jilin University(Science Edition), 2014, 52 (2): 331-335 https://www.cnki.com.cn/Article/CJFDTOTAL-JLDX201402035.htm
    [11] 段汝娇, 赵伟, 黄松岭, 等. 基于计算机视觉的接触网定位器倾斜度自动测量方法[J]. 中国铁道科学, 2011, 32 (4): 82-87 https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTK201104016.htm

    Duan Rujiao, Zhao Wei, Huang Songling, et al. Automatic Measurement Method of the Catenary Localizer Slope Based on Computer Vision[J]. China Railway Science, 2011, 32(4): 82-87 https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTK201104016.htm
    [12] 杨化超, 张书毕, 杨国东, 等. 基于非量测CCD相机和SVM的模型视觉检测[J]. 吉林大学学报(工学版), 2007, 37(6): 1374-1379 https://www.cnki.com.cn/Article/CJFDTOTAL-JLGY200706031.htm

    Yang Huachao, Zhang Shubi, Yang Guodong, et al. Model Vision Inspection Based on Non-Metric CCD Camera and SVM[J]. Journal of Jilin University(Engineering and Technology Edition), 2007, 37(6): 1374-1379 https://www.cnki.com.cn/Article/CJFDTOTAL-JLGY200706031.htm
    [13] 贾盛举, 于晶涛. 数字近景摄影测量在工业检测中的应用[J]. 测绘学报, 2002, 31(S1): 61-66 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB2002S1015.htm

    Jia Shengju, Yu Jingtao. Application of Digital Close-Range Photogrammetry to Inspection of Machine Parts[J]. Acta Geodaetica et Cartographica Sinica, 2002, 31(S1): 61-66 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB2002S1015.htm
    [14] 郑顺义, 郭宝云, 李彩林. 基于模型和广义点摄影测量的圆柱体自动三维重建与检测[J]. 测绘学报, 2011, 40(4): 477-482 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201104015.htm

    Zheng Shunyi, Guo Baoyun, Li Cailin. 3D Reconstruction and Inspection of Cylinder Based on Geometric Model and Generalized Point Photogrammetry [J]. Acta Geodaetica et Cartographica Sinica, 2011, 40(4): 477-482 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201104015.htm
    [15] 王植, 贺赛先, 毛庆洲, 等. 数字图像处理技术在钢坯在线检测系统中的应用[J]. 武汉大学学报·信息科学版, 2005, 30(3): 269-273 http://ch.whu.edu.cn/article/id/2150

    Wang Zhi, He Saixian, Mao Qingzhou, et al. Application of Image Processing Technology to Steel Billet On-Line Measurement System[J]. Geomatics and Information Science of Wuhan University, 2005, 30(3): 269-273 http://ch.whu.edu.cn/article/id/2150
    [16] 杨富荣, 陈力, 苏铁, 等. 高帧频数字相机在高速流动显示中的应用[J]. 实验流体力学, 2012, 26 (5): 65-68 doi:  10.3969/j.issn.1672-9897.2012.05.014

    Yang Furong, Chen Li, Su Tie, et al. The Application of High-Speed Multi-frame Digital Camera in High-Speed Flow Visualization[J]. Journal of Experiments in Fluid Mechanics, 2012, 26(5): 65-68 doi:  10.3969/j.issn.1672-9897.2012.05.014
    [17] 王明富, 杨世洪, 吴钦章. 基于角点检测的遥感图像几何质量评价方法[J]. 测绘学报, 2011, 40(2): 175-179 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201102009.htm

    Wang Mingfu, Yang Shihong, Wu Qinzhang. A Geometric Quality Assessment Algorithm of Remote Sensing Image Based on Corner Detection[J]. Acta Geodaetica et Cartographica Sinica, 2011, 40(2): 175-179 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201102009.htm
    [18] 梁志敏, 高洪明, 王志江, 等. 摄像机标定中亚像素级角点检测算法[J]. 焊接学报, 2006, 27(2): 102-104 doi:  10.3321/j.issn:0253-360X.2006.02.025

    Liang Zhimin, Gao Hongming, Wang Zhijiang, et al. Sub-pixels Corner Detection for Camera Calibration[J]. Transactions of the China Welding Institution, 2006, 27(2): 102-104 doi:  10.3321/j.issn:0253-360X.2006.02.025
    [19] 赵斌, 周军. 基于改进棋盘的角点自动检测与排序[J]. 光学精密工程, 2015, 23(1): 237-244 https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201501030.htm

    Zhao Bin, Zhou Jun. Automatic Detection and Sorting of Corners by Improved Chessboard Pattern[J]. Optics and Precision Engineering, 2015, 23(1): 237-244 https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201501030.htm
    [20] Zhang Z. A Flexible New Technique for Camera Calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22 (11) : 1330-1334 doi:  10.1109/34.888718
    [21] 吴军, 徐刚, 董增来, 等. 引入灭点约束的TSAI两步法相机标定改进研究[J]. 武汉大学学报·信息科学版, 2012, 37(1): 17-21 http://ch.whu.edu.cn/article/id/77

    Wu Jun, Xu Gang, Dong Zenglai, et al. An Improved Tsai's Two-Stage Camera Calibration Approach Using Vanish Point Constrain[J]. Geomatics and Information Science of Wuhan University, 2012, 37(1): 17-21 http://ch.whu.edu.cn/article/id/77
    [22] 张剑清, 潘励, 王树根. 摄影测量学原理[M]. 2版. 武汉: 武汉大学出版社, 2009

    Zhang Jianqing, Pan Li, Wang Shugen. The Principles of Photogrammetry[M]. 2nd ed. Wuhan: Wuhan University Press, 2009
  • [1] 李腾, 张宝钢, 程晓, 张媛媛, 惠凤鸣, 赵天成, 秦为稼, 梁建宏, 杨元德, 刘旭颖, 李新情.  无人机在南极科学研究的应用:进展与展望 . 武汉大学学报 ● 信息科学版, 2022, 47(5): 651-664. doi: 10.13203/j.whugis20200098
    [2] 邸凯昌, 刘斌, 彭嫚, 辛鑫, 贾萌娜, 左维, 平劲松, 吴波, OBERSTJürgen.  利用多探测任务数据建立新一代月球全球控制网的方案与关键技术 . 武汉大学学报 ● 信息科学版, 2018, 43(12): 2099-2105. doi: 10.13203/j.whugis20170385
    [3] 龚健雅.  人工智能时代测绘遥感技术的发展机遇与挑战 . 武汉大学学报 ● 信息科学版, 2018, 43(12): 1788-1796. doi: 10.13203/j.whugis20180082
    [4] 李田, 鲁寨军, 刘应龙, 刘东润.  利用摄影测量在线检测轨道车辆车体运行姿态 . 武汉大学学报 ● 信息科学版, 2018, 43(7): 1015-1021. doi: 10.13203/j.whugis20160213
    [5] 梅文胜, 胡帅朋, 李谋思, 祁洪宇, 徐芳.  基于普通数码相机的旋转全景摄影测量方法 . 武汉大学学报 ● 信息科学版, 2017, 42(2): 243-249. doi: 10.13203/j.whugis20140994
    [6] 龚健雅, 季顺平.  从摄影测量到计算机视觉 . 武汉大学学报 ● 信息科学版, 2017, 42(11): 1518-1522, 1615. doi: 10.13203/j.whugis20170283
    [7] 徐振亮, 闫利, 马振玲, 李艳焕, 张毅.  轴角描述的光束法平差新方法 . 武汉大学学报 ● 信息科学版, 2015, 40(7): 865-869. doi: 10.13203/j.whugis20140176
    [8] 龚辉, 姜挺, 江刚武, 张锐.  利用单位对偶四元数进行航空影像区域网平差解算 . 武汉大学学报 ● 信息科学版, 2012, 37(2): 154-159.
    [9] 郑顺义, 胡华亮, 黄荣永, 季铮.  电力线实时测距方法研究 . 武汉大学学报 ● 信息科学版, 2011, 36(6): 704-707.
    [10] 周拥军, 寇新建.  正交Procrustes分析及其在旋转矩阵估计中的应用 . 武汉大学学报 ● 信息科学版, 2009, 34(8): 996-999.
    [11] 张剑清, 孙明伟, 郑顺义, 季铮.  基于轮廓约束的摄影测量法元青花瓶数字三维重建 . 武汉大学学报 ● 信息科学版, 2009, 34(1): 7-10.
    [12] 翟京生.  多波束测量技术与海洋测绘工序的调整 . 武汉大学学报 ● 信息科学版, 2007, 32(11): 994-997.
    [13] 张祖勋, 苏国中, 郑顺义, 张剑清.  OpenGL成像机理及其与摄影测量方位元素的相关分析 . 武汉大学学报 ● 信息科学版, 2004, 29(7): 570-574.
    [14] 张煜, 张祖勋, 张剑清.  几何约束与影像分割相结合的快速半自动房屋提取 . 武汉大学学报 ● 信息科学版, 2000, 25(3): 238-242.
    [15] 李德仁.  摄影测量与遥感的现状及发展趋势 . 武汉大学学报 ● 信息科学版, 2000, 25(1): 1-6.
    [16] 朱庆, 李志林, 龚健雅, 眭海刚.  论我国“1:1万数字高程模型的更新与建库” . 武汉大学学报 ● 信息科学版, 1999, 24(2): 129-133.
    [17] 王兴文, 李德仁.  射影空间中摄影测量基本几何关系式的建立 . 武汉大学学报 ● 信息科学版, 1999, 24(3): 224-229.
    [18] 单杰.  立体视觉的摄影测量理论 . 武汉大学学报 ● 信息科学版, 1998, 23(4): 377-382.
    [19] 单杰.  联合平差中大地测量观测值的数学模型 . 武汉大学学报 ● 信息科学版, 1988, 13(4): 105-111.
    [20] 王有年.  用于近景摄影测量的联合平差程序系统CAS-C . 武汉大学学报 ● 信息科学版, 1987, 12(2): 64-72.
  • 加载中
图(9) / 表(3)
计量
  • 文章访问数:  143
  • HTML全文浏览量:  30
  • PDF下载量:  19
  • 被引次数: 0
出版历程
  • 收稿日期:  2019-10-09
  • 刊出日期:  2022-03-05

利用高帧频相机检测运动控制轴精细形变

doi: 10.13203/j.whugis20190369
    基金项目:

    国家自然科学基金 41561082

    作者简介:

    李佳田,博士,教授,主要研究方向为数值最优化方法和机器场景理解。ljtwcx@163.com

    通讯作者: 阿晓荟,博士生。1665369329@qq.com
  • 中图分类号: P237

摘要: 在运动控制应用场景中,由于疲劳等原因会导致设备微小形变,因此需要更加密集的观测手段与恢复方法。考虑到待检设备的摄影测量属性及高帧频相机高信息量特性,利用240帧/s的高帧频电荷耦合元件(charge coupled device,CCD)相机结合摄影测量方法实现对运动控制轴形变信息的精确量测,具体步骤如下:(1)固定标定板,由运动控制器控制高帧频相机运动,并对标定板进行连续拍摄。(2)提取标定板角点坐标,提出基于角点几何与运动特征的角点坐标精确定位方法。(3)计算相机坐标序列,恢复相机运动的高密度点轨迹。实验结果表明,由轨迹可精确地反映室内运动控制轴形变位置和形变量,实现亚毫米级形变检测,实际检测的运动轴最小倾斜角为0.012°,水平轴左端48.016 cm处存在0.98 mm的形变,竖直轴上端3.810 cm处形变量为2.00 mm。

English Abstract

李佳田, 阿晓荟, 王聪聪, 高鹏, 朱志浩, 晏玲. 利用高帧频相机检测运动控制轴精细形变[J]. 武汉大学学报 ● 信息科学版, 2022, 47(3): 388-395. doi: 10.13203/j.whugis20190369
引用本文: 李佳田, 阿晓荟, 王聪聪, 高鹏, 朱志浩, 晏玲. 利用高帧频相机检测运动控制轴精细形变[J]. 武汉大学学报 ● 信息科学版, 2022, 47(3): 388-395. doi: 10.13203/j.whugis20190369
LI Jiatian, A Xiaohui, WANG Congcong, GAO Peng, ZHU Zhihao, YAN Ling. Fine Deformation Detection of Motion Control Axis with High Frame Frequency Camera[J]. Geomatics and Information Science of Wuhan University, 2022, 47(3): 388-395. doi: 10.13203/j.whugis20190369
Citation: LI Jiatian, A Xiaohui, WANG Congcong, GAO Peng, ZHU Zhihao, YAN Ling. Fine Deformation Detection of Motion Control Axis with High Frame Frequency Camera[J]. Geomatics and Information Science of Wuhan University, 2022, 47(3): 388-395. doi: 10.13203/j.whugis20190369
  • 运动控制系统基于预期的轨迹和给定的运动参数,处理轴或自由度上的运动以及运动之间的配合控制,实现准确定位或遵循特定的规则曲线等控制任务,其性能的优劣极大地影响控制精度[1-2]。为实现精准的运动控制,对运动控制器进行形变检测具有重要意义。

    形变检测方法主要分为接触式和非接触式测量两类。文献[3]通过加装加速度计和陀螺仪,利用互补滤波器将两者数据融合,检测设备倾斜量。接触式测量方法易受外部干扰,不当的操作方法甚至会导致工件损坏,且测量效率较低。非接触式测量能够排除人为接触误差,测量效率较高,逐渐发展为形变测量的主要手段[4]。文献[5-6]利用三维激光扫描技术对设备进行扫描,获取表面点云模型,三维重建得到三维表面模型,进而对模型进行量测获取较高精度的形变量。然而在实际应用中,三维激光扫描方法仅能扫描得到物体通视表面数据,需对不同站点扫描的点云数据进行拼接,实现较为复杂。文献[7]利用数字散斑干涉技术,应用时间相移技术和空间载波技术从干涉图中获取物体面内、面外的形变量,但对工件和环境要求较高,具有一定局限性[8]。文献[9-10]利用光流可以提供运动信息的特性,提出了具有局部不变性的图像特征点结合光流跟踪反映物体大形变的方法,但其对微小形变的设备检测效果不理想。文献[11]基于计算机视觉获取形变前后物体像片,经Hough变换提取待检测目标,计算倾斜量,获取变形信息。文献[12-15]应用近景摄影测量与数字相机相结合的方法,完成二维图像到三维空间的重构,实现三维物体的形变检测。然而,在运动控制场景中,受普通工业相机拍摄帧频不够高的限制,无法反映运动过程的全部信息,漏检部分细节性的信息。因此,本文提出了一种高帧频相机形变检测方法,利用高帧频数字相机采集高时间分辨率的标定板图像序列[16],并针对实验环境,利用角点几何与运动特性,精确提取亚像素坐标,恢复相机高密度运动轨迹点,实现控制轴微小形变细节信息的检测。

    • 图 1所示,利用高帧频相机与室内两轴平面运动控制器构建实验环境。S为摄影中心,S'为相机沿水平轴运动到图 1中所示位置时的摄影中心,S-XcYcZc为摄像机坐标系,以棋盘格标定板左上角内角点O为世界坐标原点,O-XwYwZw为世界坐标系。由世界坐标与摄像机坐标的关系可确定摄影中心S的世界坐标。固定棋盘格标定板,将相机固定于控制轴,沿水平轴运动,竖直轴同理,摄影中心坐标序列即为相机运动轨迹。

      图  1  系统结构示意图

      Figure 1.  Diagram of System Structure

    • 亚像素坐标提取方法主要包括灰度梯度法、曲面拟合法及Frostner算子解算法[17-19]。为提取更高精度的亚像素坐标,本文基于灰度梯度法,结合系统特性,利用标定板的几何与运动特性对亚像素坐标进行优化。如图 2所示,Sii=1,2…m)为运动到不同位置的相机中心,同一方向的棋盘格角点属于同一直线,如l所示。因此,利用最小二乘方法对同一方向上的角点亚像素坐标进行直线拟合。

      图  2  角点几何特性示意图

      Figure 2.  Diagram of Geometric Characteristics of Corner

      根据同一方向上角点坐标(xiyi)(i=1,2…mm为同一方向上像素点的数目),选定拟合函数y=ax+b,将求解系数ab转化为最小化误差的平方和F,即

      $$ \begin{array}{*{20}{l}} {{\rm{arg}}\;{\rm{min}}\;F(a,b) = }\\ {{\rm{arg}}\;{\rm{min}}\mathop \sum \limits_{i = {\rm{1}}}^m {{(a{x_i} + b - {y_i})}^{\rm{2}}}} \end{array} $$ (1)

      分别对式(1)中的ab求导,其解为a*b*,则:

      y=a*x+b* ]]>

      式(2)为最优拟合直线,求取直线交点即为角点亚像素坐标。

      图 2所示,相机视场随相机运动改变。但如图 3所示,所有角点运动具有一致性,dxdy分别表示第i帧相对于第1帧的水平和竖直方向坐标变化量。因此,为提高角点检测的稳定性,根据角点运动特征,利用第i帧相对于第1帧的像素坐标变化量对相机运动过程中的角点坐标建立约束模型为:

      xij=x1j+1nj=1n(xij-x1j)yij=y1j+1nj=1n(yij-y1j) ]]>

      图  3  角点运动特性示意图

      Figure 3.  Diagram of Motorial Characteristic of Corner

      式中,(xijyij)表示第i帧图像第j个角点的亚像素坐标;n为每张图片上检测到的角点总数。相机沿水平轴运动时,第i帧相对于第1帧的竖直方向像素坐标变化量为零,沿竖直轴运动同理。

    • 恢复相机运动轨迹即恢复相机运动过程中摄影中心在世界坐标系下的坐标。首先使用相机从不同角度拍摄n张标定板像片,利用张正友标定法标定内方位元素后,可直接利用像素坐标与世界坐标的单应性关系[20-22]得到相机外方位元素初始值,计算过程为:

      H=[h1h2h3] ]]>
      $$ \begin{array}{l} [{\mathit{\boldsymbol{r}}_1}\;\;{\mathit{\boldsymbol{r}}_2}\;\;{\mathit{\boldsymbol{r}}_3}\;\;\mathit{\boldsymbol{T}}] = \\ [\lambda {{\mathit{\boldsymbol{A}}}^{ - 1}}{\mathit{\boldsymbol{h}}_1}\;\;\lambda {{\mathit{\boldsymbol{A}}}^{ - 1}}{\mathit{\boldsymbol{h}}_2}\;\;{\mathit{\boldsymbol{r}}_1} \times {\mathit{\boldsymbol{r}}_2}\;\;\lambda {{\mathit{\boldsymbol{A}}}^{ - 1}}{\mathit{\boldsymbol{h}}_3}] \end{array} $$ (5)

      式中,H为单应性矩阵,从标定板图像中提取至少3对坐标即可求解得到;A为已标定好的相机内方位矩阵;λ为尺度因子;ri为空间旋转矩阵的列向量;T为外方位线元素组成的向量,采用式(4)、式(5)即可得相机外方位参数,再使用光束法平差获取最优的相机外方位参数。

      在此基础上,由相机坐标系与世界坐标系的关系可得摄影中心在世界坐标系下坐标为:

      x'y'z'=a1x+b1y+c1za2x+b2y+c2za3x+b3y+c3z ]]>

      式中,(x'y'z')为摄影中心在世界坐标系下的坐标,[x' y' z']为对应的坐标矩阵;[x y z]为相机外方位参数中的平移矩阵,(xyz)为世界坐标原点在相机坐标系下的坐标;a1=sinθysinθxsinθz-cosθycosθzb1=-cosθxsinθzc1=-sinθycosθz-cosθysinθxsinθza2=cosθysinθz+sinθysinθxcosθzb2=-cosθxsinθzc2=sinθysinθz-cosθysinθxcosθza3=sinθycosθzb3=sinθxc3=-cosθycosθxθxθyθz为相机外方位参数中的旋转角。

      相机沿控制轴运动的特性使得相机运动轨迹可反映控制轴状态。若摄影中心坐标突变,表明控制轴对应位置存在形变。若相机运动轨迹倾斜,说明控制轴以一定角度倾斜。相机运动轨迹恢复及形变检测流程如图 4所示。

      图  4  相机运动轨迹恢复及分析流程图

      Figure 4.  Flowchart of Camera Motion Track Recovery and Analysis

      水平轴在Yw轴方向的倾角θ定义为将相机运动轨迹投影到世界坐标系的XwOYw平面,剔除突变数据后,用最小二乘法拟合得到的直线与Xw轴的夹角,Xw轴上方为正,下方为负,单位为(°)。倾角θ的计算公式为:

      $$ \begin{array}{*{20}{l}} {{\rm{arg}}\;{\rm{min}}\;F(a,b) = }\\ {{\rm{arg}}\;{\rm{min}}\mathop \sum \limits_{i = {\rm{1}}}^h {{(a{x_i} + b - {y_i})}^{\rm{2}}}} \end{array} $$ (7)
      θ=arctana* ]]>

      式中,(xiyi)为相机沿水平轴运动时第i帧图像求解得到的摄影中心(xiyizi)投影在XwOYw平面的坐标;h为图像帧数。

      将控制轴上每个点在Yw轴方向的形变量Δi(单位为mm)表示为:

      Δi=yi-ŷi ]]>

      式中,yi为第i个数据点实际摄影中心坐标对应值;ŷi为根据最佳拟合直线求解得到第i个数据点的值。同理可求解得到控制轴在各个方向的倾角及形变量。

    • 采用帧率为240帧/s的高帧频相机,其分辨率为640×480像素,电荷耦合元件(charge coupled device,CCD)的大小为6.6 mm,镜头焦距f=8 mm;棋盘格标定板由6×8个方格组成,每个方格大小为48 mm×48 mm;PCI-1240U4轴步进/脉冲伺服马达控制卡控制运动控制器,待检运动控制轴包括水平轴和竖直轴,长度为1.2 m,编写程序或通过软件对步进电机输入脉冲数控制轴的运动,实现相机运动,如图 5所示。

      图  5  实验环境图

      Figure 5.  Diagram of Experimental Environment

      为保证相机参数计算精度,将棋盘格标定板置于光滑且平整墙面,此时相机与标定板距离为1.875 m,输入一定脉冲数,以0.055 m/s的速度控制高帧频相机沿单轴运动,保证整个标定板在视场范围内,采集标定板图像序列,标定板在图像中的视场角为6.089°。用本文方法进行角点检测,用光束法平差后的重投影误差评定相机参数计算精度。用高帧频相机在任意位置不同角度对棋盘格标定板拍摄20张像片,利用张正友标定法对高帧频相机进行标定,相机内参矩阵为:

      A=1183.5350366.10901180.723246.342001]]>

      所有帧图像角点的平均重投影误差为0.084像素,精度较高。

    • 为验证本文角点检测方法的精度,对使用本文方法和灰度梯度法及Frostner算子解算法的角点检测结果进行重投影,以未经光束法平差的所有图像各角点的重投影误差平均值作为评定精度的标准,重投影误差平均值越小,表明检测精度越高。其中,每一帧图像的上角点重投影误差平均值如图 6所示。

      图  6  角点检测结果图

      Figure 6.  Diagram of Corner Detection Result

      图 6结果表明,本文方法角点检测精度明显高于Frostner算子解算法和灰度梯度法,最大角点误差小于0.5像素。三者中,本文方法提取角点相对稳定,Frostner算子解算法次之,灰度梯度法最不稳定。

    • 在不同实验场景,相机焦距和摄影距离的选择具有多样性,而两者对相机标定精度具有一定影响,本文形变检测精度较大程度上取决于相机标定精度。为说明本文方法在不同场景的适用性,本文分析了相机焦距、摄影距离和物方分辨率对相机标定精度的影响,结果如表 1所示。

      表 1  相机标定精度分析

      Table 1.  Analysis of Camera Calibration Accuracy

      焦距/mm 摄影距离/m 物方分辨率/mm 重投影误差/像素
      4 0.5 1.24
      4 1.0 1.49 0.108
      4 1.5 1.77 0.194
      4 2.0 2.04 0.360
      4 2.5 2.59 0.774
      8 1.5 1.13
      8 2.0 1.46 0.091
      8 2.5 1.70 0.182
      8 3.0 2.04 0.342
      8 3.5 2.55 0.743
      注:“-”表示相机沿轴运动过程中,标定板并非始终处于相机有效视场范围内

      表 1结果表明,物方分辨率取决于焦距与摄影距离,并对相机标定精度影响较大。在满足标定板始终位于相机有效视场范围内的条件下,物方分辨率在1.13~2.04 mm范围内,重投影误差小于0.4像素,满足精度要求。

    • 本文在相机内方位元素已标定的情况下,对相机沿直线型轴运动并采集的标定板图像序列进行外方位参数求解,并在此基础上进行光束法平差。为验证本文图像采集方式能够满足相机标定的精度要求,从中随机抽取400帧棋盘格标定板图像进行重投影,实验结果如图 7所示。实验结果表明,本文所述图像采集方式下,相机标定的最大重投影误差为0.3像素左右,能够满足相机标定精度要求。

      图  7  相机标定精度结果

      Figure 7.  Calibration Accuracy Result of Camera

    • 为验证本文提出的利用高帧频相机对控制轴的形变或倾斜检测的有效性,将本文方法与具有较高精度的三维激光扫描技术进行对比。采用FreeScan X5手持三维激光扫描仪在0.5 m处进行扫描,去除点云数据噪声后,其点位精度为0.1 mm。将点云数据去除噪声后,转化至与本文方法同一坐标基准。

      实验运动轨迹如图 8所示,图 8(a)表示高帧频相机与三维激光扫描仪在水平轴上的表现,图 8(b)则表示在竖直轴上的表现。实验结果表明,本文方法所测运动轨迹趋势及形变位置与三维激光扫描技术结果具有一致性,证明本文方法能够有效描述运动轨迹且能检测出运动轴细节部分的微小形变。

      图  8  有效性验证运动轨迹图

      Figure 8.  Diagram of Validity Verification Trajectory

    • 为验证本文方法的精度,将其与普通工业相机进行对比。在普通工业相机实验中,除帧率与高帧频相机不一致,其他实验条件与高帧频相机保持一致。水平轴与竖直轴的形变量及倾角的计算结果见表 2表 3表 2表 3中方法一和方法二分别表示利用高帧频相机和工业相机对运动控制轴进行形变检测的方法,实验的运动轨迹如图 9所示,图 9(a)表示高帧频相机与工业相机在水平轴上的运动轨迹,图 9(b)则表示它们在竖直轴上的运动轨迹。

      表 2  水平轴精度验证实验数据计算结果

      Table 2.  Calculation Results of Horizontal Axis Accuracy Verification Experimental Data

      检测方法 数据点/个 Y轴方向倾角/(°) Z轴方向倾角/(°) 形变位置/cm 形变量/mm
      方法一 4 056 0.012 0.370 48.016 0.98
      方法二 416 0.015 0.375

      表 3  竖直轴精度验证实验数据计算结果

      Table 3.  Calculation Results of Vertical Axis Accuracy Verification Experimental Data

      检测方法 数据点/个 X轴方向倾角/(°) Z轴方向倾角/(°) 形变位置/cm 形变量/mm
      方法一 4 056 0.021 0.509 3.810 2.00
      方法二 416 0.022 0.527

      图  9  精度验证运动轨迹图

      Figure 9.  Diagram of Precision Verification Motion Trajectory

      实验结果表明,普通工业相机运动轨迹未发生突变,高帧频相机运动轨迹存在突变。原因在于普通工业相机帧率较低导致无法描述控制轴细节形变信息,高帧频相机具有描述运动瞬态能力。利用本文方法实际检测得到水平轴左端48.016 cm处形变量为0.98 mm,竖直轴上端3.810 cm处形变量为2.00 mm。水平轴在Y方向的倾角为0.012°,在Z方向的倾角为0.370°。竖直轴在X方向倾角为0.021°,在Z方向倾角为0.509°。结果表明,本文方法对室内微小形变量级的运动控制轴的形变检测方面具有较好的表现,可实现亚毫米级的形变检测。

    • 本文利用平面运动控制器控制高帧频相机运动并对标定板连续拍照,结合摄影测量方法实现对运动控制轴的形变检测。针对角点检测不稳定、精度低问题,利用角点几何与运动特性精确提取亚像素坐标。高帧频相机采集得到的高帧频数据能够精确反映控制轴形变细节,有效弥补了工业相机在形变细节方面的不足。本文方法能够准确检测控制轴形变或倾斜,精确获取实际形变位置和形变量,在工业形变检测中具有一定的实用价值。

参考文献 (22)

目录

    /

    返回文章
    返回