留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

利用高精度三维测量技术进行路面破损检测

李清泉 邹勤 张德津

李清泉, 邹勤, 张德津. 利用高精度三维测量技术进行路面破损检测[J]. 武汉大学学报 ● 信息科学版, 2017, 42(11): 1549-1564. doi: 10.13203/j.whugis20170288
引用本文: 李清泉, 邹勤, 张德津. 利用高精度三维测量技术进行路面破损检测[J]. 武汉大学学报 ● 信息科学版, 2017, 42(11): 1549-1564. doi: 10.13203/j.whugis20170288
LI Qingquan, ZOU Qin, ZHANG Dejin. Road Pavement Defect Detection Using High Precision 3D Surveying Technology[J]. Geomatics and Information Science of Wuhan University, 2017, 42(11): 1549-1564. doi: 10.13203/j.whugis20170288
Citation: LI Qingquan, ZOU Qin, ZHANG Dejin. Road Pavement Defect Detection Using High Precision 3D Surveying Technology[J]. Geomatics and Information Science of Wuhan University, 2017, 42(11): 1549-1564. doi: 10.13203/j.whugis20170288

利用高精度三维测量技术进行路面破损检测

doi: 10.13203/j.whugis20170288
基金项目: 

国家自然科学基金 41371377

国家自然科学基金 61301277

深圳市未来产业发展专项资金 201507211219247860

详细信息
    作者简介:

    李清泉, 博士, 教授, 国际欧亚科学院院士, 主要从事精密工程测量和时空数据分析研究。liqq@szu.edu.cn

    通讯作者: 邹勤, 博士, 副教授。qzou@whu.edu.cn
  • 中图分类号: TP753;P258

Road Pavement Defect Detection Using High Precision 3D Surveying Technology

Funds: 

The National Natural Science Foundation of China 41371377

The National Natural Science Foundation of China 61301277

the Shenzhen Future Industry Development Funding Program 201507211219247860

More Information
    Author Bio:

    LI Qingquan, PhD, professor, Academician of the International Academy of Sciences for Europe and Asia, specializes in precision engineering survey and spatio-temporal data analysis. E-mail: liqq@szu.edu.cn

    Corresponding author: ZOU Qin, PhD, associate professor. E-mail: qzou@whu.edu.cn
  • 摘要: 随着中国高速公路发展从大规模建设阶段向大规模养护阶段的转变,高效和自动化的路面破损检测技术具有越来越重要的研究意义和应用价值。公路路面破损检测主要利用光学传感器如相机、激光扫描仪等采集路表面数据,并利用模式识别、机器学习等技术方法自动定位路面破损位置、判别损坏类别。简要回顾了过去二十年路面破损检测的研究,并详细介绍了利用激光三维断面扫描进行路面破损检测的新方法。通过室内对比实验和公路实测实践的评估发现,利用三维断面扫描的路面破损检测技术相对于传统的基于可见光成像的技术具有更强的环境适应性和更高的识别精度。
  • 图  1  线扫描三维测量原理

    Figure  1.  An Illustration for 3D Measurement Using Line Scanning

    图  2  线扫描传感器及路面三维检测装备

    Figure  2.  Line Scanning Sensor and 3D Pavement Profiling System

    图  3  路面裂缝检测算法流程

    Figure  3.  Pipeline of Crack Detection Algorithm

    图  4  FFT及信号频谱示意图

    Figure  4.  An Illustration for Spectrums of FFT

    图  5  不同参数下的路面控制轮廓

    Figure  5.  Control Profile Obtained Under Different Parameters

    图  6  裂缝生长与还原过程

    Figure  6.  Process of Crack Seed Growing and Reduction

    图  7  路面裂缝检测过程

    Figure  7.  Process of Pavement Crack Detection

    图  8  路面变形类损坏检测算法流程

    Figure  8.  Flowchart of Road Deformation Defect Detection

    图  9  断面标准轮廓提取过程示意图

    Figure  9.  An Illustration for Standard Profile Extraction

    图  10  基于深度图的损坏定位及分类

    Figure  10.  Defect Locating and Classification Based on Depth Maps

    图  11  本文方法对不同类型裂缝的检测效果

    Figure  11.  Detection of Different Types of Cracks Using the Proposed Method

    图  12  测量速度对路面裂缝检测的影响

    Figure  12.  Influence of Traffic Speed on Crack-Detection Performance

    图  13  2D与3D测量数据裂缝检测结果

    Figure  13.  Crack Detection Based on 2D Optical Images and 3D Depth Images

    图  14  本文方法对不同类型变形损坏的检测效果

    Figure  14.  Deformation-Defect Detection Using the Proposed Method

    图  15  本文方法对路面井盖的检测效果

    Figure  15.  Detection of Well Covers Using the Proposed Method

    表  1  线扫描传感器参数

    Table  1.   Parameters of Line Scanning Sensor

    序号 高度/ mm 夹角/(°) X量程/ mm Y量程/ mm Z量程/ mm X精度/ mm Y精度/ mm
    1
    2
    3
    2 150 6
    8
    10
    2 018.13
    2 018.13
    2 018.13
    31.53
    31.53
    31.53
    301.67
    226.58
    181.59
    0.99
    0.99
    0.99
    0.15
    0.11
    0.09
    下载: 导出CSV

    表  2  裂缝识别准确性统计

    Table  2.   The Performance of Crack Detection

    裂缝类型 裂缝宽度/mm P N TP TN FN FP FNR/% FPR/% PPR/%
    横缝 <2 186 13 396 132 13 333 54 63 29.0 32.3 99.1
    ≥2 736 12 846 689 12 778 47 68 6.4 9.0 99.2
    纵缝 <2 157 13 425 133 13 396 24 29 15.3 17.9 99.6
    ≥2 468 13 114 441 13 078 27 36 5.8 7.5 99.5
    块裂 <3 157 13 425 145 13 408 12 17 7.6 10.5 99.8
    ≥3 831 12 751 811 12 715 20 36 2.4 4.3 99.6
    龟裂 <3 131 13 451 118 13 425 13 26 9.9 18.1 99.7
    ≥3 821 12 761 812 12 739 9 22 1.1 2.6 99.8
    修补 - 872 12 710 852 12 687 20 23 2.3 2.6 99.7
    下载: 导出CSV
  • [1] Koch C, Georgieva K, Kasireddy V, et al. A Review on Computer Vision Based Defect Detection and Condition Assessment of Concrete and Asphalt Civil Infrastructure[J]. Advanced Engineering Informatics, 2015, 29(2):196-210 doi:  10.1016/j.aei.2015.01.008
    [2] 邹勤, 李清泉, 毛庆洲, 等.利用目标点最小生成树的路面裂缝检测[J].武汉大学学报·信息科学版, 2011, 36(1):711-715 http://ch.whu.edu.cn/CN/abstract/abstract440.shtml

    Zou Qin, Li Qingquan, Mao Qingzhou, et al. Detection of Pavement Cracks Using Target Tree Spanning Tree[J]. Geomatics and Information Science of Wuhan University, 2011, 36(1):711-715 http://ch.whu.edu.cn/CN/abstract/abstract440.shtml
    [3] 李清泉, 邹勤, 毛庆洲.基于最小代价路径搜索的路面裂缝检测[J].中国公路学报, 2010, 23(6):28-33 http://kns.cnki.net/KCMS/detail/detail.aspx?filename=zggl201006006&dbname=CJFD&dbcode=CJFQ

    Li Qingquan, Zou Qin, Mao Qingzhou. Minimum Cost Path Search for Pavement Crack Detection[J]. China Journal of Highway and Transport, 2010, 23(6):28-33 http://kns.cnki.net/KCMS/detail/detail.aspx?filename=zggl201006006&dbname=CJFD&dbcode=CJFQ
    [4] 李伟, 孙朝云, 呼延菊, 等.基于路面3D数据的裂缝类型判断方法[J].中国公路学报, 2015, 28(11):21-28 http://d.wanfangdata.com.cn/Periodical/zgglxb201511004

    Li Wei, Sun Chaoyun, Huyan Ju, et al. A Method for Determining Crack Type Based on Pavement 3D Data[J]. China Journal of Highway and Transport, 2015, 28(11):21-28 http://d.wanfangdata.com.cn/Periodical/zgglxb201511004
    [5] 张德津, 李清泉.公路路面快速检测技术发展综述[J].测绘地理信息, 2015, 40(1):1-8 http://d.wanfangdata.com.cn/Periodical/chxxygc201501001

    Zhang Dejin, Li Qingquan. Summarization of Rapid Development of Highway Pavement[J]. Journal of Geomatics, 2015, 40(1):1-8 http://d.wanfangdata.com.cn/Periodical/chxxygc201501001
    [6] 沈照庆, 贾龙超, 姚铁山, 等.融合分形维值的路面裂缝损伤评价模型[J].长安大学学报(自然科学版), 2015, 35(5):1-6 http://d.wanfangdata.com.cn/Periodical/xagljtdx201505001

    Shen Zhaoqing, Jia Longchao, Yao Tieshan, et al. Pavement Crack Damage Evaluation Model with Fractal Dimension[J]. Natural Science of Chang'an University, 2015, 35(5):1-6 http://d.wanfangdata.com.cn/Periodical/xagljtdx201505001
    [7] 王晓明, 冯鑫, 党建武.基于多图像与多分辨率的路面裂缝检测方法[J].兰州理工大学学报, 2013, 39(1):76-82 http://d.wanfangdata.com.cn/Periodical/gsgydx201301018

    Wang Xiaoming, Feng Xin, Dang Jianwu. Pavement Crack Detection Method Based on Multi-image and Multi-Resolution[J]. Journal of Lanzhou University of Technology, 2013, 39(1):76-82 http://d.wanfangdata.com.cn/Periodical/gsgydx201301018
    [8] 朱平哲, 黎蔚.基于主动生长的断裂裂缝块的连接方法[J].计算机应用, 2011, 31(12):3382-3384 http://d.wanfangdata.com.cn/Periodical/jsjyy201112060

    Zhu Pingzhe, Li Wei. Connection Method of Fracture Block Based on Active Growth[J]. Journal of Computer Applications, 2011, 31(12):3382-3384 http://d.wanfangdata.com.cn/Periodical/jsjyy201112060
    [9] 樊海玮, 张国翊, 丁爱玲, 等. BP改进算法及其在路面裂缝检测中的应用[J].长安大学学报(自然科学版), 2010(1):46-53 http://kns.cnki.net/KCMS/detail/detail.aspx?filename=xagl201001011&dbname=CJFD&dbcode=CJFQ

    Fan Haiwei, Zhang Guoyi, Ding Ailing, et al. BP Improved Algorithm and its Application in Pavement Crack Detection[J]. Natural Science of Chang'an University, 2010(1):46-53 http://kns.cnki.net/KCMS/detail/detail.aspx?filename=xagl201001011&dbname=CJFD&dbcode=CJFQ
    [10] 谢昌荣, 张郭晶.路面裂缝检测图像处理算法的研究[J].中外公路, 2009, 29(6):112-115 http://d.wanfangdata.com.cn/Periodical/gwgl200906029

    Xie Changrong, Zhang Guojing. Research on Image Processing Algorithm for Pavement Crack Detection[J]. Journal of China & Foreign Highway, 2009, 29(6):112-115 http://d.wanfangdata.com.cn/Periodical/gwgl200906029
    [11] 闫茂德, 伯绍波, 贺昱曜.一种基于形态学的路面裂缝图像检测与分析方法[J].工程图学学报, 2008, 29(2):142-147 http://d.wanfangdata.com.cn/Periodical/gctxxb200802024

    Yan Maode, Bo Shaobo, He Yuyao. An Image Detection and Analysis Method for Pavement Crack Based on Morphology[J]. Journal of Engineering Graphics, 2008, 29(2):142-147 http://d.wanfangdata.com.cn/Periodical/gctxxb200802024
    [12] 唐磊, 赵春霞, 王鸿南, 等.基于图像分析的路面裂缝检测和分类[J].工程图学学报, 2008, 29(3):99-104 http://d.wanfangdata.com.cn/Periodical/gctxxb200803019

    Tang Lei, Zhao Chunxia, Wang Hongnan, et al. Detection and Classification of Pavement Cracks Based on Image Analysis[J]. Journal of Engineering Graphics, 2008, 29(3):99-104 http://d.wanfangdata.com.cn/Periodical/gctxxb200803019
    [13] 张娟, 沙爱民, 高怀钢, 等.基于数字图像处理的路面裂缝自动识别与评价系统[J].长安大学学报(自然科学版), 2004, 24(2):18-22 http://d.wanfangdata.com.cn/Periodical/xagljtdx200402004

    Zhang Juan, Sha Aimin, Gao Huaigang, et al. Automatic Recognition and Evaluation System of Pavement Crack Based on Digital Image Processing[J]. Natural Science of Chang'an University, 2004, 24(2):18-22 http://d.wanfangdata.com.cn/Periodical/xagljtdx200402004
    [14] 李晋惠.用图像处理的方法检测公路路面裂缝类损坏[J].长安大学学报(自然科学版), 2004, 24(3):24-29 http://kns.cnki.net/KCMS/detail/detail.aspx?filename=xagl200403007&dbname=CJFD&dbcode=CJFQ

    Li Jinhui. Detection of Cracks in Highway Pavement by Image Processing[J]. Natural Science of Chang'an University, 2004, 24(3):24-29 http://kns.cnki.net/KCMS/detail/detail.aspx?filename=xagl200403007&dbname=CJFD&dbcode=CJFQ
    [15] Li Q, Liu X. Novel Approach to Pavement Image Segmentation Based on Neighboring Difference Histogram Method[J]. International Congress on Image and Signal Processing, 2008(2):792-796 http://ieeexplore.ieee.org/document/4566413/
    [16] Oliveira H, Correia P L. Automatic Road Crack Segmentation Using Entropy and Image Dynamic Thresholding[C]. European Signal Processing Conference, UK, 2009 http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=7077805
    [17] Oliveira H, Correia P L. Automatic Road Crack Detection and Characterization[J]. IEEE Transactions on Intelligent Transportation Systems, 2013, 14(1):155-168 doi:  10.1109/TITS.2012.2208630
    [18] Kamaliardakani M, Sun L, Ardakani M K. Sealed-Crack Detection Algorithm Using Heuristic Thresholding Approach[J]. Journal of Computing in Civil Engineering, 2014, 30(1):110-118
    [19] Zou Q, Hu Z, Chen L, et al. Geodesic-Based Pavement Shadow Removal Revisited[C]. IEEE International Conference on Acoustics, Speech and Signal Processing, Beijing, 2016
    [20] 王世芳, 车艳丽, 李楠, 等.一种基于多尺度脊边缘的沥青路面裂缝检测算法[J].中国公路学报, 2017, 30(4):32-41 http://d.wanfangdata.com.cn/Periodical/zgglxb201704005

    Wang Shifang, Che Yanli, Li Nan, et al. An Algorithm for Detecting Cracks in Asphalt Pavement Based on Multi-scale Ridge Edge[J]. China Journal of Highway and Transport, 2017, 30(4):32-41 http://d.wanfangdata.com.cn/Periodical/zgglxb201704005
    [21] 李刚, 贺昱曜.多方位结构元素路面裂缝图像边缘检测算法[J].计算机工程与应用, 2010(1):224-226 http://d.wanfangdata.com.cn/Periodical/jsjgcyyy201001067

    Li Gang, He Yuyao. Multi-azimuth Structural Element Pavement Crack Image Edge Detection Algorithm[J]. Computer Engineering and Applications, 2010(1):224-226 http://d.wanfangdata.com.cn/Periodical/jsjgcyyy201001067
    [22] Ayenu-Prah A, Attoh-Okine N. Evaluating Pavement Cracks with Bidimensional Empirical Mode Decomposition[J]. EURASIP Journal on Advances in Signal Processing, 2008(1):701-710 http://d.wanfangdata.com.cn/OAPaper/oai_doaj-articles_2ad9ac4ff17afc1d6e3a6d5e04eeca5a
    [23] Subirats P, Dumoulin J, Legeay V, et al. Automation of Pavement Surface Crack Detection Using the Continuous Wavelet Transform[C]. International Conference on Image Processing, Florence, Italy, 2006:3037-3040
    [24] Zalama E, Gómez-Garc'1a-Bermejo J, Medina R, et al. Road Crack Detection Using Visual Features Extracted by Gabor Filters[J]. Computer-Aided Civil and Infrastructure Engineering, 2014, 29(5):342-358 doi:  10.1111/mice.2014.29.issue-5
    [25] Salman M, Mathavan S, Kamal K, et al. Pavement Crack Detection Using the Gabor Filter[C]. IEEE Conference on Intelligent Transportation Systems, New York, 2013 http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=6728529
    [26] Zhao G, Wang T, Ye J. Anisotropic Clustering on Surfaces for Crack Extraction[J]. Machine Vision and Applications, 2105, 26(5):675-688
    [27] Nguyen T S, Begot S, Duculty F, et al. Free-Form Anisotropy:A New Method for Crack Detection on Pavement Surface Images[C]. IEEE International Conference on Image Processing, New York, 2011
    [28] Li Q, Zou Q, Zhang D, et al. FoSA:F* Seed-Growing Approach for Cack-Line Detection from Pavement Images[J]. Image and Vision Computing, 2011, 29(12):861-872 doi:  10.1016/j.imavis.2011.10.003
    [29] Kaul V, Yezzi A, Tsai Y. Detecting Curves with Unknown Endpoints and Arbitrary Topology Using Minimal Paths[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(10):1952-1965 doi:  10.1109/TPAMI.2011.267
    [30] Amhaz R, Chambon S, Idier J, et al. Automatic Crack Detection on Two-Dimensional Pavement Images:An Algorithm Based on Minimal Path Selection[J]. IEEE Transactions on Intelligent Transportation Systems, 2016, 17(10):2718-2729 doi:  10.1109/TITS.2015.2477675
    [31] Avila M, Begot S, Duculty F, et al. 2D Image Based Road Pavement Crack Detection by Calculating Minimal Paths and Dynamic Programming[C]. IEEE International Conference on Image Processing, New York, 2014
    [32] Zou Q, Cao Y, Li Q, et al. CrackTree:Automatic Crack Detection from Pavement Images[J]. Pattern Recognition Letters, 2012, 33(3):227-238 doi:  10.1016/j.patrec.2011.11.004
    [33] Shi Y, Cui L, Qi Z, et al. Automatic Road Crack Detection Using Random Structured Forest[J]. IEEE Transactions on Intelligent Transportation Systems, 2016, 17(12):3434-3445 doi:  10.1109/TITS.2016.2552248
    [34] Chou J, O'Neill W A, Cheng H. Pavement Distress Evaluation Using Fuzzy Logic and Moments Invariants[J]. Transportation Research Record, 1995, 1505:39-46
    [35] Zhang L, Yang F, Zhang Y D, et al. Road Crack Detection Using Deep Convolutional Neural Network[C]. IEEE International Conference on Image Processing, Beijing, 2016 http://ieeexplore.ieee.org/document/7533052/
    [36] Li G, Zhao X, Du K, et al. Recognition and Evaluation of Bridge Cracks with Modified Active Contour Model and Greedy Search-Based Support Vector Machine[J]. Automation in Construction, 2017, 78:51-61 doi:  10.1016/j.autcon.2017.01.019
    [37] Mathavan S, Rahman M, Kamal K. Use of a Self-Organizing Map for Crack Detection in Highly Textured Pavement Images[J]. Journal of Infrastructure Systems, 2014, 21(3):52-60
    [38] Schmugge S J, Rice L, Lindberg J, et al. Crack Segmentation by Leveraging Multiple Frames of Varying Illumination[J]. IEEE Winter Conference on Applications of Computer Vision, 2017(1):1045-1053 http://ieeexplore.ieee.org/document/7926704/
    [39] Xu W, Tang Z, Zhou J, et al. Pavement Crack Detection Based on Saliency and Statistical Features[C]. IEEE International Conference on Image Processing, Beijing, 2013 http://ieeexplore.ieee.org/document/6738843/
    [40] Qu Z, Bai L, An S Q, et al. Lining Seam Elimination Algorithm and Surface Crack Detection in Concrete Tunnel Lining[J]. Journal of Electronic Imaging, 2016, 25(6):4-12 http://d.wanfangdata.com.cn/Periodical/jsjkx201707055
    [41] Huang Y, Xu B. Automatic Inspection of Pavement Cracking Distress[J]. Journal of Electronic Imaging, 2006, 15:1-6 doi:  10.1117-1.2177650/
    [42] Cho H W, Yoon H J, Yoon J C. Analysis of Crack Image Recognition Characteristics in Concrete Structures Depending on the Illumination and Image Acquisition Distance through Outdoor Experiments[J]. Sensors, 2016, 16(10):1646-1650 doi:  10.3390/s16101646
    [43] Doycheva K, Koch C, König M. Implementing Textural Features on GPUs for Improved Real-Time Pavement Distress Detection[J]. Journal of Real-Time Image Processing, 2016(1):1-12 doi:  10.1007/s11554-016-0648-1
    [44] Guan H, Li J, Yu Y, et al. Iterative Tensor Voting for Pavement Crack Extraction Using Mobile Laser Scanning Data[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(3):1527-1537 doi:  10.1109/TGRS.2014.2344714
    [45] Jiang C, Tsai Y J. Enhanced Crack Segmentation Algorithm Using 3D Pavement Data[J]. Journal of Computing in Civil Engineering, 2015, 30(3):50-58 doi:  10.1061/(ASCE)CP.1943-5487.0000526
    [46] Sollazzo G, Wang K C P, Bosurgi G, et al. Hybrid Procedure for Automated Detection of Cracking with 3D Pavement Data[J]. Journal of Computing in Civil Engineering, 2016, 30(6):32-40
    [47] Medina R, Llamas J, Zalama E, et al. Enhanced Automatic Detection of Road Surface Cracks by Combining 2D/3D Image Processing Techniques[C]. IEEE International Conference on Image Processing, New York, 2014
    [48] Rätsch G, Onoda T, Müller K R. Soft Margins for AdaBoost[J]. Machine Learning, 2001, 42(3):287-320 doi:  10.1023/A:1007618119488
    [49] Viola P, Jones M J. Robust Real-Time Face Detection[J]. International Journal of Computer Vision, 2004, 57(2):137-154 doi:  10.1023/B:VISI.0000013087.49260.fb
    [50] Li L, Wang K C P. Bounding Box-Based Technique for Pavement Crack Classification and Measurement Using 1 mm 3D Laser Data[J]. Journal of Computing in Civil Engineering, 2016, 30(5):11-18
    [51] Zhang D, Li Q, Chen Y, et al. An Efficient and Reliable Coarse-to-Fine Approach for Asphalt Pavement Crack Detection[J]. Image and Vision Computing, 2017, 57:130-146 doi:  10.1016/j.imavis.2016.11.018
    [52] Zou Q, Li Q, Zhang F, et al. Path Voting Based Pavement Crack Detection From Laser Range Images[C]. IEEE International Conference on Digital Signal Processing, Beijing, 2016
    [53] Li Q, Zhang D, Zou Q, et al. 3D Laser Imaging and Sparse Points Grouping for Pavement Crack Detection[C]. The 25th European Signal Processing Conference, Kos, 2017
    [54] Jahanshahi M R, Jazizadeh F, Masri S F, et al. Unsupervised Approach for Autonomous Pavement-Defect Detection and Quantification Using an Inexpensive Depth Sensor[J]. Journal of Computing in Civil Engineering, 2012, 27(6):743-754 doi:  10.1061/(ASCE)CP.1943-5487.0000245
    [55] Ouyang W, Xu B. Pavement Cracking Measurements Using 3D Laser-Scan Images[J]. Measurement Science and Technology, 2013, 24(10):1-11 http://d.wanfangdata.com.cn/NSTLQK/NSTL_QKJJ0232499416/
    [56] Bradshaw G. Non-contact Surface Geometry Measurement Techniques:Department of Computer Science[R]. Trinity College Dublin, Berlin, Geimany, 1999
  • [1] 李清泉, 邵成立, 万剑华, 王海银, 姜三, 于文率.  优视摄影测量与泛在实景三维数据采集:以实景三维青岛为例 . 武汉大学学报 ● 信息科学版, 2022, 47(10): 1587-1597. doi: 10.13203/j.whugis20220079
    [2] 杨必胜, 李健平.  轻小型低成本无人机激光扫描系统研制与实践 . 武汉大学学报 ● 信息科学版, 2018, 43(12): 1972-1978. doi: 10.13203/j.whugis20180265
    [3] 刘如飞, 田茂义, 许君一.  车载激光扫描数据中高速公路路面点滤波 . 武汉大学学报 ● 信息科学版, 2015, 40(6): 751-755. doi: 10.13203/j.whugis20130450
    [4] 彭代锋, 张永军, 熊小东.  结合LiDAR点云和航空影像的建筑物三维变化检测 . 武汉大学学报 ● 信息科学版, 2015, 40(4): 462-468. doi: 10.13203/j.whugis20130325
    [5] 陈金磊, 康志忠.  高分辨率三维激光扫描数据的微小变形统计分析 . 武汉大学学报 ● 信息科学版, 2015, 40(6): 744-750. doi: 10.13203/j.whugis20130358
    [6] 潘国荣, 周跃寅, 郭巍.  工业测量三维基准转换参数的全局最优算法 . 武汉大学学报 ● 信息科学版, 2014, 39(1): 85-89.
    [7] 沈照庆, 彭余华, 舒宁.  一种基于SVM的路面影像损伤跨尺度识别方法 . 武汉大学学报 ● 信息科学版, 2013, 38(8): 993-997.
    [8] 托雷, 康志忠, 谢远成, 王保前.  利用三维点云数据的地铁隧道断面连续截取方法研究 . 武汉大学学报 ● 信息科学版, 2013, 38(2): 171-175,185.
    [9] 杨荣华, 花向红, 邱卫宁, 耿涛.  地面三维激光扫描点云角度分辨率研究 . 武汉大学学报 ● 信息科学版, 2012, 37(7): 851-853.
    [10] 邹勤, 李清泉, 毛庆洲, 陈龙.  利用目标点最小生成树的路面裂缝检测 . 武汉大学学报 ● 信息科学版, 2011, 36(1): 71-75.
    [11] 张剑清, 孙明伟, 郑顺义, 季铮.  基于轮廓约束的摄影测量法元青花瓶数字三维重建 . 武汉大学学报 ● 信息科学版, 2009, 34(1): 7-10.
    [12] 李欣, 侯文广, 杜志强, 商浩亮.  角度已知的结构光摄影测量三维重建 . 武汉大学学报 ● 信息科学版, 2009, 34(9): 1063-1067.
    [13] 许伟平, 朱庆, 张叶廷.  采用胶囊体进行三维城市模型的实时碰撞检测 . 武汉大学学报 ● 信息科学版, 2009, 34(9): 1030-1033.
    [14] 贾永红, 邹勤, 付修军.  基于数学形态学的扫描地图点状符号识别方法 . 武汉大学学报 ● 信息科学版, 2008, 33(7): 673-675.
    [15] 张剑清, 翟瑞芳, 郑顺义.  激光扫描多三维视图的全自动无缝镶嵌 . 武汉大学学报 ● 信息科学版, 2007, 32(2): 100-103.
    [16] 刘春, 吴杭彬.  基于真三维TIN的三维激光扫描数据压缩方法 . 武汉大学学报 ● 信息科学版, 2006, 31(10): 908-911.
    [17] 陈睿, 张祖勋, 张剑清.  扫描地形图中数字高程注记的提取和识别 . 武汉大学学报 ● 信息科学版, 2002, 27(2): 194-198.
    [18] 冯文灏.  建立积木式三维工业测量系统的研究 . 武汉大学学报 ● 信息科学版, 2002, 27(4): 403-407.
    [19] 马飞.  基于Windows的扫描等高线地图识别系统 . 武汉大学学报 ● 信息科学版, 1995, 20(3): 228-233.
    [20] 肖力炀, 李伟, 袁博, 崔逸群, 高荣, 王文庆.  一种改进型Mask R-CNN模型的路面裂缝识别方法 . 武汉大学学报 ● 信息科学版, 0, 0(0): -. doi: 10.13203/j.whugis20210279
  • 加载中
图(15) / 表(2)
计量
  • 文章访问数:  2176
  • HTML全文浏览量:  170
  • PDF下载量:  815
  • 被引次数: 0
出版历程
  • 收稿日期:  2017-09-01
  • 刊出日期:  2017-11-05

利用高精度三维测量技术进行路面破损检测

doi: 10.13203/j.whugis20170288
    基金项目:

    国家自然科学基金 41371377

    国家自然科学基金 61301277

    深圳市未来产业发展专项资金 201507211219247860

    作者简介:

    李清泉, 博士, 教授, 国际欧亚科学院院士, 主要从事精密工程测量和时空数据分析研究。liqq@szu.edu.cn

    通讯作者: 邹勤, 博士, 副教授。qzou@whu.edu.cn
  • 中图分类号: TP753;P258

摘要: 随着中国高速公路发展从大规模建设阶段向大规模养护阶段的转变,高效和自动化的路面破损检测技术具有越来越重要的研究意义和应用价值。公路路面破损检测主要利用光学传感器如相机、激光扫描仪等采集路表面数据,并利用模式识别、机器学习等技术方法自动定位路面破损位置、判别损坏类别。简要回顾了过去二十年路面破损检测的研究,并详细介绍了利用激光三维断面扫描进行路面破损检测的新方法。通过室内对比实验和公路实测实践的评估发现,利用三维断面扫描的路面破损检测技术相对于传统的基于可见光成像的技术具有更强的环境适应性和更高的识别精度。

English Abstract

李清泉, 邹勤, 张德津. 利用高精度三维测量技术进行路面破损检测[J]. 武汉大学学报 ● 信息科学版, 2017, 42(11): 1549-1564. doi: 10.13203/j.whugis20170288
引用本文: 李清泉, 邹勤, 张德津. 利用高精度三维测量技术进行路面破损检测[J]. 武汉大学学报 ● 信息科学版, 2017, 42(11): 1549-1564. doi: 10.13203/j.whugis20170288
LI Qingquan, ZOU Qin, ZHANG Dejin. Road Pavement Defect Detection Using High Precision 3D Surveying Technology[J]. Geomatics and Information Science of Wuhan University, 2017, 42(11): 1549-1564. doi: 10.13203/j.whugis20170288
Citation: LI Qingquan, ZOU Qin, ZHANG Dejin. Road Pavement Defect Detection Using High Precision 3D Surveying Technology[J]. Geomatics and Information Science of Wuhan University, 2017, 42(11): 1549-1564. doi: 10.13203/j.whugis20170288
  • 截至2016年年底,中国高速公路里程已超过130 000 km,总里程居世界首位。同时,中国高速公路的发展已从大规模建设阶段转变为大规模养护阶段,高效和自动化的路面测量和检测技术已成为行业重要需求。及时和准确的路面破损检测可以节约维修成本、提高路面舒适度,为行车安全提供保障。

    路面破损最常见的形式包括裂缝、车辙、坑槽、拥包、沉陷和松散等。不同损坏在路面上表现出不同几何和灰度等特征。裂缝表现出明显的线性特征,具有一定宽度和深度,宽度一般大于1 mm,与正常路面比较具有较明显的灰度差;车辙因渠化交通原因,分布在行车道的轮迹带上,有一定的宽度、深度和连续长度,宽度一般大于20 cm;坑槽和沉陷具备一定的面积和深度;拥包则与正常路面相比具有一定的高度,即突出了正常路面。

    过去二十年,路面破损检测研究经历了从二维光学图像采集系统发展到三维激光扫描采集系统的过程[1-2]。国内外成熟的路面破损检测技术一般是采用线扫描相机或面阵相机结合辅助照明技术,连续获取路面二维可视化灰度图像,利用图像人机交互识别损坏[3-4]。自2000年以来,经过十多年发展,二维可视化损坏检测技术已经非常成熟,能在正常行车速度0~120 km/h范围内,全天候连续获取路面高清晰度灰度影像,在国内外得到普遍应用[5]。在这个过程中,基于二维图像的路面破损识别方法得到了广泛研究,一系列的算法相继被提出[6-14]。基于裂缝亮度比背景低的假设,图像阈值化被用于裂缝等损坏的分割[15-18],然而光学路面影像经常受光照和阴影的影响,导致阈值化方法不稳定[19]。基于裂缝具有梯度突变的特点,利用边缘检测[20-22]和小波变换[23-27]的方法也被用于路面破损裂缝的检测,然而,由于裂缝是全局线状目标,在局部不一定具有显著的梯度方向性,因而利用局部梯度难以捕捉复杂背景下的路面破损信息。基于裂缝具有全局跟踪亮度最小的特点,利用最短路径搜索的算法被广泛用于裂缝提取[28-31],其他还有基于张量投票的方法[32-33]、基于机器学习的算法[34-38]、基于图像显著度的算法[39]和基于统计判别的方法[40-41]等。另外,一些研究分析了距离和光照对裂缝的成像效果的影响[42],以及利用高速图形处理芯片对识别进行加速[43]

    但是,由于路面情况复杂,存在着杂物、水渍、油渍、阴影和自然光等干扰因素影响,自动损坏识别一直都是影响效率的重要瓶颈。同时,由于灰度图像只反应路面不同对象的灰度特征,如正常路面与裂缝或坑槽边缘的灰度差,无法反应车辙、拥包、沉陷等不具有明显边缘特征的损坏,导致无法检测车辙、沉陷、松散和拥包等损坏,而对于坑槽和裂缝损坏也无法正确区分。因此,可视化检测技术存在着两个缺陷:其一是数据自动化处理存在困难,难以做到环境无关的损坏自动识别;其二是损坏类型检测不全,对于没有边缘特征的变形类损坏无法检测。二维可视化技术是充分利用了损坏在路面上表现出来的灰度差和简单的几何线性特征。分析路面破损特征发现,路面破损除与正常路面相比具有灰度差和几何线性特征外,还具有一定的高程特征,即与正常路面比较,损坏表现为高出路面或低于路面。同时,高程信息不受自然光、阴影、水渍、油渍等影响。充分利用损坏表现出的灰度、高程和几何线性等特征,研究新的检测技术是路面破损检测技术的发展趋势。

    三维激光雷达的测量基本原理是采用单点连续测量,每个测点都含有测量距离信息和姿态信息,测量精度一般达到毫米级,而公路检测中由于载车姿态变化频度高,导致基于不同姿态测点组成的断面数据处理难度高,且高程测量精度一般要求微米级,三维路面检测需要研究新的技术和方法。近几年,能同时获取灰度和高程信息的三维测量相机得到长足发展。三维测量相机通过获取含激光线的被测物体表面图像,自动识别激光线并输出激光线断面在图像上的位置信息。因此,利用三维测量相机,结合大功率线激光器组成测量单元,基于激光三角测量原理研制新的线扫描成像传感器,连续测量路面三维断面,组成路面三维图像,结合三维图像和二维图像,充分利用路面破损的灰度、高程和几何线性等特征,实现路面裂缝、车辙和沉陷等损坏的统一检测。在基于三维点云的路面裂缝检测方面,文献[44]构建了基于迭代张量投票的裂缝识别方法;文献[45]提出利用优化算法对三维点云进行精确分割,并利用两步高斯平滑消除接缝线和车辙的影响;文献[46]利用三维超声波感知路面精确的结构信息,精度达到1 mm,在此基础上通过融合光学信息和深度信息,利用张量投票和最小生成树实现路面裂缝类损坏的检测。文献[47]也将二维光学图像和三维深度图像进行融合,利用线结构光测量法每10 mm测量路表面的一个横断面,利用Gabor滤波器构建提升机[48-49]分类模型进行裂缝的识别。文献[50]研究了基于三维激光扫描数据的路面破损分类方法,它利用子块划分以及空间关联统计方法对路面破损进行提取,并对损坏的程度进行估计。在基于三维激光扫描的路面检测装备研发方面,加拿大国家光学研究所(National Optic Institute,INO)率先展开了基于线扫描三维成像技术的路面检测技术研究,研究成果激光裂缝测量系统(laser crack measurement system,LCMS)传感器已经得到一定应用,但国内没有好的应用案例。在国内,笔者所在团队从2010年开始线扫描测量技术研究,研究成果激光扫描断面测量仪(laser scan profilometer,LSP)在湖北、贵州、内蒙和新疆等地得到应用,实现了数据的自动化处理,能检测路面所有破损类损坏[51-53]。线扫描成像测量技术研究需要解决线扫描测量传感器、高精度传感器标定方法和基于三维点云的路面破损自动识别算法[54-56]

    • 激光线扫描三维测量传感器用于测量路面横断面高程,对断面数据预处理并存储,同步输出断面数据到上位机。传感器硬件包括传感器头和控制器,传感器头获取路面三维断面数据,控制器负责控制传感头工作,接受传感头断面数据并预处理,对预处理断面数据存储后同步上传到上位机。路面检测要求满足正常行车速度0~120 km/h范围,检测幅宽4 000 mm,横向检测分辨率1 mm,深度测量精度0.3 mm,深度测量量程大于200 mm,最大采样间隔5 mm。在动态测量环境下,激光雷达逐点扫描三维测量数据中的每个测点都含有测量姿态,多测量组成的断面中姿态噪声消除存在困难,测量精度也无法满足要求。因此,线扫描三维测量传感器采用三维相机结合线激光器方式,线激光垂直投射到被测物体表面,相机与激光器成一定夹角(6°~8°)采集激光线图像,通过内置算法提取激光线,输出激光线在像方的位置,通过标定文件进行像方和物方转换,测量被测物体表面高程[57]。测量原理如图 1所示。

      图  1  线扫描三维测量原理

      Figure 1.  An Illustration for 3D Measurement Using Line Scanning

      线扫描三维测量传感器安装在载车上,检测幅宽大于3.75 m,横向分辨率1 mm,结合实际工作环境、安装要求和技术参数,选择如表 1所示参数,采用两个2k相机,在距离地面2 150 mm高度,可覆盖4 000 mm车道,测量精度最高达到0.09 mm。

      表 1  线扫描传感器参数

      Table 1.  Parameters of Line Scanning Sensor

      序号 高度/ mm 夹角/(°) X量程/ mm Y量程/ mm Z量程/ mm X精度/ mm Y精度/ mm
      1
      2
      3
      2 150 6
      8
      10
      2 018.13
      2 018.13
      2 018.13
      31.53
      31.53
      31.53
      301.67
      226.58
      181.59
      0.99
      0.99
      0.99
      0.15
      0.11
      0.09

      采用双传感器头组合,将传感器安装在载车尾部,单个传感器测量2 m幅宽,中间保持一定的重合,控制器安装在车内机柜,配合定位定姿、电源、存储系统工作,连续采集路面三维断面组成三维路面,数据处理软件实时处理检测数据,输出路面破损信息。传感器及基于传感器的测量装备如图 2所示。

      图  2  线扫描传感器及路面三维检测装备

      Figure 2.  Line Scanning Sensor and 3D Pavement Profiling System

      标定是三维测量技术中的重要组成部分,相机输出的是激光线在图像中的相对位置,不是被测断面的实际高程。由于相机分辨率限制,单个像素难以达到所需精度,相机采用1/64亚像素方法把一个物理像素64等分,标定解决1/64像素后每个像素对应的高程相对值,依据对应关系实现断面像方位置到物方实际高程的转换。

    • 路面破损可分为裂缝类损坏和变形类损坏两大类。裂缝类损坏是在测量断面中与测量数据(控制轮廓)比较发生细微变化的数据,即微观损坏;变形类损坏是测量断面中与整体趋势(标准轮廓)比较发生较大范围高程变化的数据,即宏观损坏。数据处理采取先对数据预处理,然后分开处理的方式。

    • 对裂缝损坏处理而言,3D激光断面数据包括路面控制轮廓、损坏、纹理、姿态及异常数据等信息。其中,路面控制轮廓、损坏和纹理是理想测量情况下的路面基本组成成分,而姿态、异常数据则是实际测量环境引入的噪声,其原因包括动态的测量环境、路面材料反光异常、传感器数据异常、测量系统误差等。异常数据通常具有较强的随机性,在断面中通常表现为幅值较大的脉冲信号,异常数据的存在会影响裂缝检测精度,有必要在数据处理前通过相关预处理进行降低或消除。

      在运动环境中进行路面3D激光断面数据测量时,得到的3D激光断面数据中含有测量姿态信息,通常每个断面姿态都不同,在全局数据处理时,姿态对数据一致性分析有较大影响,特别体现在需要利用沿测量方向进行数据分析时。因此,在数据测量时同步采集测量姿态,可以利用采集的测量姿态数据对断面数据进行姿态修正。假设传感器在横断面方向与高程方向组成平面中的安装倾角为α,传感器安装高程为H;在任意时刻,传感器在横断面方向与高程方向组成平面中的测量倾角为α′,测量时传感器高程为H′;当前断面第i个测点原始测量高程值Zi, 则经姿态矫正后的高程测量值Z′i的计算公式为:

      $$ Z{{^{\prime} }_{i}}={{Z}_{i}}+{{k}_{i}}\times i\times \tan \left( \alpha ^{\prime}-\alpha \right)+(H-H') $$ (1)

      式中, ki为横断面方向相邻采样点的物理间隔,根据标定的像方和物方关系换算。由于路面铺装材料不均,水渍、油渍导致反光异常以及异物的影响,采集的3D激光断面信号中包含上述因素引起的异常数据。断面中异常数据通常表现为一个高频的脉冲信号,并具有较高变化幅值。异常数据的存在会影响裂缝的检测,对于此类数据,采用中值滤波获取断面的参考断面,计算断面各点与参考断面距离,寻找偏离参考断面较大的异常点,利用异常点附近的非异常点数据进行替换。

    • 线扫描3D激光断面数据由路面控制轮廓、纹理、损坏、姿态及噪声数据组成。选择用频域方法分离纹理并提取路面控制轮廓,用空域方法基于断面数据提取裂缝疑似数据,基于3D路面数据集进行完整精确的裂缝检测。该算法在克服路面纹理、其他损坏及测量姿态影响的同时,也充分挖掘利用裂缝的连续性、方向性和聚集性等特性,从而达到完整而精确地检测沥青路面的目的。基于3D激光断面数据的路面裂缝检测算法流程如图 3所示。

      图  3  路面裂缝检测算法流程

      Figure 3.  Pipeline of Crack Detection Algorithm

    • 在信号时空域中,路面纹理、裂缝以及路面控制轮廓相互混叠影响,实现路面控制轮廓和裂缝信息的精确提取及定位存在困难。而在信号频率域内,由于路面纹理属于高频变化的信息,裂缝也包含较为急剧的突变部分,而路面控制轮廓的变化趋势相对较为平缓。路面纹理与裂缝在频谱中对应高频部分,路面控制轮廓在频谱中对应低频部分,因此,采用快速傅里叶变换(fast Fourier transformation,FFT)能有效分离路面纹理与控制轮廓,图 4显示了经过FFT后的信号频率幅度谱和功率谱。

      图  4  FFT及信号频谱示意图

      Figure 4.  An Illustration for Spectrums of FFT

      经过FFT变换的横断面数据频谱中(设频谱范围最大值为fH),路面控制轮廓是贴合路面的平缓轮廓,对应为频谱低频部分,利用带通滤波器可实现路面控制轮廓频段截取。

      与FFT过程相反,快速傅里叶逆变换(inverse fast Fourier transformation,IFFT)则是实现频率域信号到时空域的转换。利用IFFT对相应低频率段功率谱进行处理获取其对应的信号波形,即为路面控制轮廓,其中截取的低频信号范围为0~ fs1,提取的控制轮廓如图 5所示。

      图  5  不同参数下的路面控制轮廓

      Figure 5.  Control Profile Obtained Under Different Parameters

      当截止频率fs1 =0.003×fH时,带通滤波后信号包含的成分较少,即截取后恢复的控制轮廓更加平缓,部分位置存在偏离断面轮廓走势现象,如图 5(a)所示;对于fs1 =0.015×fH时恢复的控制轮廓比较贴合路面走势,且裂缝信息无所损失,如图 5(b)所示;对于fs1 =0.03×fH时恢复的控制轮廓比较贴合路面走势,但裂缝信息有所损失,如图 5(c)所示。为了利于裂缝的精确提取,本文选取fs1 =0.015×fH获取路面控制轮廓。

    • 路面轮廓数据中包含有路面控制轮廓、路面纹理和裂缝3部分信息,裂缝数据高程都小于控制轮廓高程。理想情况下,路面均有已知设计纹理值,将路面控制轮廓从路面轮廓中分离后,路面轮廓中还包含路面纹理、裂缝两部分信息,结合已知的设计纹理直接运算就可以得到路面裂缝数据。但是,路面铺装的实际纹理值与设计纹理值存在差异,且路面使用过程中行车碾压和摩擦均导致路面纹理发生变化,路面纹理直接体现断面数据局部波动幅度,纹理越大、波动越大,分离数据中裂缝点时所需的分割阈值越大。因此,需要通过分析每个断面的纹理分布特征计算断面的动态分割阈值,根据阈值与路面控制轮廓计算得到疑似裂缝数据。路面轮廓的局部波动主要由路面纹理高程变化产生,预处理断面轮廓PP与控制轮廓CP的高程差|PP-CP|可以反映断面的纹理分布特征。按照式(2)、(3)对纹理分布值进行统计分析,得到纹理均值AvgTex、纹理均方差Texσ

      $$ \text{AvgTex}=\sum _{_{i=1}}^{^{N}}\left| P{{P}_{i}}-C{{P}_{i}} \right|/N $$ (2)
      $$ \text{Tex}\sigma =\sqrt{\frac{1}{n}\sum _{_{i=1}}^{^{n}}{{(|P{{P}_{i}}-C{{P}_{i}}|-\text{AvgTex})}^{2}}} $$ (3)

      其中,N为单个断面采样点总数; PPiCPi分别为预处理断面轮廓、控制轮廓的第i个测点高程值。由于裂缝点波动幅度大于纹理均值,裂缝数据高程都小于控制轮廓高程,故将波动值较大、测值小于控制轮廓的点通过分割阈值T分离为疑似裂缝点,若判断为裂缝点,FlagCi标记为1;否则,标记为0。

      $$ T=\text{AvgTex}+k\times \text{Tex}\sigma $$ (4)
      $$ \text{Flag}{{C}_{i}}=\left\{ \begin{align} &1, C{{P}_{i}}-P{{P}_{i}}>T \\ &0, 其他 \\ \end{align} \right. $$ (5)

      其中,k(2≤k≤3)为阈值系数。按照上述判定获取所有断面的疑似裂缝点,联合连续断面数据集中的疑似裂缝点得到裂缝表征二值图。

    • 基于裂缝疑似数据得到的二值图像中包含大部分裂缝数据和部分噪声数据,裂缝数据具备了一定的聚集特征,表现为具有一定的几何形态,包括长度、宽度和面积。首先,对二值图像进行子块划分;其次,对子块进行评估,筛选置信区域;然后,基于置信区域形成裂缝种子区域;最后,基于最小代价生成树方法实现裂缝识别。其中,子块划分、置信区域筛选及种子区域形成已经得到比较充分研究[51]。本文以裂缝种子区域为基础,采用基于最小代价生成树的裂缝生长方法,进一步实现裂缝完整检测,生长步骤如下:

      1) 获取原始裂缝种子区域。首先提取形态子块集区域中具备较长连通区域的疑似裂缝点作为原始裂缝种子区域,其中连通区域长度阈值Tc的计算公式为:

      $$ {{T}_{c}}=\min (100, \max (30, 0.05{{L}_{b}})) $$ (6)

      其中,Lb为当前形态子块集的长度。

      2) 裂缝种子点获取。对原始裂缝种子区域进行细化操作,获取原始裂缝种子区域骨架;利用角点检测法提取原始裂缝种子区域骨架的方向转折点,对原始裂缝种子区域骨架自适应分段;将分段裂缝段作为裂缝种子区域,以裂缝种子区域端点作为裂缝种子点。

      3) 裂缝种子点构图。所有裂缝种子点两两相连,若两个裂缝种子点属于同一裂缝种子区域,则用裂缝种子区域自身代替连线,并标记为实边,否则标记为虚边,实边集合用R表示,虚边集合用V表示。

      4) 分配边代价值。置信度越高边代价值越小,置信度越低边代价值越大,代价值的计算公式如式(7)~式(9)所示。

      5) 裂缝生长及还原。基于最小代价生成树原则得到裂缝路径,将得到的裂缝路径与裂缝种子区域融合,实现裂缝的完整性生长。

      $$ {{W}_{i, j}}=\frac{1}{0.5{{l}_{i, j}}/{{L}_{\text{max}}}+0.5{{O}_{i, j}}/{{O}_{\text{max}}}}, {{e}_{i, j}}\in R $$ (7)
      $$ W{{^{\prime} }_{i, j}}={{W}_{i, j}}/{{R}_{\text{max}}}, {{e}_{i, j}}\in R $$ (8)
      $$ {{w}_{i, j}}=\left\{ \begin{align} &0.1, {{e}_{i, j}}\in R \\ &{{l}_{i, j}}+{{l}_{i, j}}\times (W{{^{\prime} }_{i, {{m}_{i}}}}+W{{^{\prime} }_{j, {{m}_{j}}}})\times \left| {{\theta }_{i, {{m}_{i}}}}-{{\theta }_{j, {{m}_{j}}}} \right|/\text{ }\!\!\pi\!\!\text{ }, {{e}_{i, j}}\in V, \\ &{{e}_{{{m}_{i}}, i}}\in R, {{e}_{{{m}_{j}}, j}}\in R \\ \end{align} \right. $$ (9)

      式中,ij为裂缝种子点序号;ei, j表示以裂缝种子点ij为顶点构成的边;li, jWi, jWi, jwi, j分别表示ei, j边长度、原始代价系数、归一化代价系数、代价值;Oi, jei, j对应原始裂缝种子区域长度;LmaxOmax为裂缝种子区域、原始裂缝种子区域最大长度;Rmax为最大原始代价系数;θi, j表示裂缝种子点i到裂缝种子点j方向;mimj分别表示与裂缝种子点ij匹配实边所对应的另一端裂缝种子点序号,其他变量含义依此类推(如emi, i表示以裂缝种子点mii为顶点构成的边)。裂缝还原及生长效果如图 6(e)所示。由于裂缝种子点较多,为了便于观察,图 6(d)中只选择了边代价值较低的部分进行绘图,图 6(e)图 7(e)中红色表示还原的裂缝种子区域,绿色表示裂缝生长区域;图 7(d)中红色矩形框为裂缝子块集延伸区域。

      图  6  裂缝生长与还原过程

      Figure 6.  Process of Crack Seed Growing and Reduction

      图  7  路面裂缝检测过程

      Figure 7.  Process of Pavement Crack Detection

    • 路面坑槽、车辙、拥包、沉陷等是路面常见的变形类损坏,空间分布上具有较大深度和面积。对变形类损坏处理而言,3D测量断面包括路面标准轮廓、纹理、噪声和姿态信息,标准轮廓为路面无损坏状态下的正常形态和轮廓,路面出现变形类损坏后,在断面上表现出与标准断面比较具有较大范围高程变化。因此,先计算路面标准轮廓,基于标准轮廓和测量断面提取疑似损坏数据,形成二值图像再处理,处理流程如图 8所示。

      图  8  路面变形类损坏检测算法流程

      Figure 8.  Flowchart of Road Deformation Defect Detection

      路面变形类损坏从形态上可分为向上型和向下型两类,拥包损坏为向上类型损坏,沉陷、车辙和坑槽损坏为向下类。提取标准轮廓需要预先判断损坏类型,断面损坏类型判定主要是对当前断面中潜在存在的变形类损坏为向上型或向下型进行判别,即假设单个断面中不存在同时含有向上型和向下型的损坏,故断面的上、下包络线中存在一条包络线与当前断面的标准轮廓相似,具备良好的方向一致性,同时与包络线距离较远的关键点具备较差的方向一致性。断面损坏类型判定具体步骤为:(1)利用角检测法提取断面上的高曲率点作为关键点;(2)分别计算断面的上、下包络线;(3)依据关键点到上、下包络线的距离,对抽稀断面的各个关键点进行类别判定,其中靠近上包络线的关键点标记为1,靠近下包络点的关键点标记为0;(4)分别评估上包络线和潜在向下型损坏区域关键点(标记值为0的关键点)的方向一致性、下包络线和潜在向上型损坏区域关键点(标记值为1的关键点)的方向一致性;(5)综合评估上包络线和下包络线为相似标准轮廓的置信度,若上包络线具备较高的置信度,则当前断面损坏类型判别为向下型;反之,若下包络线具备较高的置信度,则当前断面损坏类型判别为向上型。

      选定类别连线中包含标准轮廓信息和损坏过渡段信息,将选定类别连线划分子段,分段后,计算子段i的方向Oi,然后计算各子段与其他子段的方向差异总和Si,剔除其中方向总体差异值较大的子段,循环该过程直到子段方向总体差异值满足设定阈值要求。在获取标准轮廓之后,将标准轮廓恢复为原始数据长度。图 9显示了断面损坏类型判定及断面标准轮廓提取过程,图 9(a)为断面上下包络线,图 9(b)为断面关键点属性分类,图 9(c)为断面损坏类型判定效果,图 9(d)为断面标准轮廓。

      图  9  断面标准轮廓提取过程示意图

      Figure 9.  An Illustration for Standard Profile Extraction

      断面经过处理之后可获取标准轮廓与原始数据深度差值,连续3D断面数据深度差值组成3D路面破损深度图(图 10(a))。损坏深度图中按照一定深度阈值获取变形损坏特征点(图 10(b))。变形损坏定位是依据变形损坏具有区域聚集性,在深度图上体现为一定深度变化延续性,定位同类邻近损坏区域,合并延伸及小面积损坏剔除。损坏定位完成后,获取损坏位置、面积、深度分布及边缘等信息,依据损坏属性特征,将损坏数据进行分类。

      图  10  基于深度图的损坏定位及分类

      Figure 10.  Defect Locating and Classification Based on Depth Maps

    • 为了验证所提出算法的普适性和有效性,从本文方法对不同类型裂缝的检测效果以及测量速度对检测结果的影响两方面进行实际数据验证。

      选取包含不同类型裂缝的3D激光断面数据集进行测试,数据中主要包括横缝、纵缝、块裂、龟裂、修补5种裂缝类型。部分测试结果如图 11所示,其中裂缝检测结果在对应位置用红色线进行标记。图 11中除图 11(e)左图为二维路面图像外(为了显示修补裂缝的检测效果),其他图像均为三维深度转灰度图像。

      图  11  本文方法对不同类型裂缝的检测效果

      Figure 11.  Detection of Different Types of Cracks Using the Proposed Method

      为进一步说明本文方法对各种类型损坏识别的准确性,对10个测试路段的1.35万个数据样本进行测试统计,采用漏检率(false negative rate, FNR)、虚检率(false positive rate, FPR)、正确识别的裂缝率(predicted positive rate, PPR)描述裂缝的识别准确性,有裂缝的图像数目P,代表无裂缝的图像数目N,含裂缝的图像被判别为无裂缝的图像数目(false negative, FN), 无裂缝的图像被判别为有裂缝的图像数目(false positive, FP),正确检出有裂缝的图像数目(true positive, TP),正确检出无裂缝的图像(true negative, TN),则裂缝识别准确性计算公式如式(10),统计结果如表 2所示。

      表 2  裂缝识别准确性统计

      Table 2.  The Performance of Crack Detection

      裂缝类型 裂缝宽度/mm P N TP TN FN FP FNR/% FPR/% PPR/%
      横缝 <2 186 13 396 132 13 333 54 63 29.0 32.3 99.1
      ≥2 736 12 846 689 12 778 47 68 6.4 9.0 99.2
      纵缝 <2 157 13 425 133 13 396 24 29 15.3 17.9 99.6
      ≥2 468 13 114 441 13 078 27 36 5.8 7.5 99.5
      块裂 <3 157 13 425 145 13 408 12 17 7.6 10.5 99.8
      ≥3 831 12 751 811 12 715 20 36 2.4 4.3 99.6
      龟裂 <3 131 13 451 118 13 425 13 26 9.9 18.1 99.7
      ≥3 821 12 761 812 12 739 9 22 1.1 2.6 99.8
      修补 - 872 12 710 852 12 687 20 23 2.3 2.6 99.7
      $$ \left\{ \begin{array}{l} {\rm{FNR}} = {\rm{FN}}/{\rm{P}} \times 100\% \\ {\rm{FPR}} = {\rm{FP}}/({\rm{TP}} + {\rm{FP}}) \times 100\% \\ {\rm{PPR}} = ({\rm{TP}} + {\rm{TN}})/\left( {{{P}} + {{N}}} \right) \times 100\% \end{array} \right. $$ (10)

      统计裂缝识别准确性过程中,将含有属于本类裂缝的图像作为有裂缝图像,将未含本类裂缝的图像作为无裂缝图像统计。

      观察表 2可知,由于裂缝宽度越宽,路面实际裂缝的连续性与裂缝数据的连续性越好,识别的漏检率和虚检率越低;块裂及龟裂的裂缝宽度普遍高于横缝和纵缝,故块裂及龟裂识别的漏检率和虚检率低于横缝和纵缝;由于样本数据横向分辨率高于纵向分辨率,故纵向裂缝的识别准确性高于横向裂缝。随着摄影技术的发展,三维相机支持的工作频率将得以提升,样本纵向分辨率随之提升,横向裂缝识别准确性将随之改善。当实际有损坏的图像数目所占总数比例较小时(0%~25%),损坏样本所占总数比例越小,缝识别的准确率越高;当实际有损坏的图像数目所占总数比例较大时(>25%),路面裂缝程度越严重,裂缝往往表现为宽度越大,此时裂缝识别的准确率越高;当损坏样本所占总数比例约为23%的情况下,裂缝整体识别的漏检率为3.4%、虚检率为5.1%、识别准确率为98%。

      结合对不同裂缝类型的数据实验验证及分析,本文方法对5种常见类型裂缝损坏检测结果都较为精确完整,说明本文测量系统适用于横缝、纵缝、块裂、龟裂、修补5种裂缝类型。

      为验证测量速度对本文方法的影响,对相同实验测试区域分别以10 km/h、20 km/h、30 km/h、40 km/h、50 km/h、60 km/h、70 km/h、80 km/h的测量速度对测试区间进行裂缝检测工作,其中30 km/h与80 km/h的测量结果如图 12所示(30 km/h为中国市政道路常用速度,80 km/h则适用于中国高速公路)。根据实验结果可知,本文提出方法对于不同测量速度下的裂缝检测结果均能达到检测应用要求,说明测量速度对本文裂缝检测方法的影响较小。另一方面,随着测量速度的提升,载车的姿态颠簸也越严重,即测量数据中姿态影响也更加严重,但是实验结果中高速度测量下的裂缝检测仍有较高的精准度。这主要是由于本文在路面横断面控制轮廓的基础上提取裂缝疑似点并进行处理,所以能克服测量姿态的影响。

      图  12  测量速度对路面裂缝检测的影响

      Figure 12.  Influence of Traffic Speed on Crack-Detection Performance

      另外,由于本文提出的裂缝检测算法是基于3D激光断面数据进行的,即本文方法对于测量环境光照具有很好的适用性,关于这一适应性在后续与2D数据对比中将进一步说明。

    • 本节选取若干典型样本对所提出的3D方法与目前主流的2D图像裂缝检测方法作效果对比验证,同时说明环境光对路面裂缝检测的影响。其中2D数据为现有主流二维路面测量方式(线阵相机+激光器的方式)获取的高清2D路面图像,2D裂缝检测方法采用文献[3]中的方法。

      本文方法与对比方法的比较效果如图 13所示。图 13从上到下,分别为4个不同位置采集的裂缝图像,从左到右,为同一位置对应的2D灰度图像、2D灰度图像中裂缝检测效果、3D深度图像、3D深度图像中裂缝检测效果。其中,对于图 13(a)13(b)中具有一定灰度对比特征及深度特征的裂缝,2D及3D方法均能达到准确完整的识别效果。特别地,观察图 13(b)中的灰度及深度图像,发现由于成像原理的不同,采集到的2D灰度图像更易受光照影响,灰度图像中裂缝的清晰程度及显著性都弱于对应的3D深度图像。图 13(c)中是在阴影条件下采集到的裂缝数据,对比可知2D灰度图像受阴影的干扰较大,阴影区域掩盖了部分裂缝,故检测结果中裂缝在阴影区域处发生了断裂现象,而3D数据受阴影干扰较小,检测效果良好。此外,部分较为严重的裂缝周边呈现剥落、积灰淤塞裂缝现象,使得在2D图像中该区域的较宽裂缝与路面背景具有较强的相似性,即2D图中常见的“白裂缝”。“白裂缝”与路面背景过低的灰度对比度加大了二维裂缝识别的难度,如图 13(d)二维灰度图像裂缝检测不够完整。但是,由于3D数据不受裂缝与路面比较灰度对比度的影响,裂缝检测相对完整。

      图  13  2D与3D测量数据裂缝检测结果

      Figure 13.  Crack Detection Based on 2D Optical Images and 3D Depth Images

      综合以上实验及分析可知,相比于传统2D裂缝检测方法,本文提出的3D路面裂缝检测方法能克服路面阴影、光照不均、油污等干扰因素的影响,规避了灰度对比度差情况下难以完整精确检测裂缝的问题,能够有效地提高路面裂缝识别率和精确程度。

    • 由于裂缝类损坏为微观损坏,路面变形类损坏为相对宏观损坏,故裂缝类损坏识别本身对测量系统的精度要求更高,在路面裂缝检测算法中验证了其对环境光、测量速度具备良好的适应性,故此处不再详细验证变形类损坏检测中对环境光、测量速度的适应性,本节从本文方法对不同类型变形损坏的检测效果进行实际数据验证。

      本文选取包含不同变形损坏的3D激光断面数据集进行测试,数据中主要包括拥包、车辙、坑槽、沉陷等4种变形损坏类型。部分测试结果如图 14所示,其中变形损坏检测结果(损坏面积A≥0.1 m2,深度E≥10 mm)在对应位置用红色线进行标记。为了真实反映路面,图 14中3D数据均为经过去除断面测量姿态的三维深度转灰度图像。

      图  14  本文方法对不同类型变形损坏的检测效果

      Figure 14.  Deformation-Defect Detection Using the Proposed Method

      为了进一步验证本文方法的有效性,对含有井盖的路面进行检测,由于井盖的面积大于0.1 m2,且深度大于10 mm, 利用本文算法也能检测出路面的井盖位置,检测效果如图 15所示。

      图  15  本文方法对路面井盖的检测效果

      Figure 15.  Detection of Well Covers Using the Proposed Method

      图 14图 15可知,路面变形类损坏检测方法对拥包、车辙、坑槽、沉陷、井盖均能进行较好的识别。

    • 本文分析了传统二维光学成像在路面破损检测中的不足,提出了基于三维激光断面扫描的路面破损检测方法,针对路面常见的裂缝类损坏和变形类损坏,利用激光线扫描传感器及装备在正常行车速度下获取了高精度的路面三维信息,基于3D激光的断面数据实现了路面裂缝检测和变形类损坏检测。基于3D激光的断面数据包含路面控制轮廓、路面纹理、路面破损、姿态及噪声数据的特性,通过频域方法分离纹理并提取路面控制轮廓,利用空域方法对断面数据提取裂缝疑似数据,在此基础上采用机器学习和图论方法实现裂缝检测。变形类损坏检测方法采用计算路面标准轮廓,基于标准轮廓和测量断面差异提取疑似损坏数据,形成损坏二值图像再进行变形损坏定位和分类,实现对拥包、车辙、坑槽和沉陷等常见变形损坏的识别。

      大量实验统计表明,在不同测量速度下,基于3D路面的裂缝检测方法能较好检测横缝、纵缝、块裂、龟裂、修补等常见裂缝损坏,检测准确率达到96%以上。相比于传统2D裂缝检测方法,本文提出的3D激光断面扫描裂缝检测方法能克服路面阴影、光照不均、油污等干扰因素影响,具有更强的环境适应性,在检测精度和检测效率具有明显优势。此外,通过大量测试3D激光断面样本数据,统计发现本文提出的基于3D激光断面扫描的路面变形类损坏检测算法对拥包、车辙、坑槽、沉陷均能进行较好的识别。

      本文裂缝检测方法依据高程信息而非灰度信息进行裂缝检测,对于高程信号中的细小裂缝检测存在一定缺陷。另一方面,鉴于变形损坏中沉陷损坏的面积范围不定,而数据采集中幅宽和形成的深度图面积有限,可能对于部分面积过大且深度较浅的变形类损坏检测效果不佳,后续如何结合更多信息进行较为宏观的变形类损坏检测是需要进一步考虑的问题。

参考文献 (56)

目录

    /

    返回文章
    返回