基于差分卷积的弱光照车牌图像增强

杨云飞, 汪家明, 吴疆, 程起敏, 王宇

杨云飞, 汪家明, 吴疆, 程起敏, 王宇. 基于差分卷积的弱光照车牌图像增强[J]. 武汉大学学报 ( 信息科学版), 2024, 49(5): 709-714. DOI: 10.13203/j.whugis20220345
引用本文: 杨云飞, 汪家明, 吴疆, 程起敏, 王宇. 基于差分卷积的弱光照车牌图像增强[J]. 武汉大学学报 ( 信息科学版), 2024, 49(5): 709-714. DOI: 10.13203/j.whugis20220345
shu
YANG Yunfei, WANG Jiaming, WU Jiang, CHENG Qimin, WANG Yu. Weak License Plate Image Enhancement Via Differential Convolution[J]. Geomatics and Information Science of Wuhan University, 2024, 49(5): 709-714. DOI: 10.13203/j.whugis20220345
Citation: YANG Yunfei, WANG Jiaming, WU Jiang, CHENG Qimin, WANG Yu. Weak License Plate Image Enhancement Via Differential Convolution[J]. Geomatics and Information Science of Wuhan University, 2024, 49(5): 709-714. DOI: 10.13203/j.whugis20220345
shu

基于差分卷积的弱光照车牌图像增强

  • 1.

    清华大学计算机科学与技术系,北京,100084

  • 2.

    武汉大学测绘遥感信息工程国家重点实验室,湖北武汉,430079

  • 3.

    中科控股集团科学技术有限公司,北京,100081

  • 4.

    华中科技大学电子信息与通信学院,湖北武汉,430074

基金项目: 

国家自然科学基金重大项目 42090012

江西省03专项及5G项目 20212ABC03A09

珠海市产学研合作项目 ZH22017001210098PWC

四川省关键技术攻关项目 2022YFN0031

广西重点研发计划 2021AB30019

武汉大学知卓时空智能研究基金 ZZJJ202202

详细信息
    作者简介:

    杨云飞,博士生,主要研究方向为视觉感知、复杂控制和人机交互等人工智能领域技术研究及智慧交通应用。yang-yf21@mails.tsinghua.edu.cn

  • 中图分类号: P237

Weak License Plate Image Enhancement Via Differential Convolution

  • 1.

    Department of Computer Science and Technology, Tsinghua University, Beijing100084, China

  • 2.

    State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University,Wuhan430079, China

  • 3.

    Zhongke Holding Group Science and Technology Co. Ltd, Beijing100081, China

  • 4.

    School of Electronic Information and Communication, Huazhong University of Science and Technology, Wuhan430074, China

HTML全文

    摘要
  • 摘要:

    车牌识别作为现代化智能交通系统中重要的环节,对提升路网效率以及缓解城市交通压力等问题具有重要的社会意义,然而弱光照车牌图像识别仍然具有重大的挑战。构建了一个基于差分卷积神经网络的弱光照车牌图像增强网络,将车牌的纹理信息解耦为水平垂直和对角线两个方向,对不同尺度空间的低照度图像进行纹理增强。为了避免增强结果局部过曝或低曝,该方法使用YCbCr颜色空间的损失函数来优化模型。图像增强实验结果表明,所提出的方法较传统的低照度图像增强方法相比,图像客观质量结果峰值信噪比提升了0.47 dB。同时,在仿真车牌和真实场景的车牌识别实验结果也证明了所提算法对于低照度图像感知质量提升的有效性。

    Abstract:
    Objectives 

    As an essential part of the modern intelligent transportation system, license plate recognition is of great social significance to improve the efficiency of the road networks and alleviate urban traffic pressure. however, it is still a great challenge to weak illumination license plate image recognition algorithm.

    Methods 

    A weak illumination license plate image enhancement network based on differential convolution neural network is constructed, the texture information of the license plate is decoupled into horizontal vertical and diagonal directions, and the texture of low illumination images in different scale-spaces is enhanced. In order to avoid local overexposure or low exposure of the enhancement results, this method uses the loss function of the YCbCr color space to optimize the model.

    Results 

    The results of image enhancement experiments show that compared with the traditional low-intensity image enhancement methods, the objective image quality result peak signal-to-noise ratio improves 0.47 dB.

    Conclusions 

    At the same time, the experimental results also prove the effectiveness of this algorithm in recognition of composite license plates and real scene license plates for the improvement of low-illumination image perception quality.

    • HTML全文

  • http://ch.whu.edu.cn/cn/article/doi/10.13203/j.whugis20220345

  • 图  1   弱光照车牌图像

    Figure  1.   Low-Light License Plate Images

    下载: 全尺寸图片 幻灯片

    图  2   差分卷积

    Figure  2.   Difference Convolution

    下载: 全尺寸图片 幻灯片

    图  3   基于差分卷积的图像增强网络

    Figure  3.   Difference Convolution-Based Image Enhancement Network

    下载: 全尺寸图片 幻灯片

    图  4   通道注意力机制模块

    Figure  4.   Residual Channel Attention Block

    下载: 全尺寸图片 幻灯片

    图  5   生成的弱光照图像效果图

    Figure  5.   The Generated Low-Light Images

    下载: 全尺寸图片 幻灯片

    图  6   低照度增强结果图

    Figure  6.   Low Illumination Enhancement Results

    下载: 全尺寸图片 幻灯片

    表  1   低照度图像增强网络的实验结果对比

    Table  1   Comparison of Experimental Results of Low Illumination Enhancement Networks

    方法PSNR /dBSSIMFSIM
    低照度图像15.680.769 30.837 3
    LLCNN[19]24.000.950 80.944 3
    RDN[20]25.660.966 70.960 6
    SCI[21]25.950.966 90.970 4
    本文方法26.420.967 00.971 2
    下载: 导出CSV

    表  2   图像增强对车牌识别准确率的影响

    Table  2   Influence of Image Enhancement on the Accuracy of Vehicle License Plate Recognition

    统计项准确率/%
    增强前32
    本文方法增强后38
    真值50
    下载: 导出CSV

    表  3   车牌识别结果

    Table  3   Results of Vehicle License Plate Recognition

    统计项真值低照度图像增强图像
    合成数据
    预测结果川AHJ841HAHJ84川AHJ841
    置信度0.9490.8950.89
    合成数据
    预测结果无UA8W8Y3鄂A8W8Y3
    置信度0.7190.65
    下载: 导出CSV
    • 参考文献(21)
  • [1] 郭士鑫, 张豪. 嵌入式设备实现弱光车牌图像识别[J]. 计算机与数字工程, 2022, 50（4）： 881-886.

    Guo Shixin, Zhang Hao. Embedded Device Realizes Low Light License Plate Image Recognition [J]. Computer & Digital Engineering, 2022, 50（4）： 881-886.
    [2]

    Lü F, Li Y, Lu F. Attention Guided Low-Light Image Enhancement with a Large-Scale Low-Light Simulation Dataset[J]. International Journal of Computer Vision, 2021, 129（7）： 2175-2193.
    [3]

    Celik T, Tjahjadi T. Contextual and Variational Contrast Enhancement[J]. IEEE Transactions on Image Processing, 2011, 20（12）： 3431-3441.
    [4]

    Nakai K, Hoshi Y, Taguchi A. Color Image Contrast Enhancement Method Based on Differential Intensity/Saturation Gray-Levels Histograms[C]// IEEE International Symposium on Intelligent Signal Processing and Communication Systems, Naha, Japan,2013.
    [5]

    Jobson D J, Rahman Z, Woodell G A. Properties and Performance of a Center/Surround Retinex[J]. IEEE Transactions on Image Processing, 1997, 6（3）： 451-462.
    [6]

    Jobson D J, Rahman Z, Woodell G A. A Multiscale Retinex for Bridging the Gap Between Color Images and the Human Observation of Scenes[J]. IEEE Transactions on Image Processing, 1997, 6（7）： 965-976.
    [7] 邵振峰, 白云, 周熙然. 改进多尺度 Retinex 理论的低照度遥感影像增强方法[J]. 武汉大学学报（信息科学版）, 2015, 40（1）： 32-39.

    Shao Zhenfeng, Bai Yun, Zhou Xiran. Improved Multi-scale Retinex Image Enhancement of Under Poor Illumination [J]. Geomatics and Information Science of Wuhan University, 2015, 40（1）： 32-39.
    [8]

    Tu Z G, Li H Y, Zhang D J, et al. Action-Stage Emphasized Spatiotemporal VLAD for Video Action Recognition[J]. IEEE Transactions on Image Processing, 2019,28（6）： 2799-2812.
    [9]

    Tu Z G, Xie W, Dauwels J, et al. Semantic Cues Enhanced Multi-modality Multi-stream CNN for Action Recognition[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2019, 29（5）： 1423-1437.
    [10]

    Wang J, Shao Z, Huang X, et al. A Dual-Path Fusion Network for Pan-Sharpening[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021,60：1-14.
    [11]

    Zhang R, Newsam S, Shao Z, et al. Multi-scale Adversarial Network for Vehicle Detection in UAV Imagery[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2021, 180： 283-295.
    [12]

    Lore K G, Akintayo A, Sarkar S. LLNet： A Deep Autoencoder Approach to Natural Low-Light Image Enhancement[J]. Pattern Recognition, 2017, 61： 650-662.
    [13]

    Wei C, Wang W, Yang W, et al. Deep Retinex Decomposition for Low-Light Enhancement[J]. Computer Vision and Pattern Recognition,arXiv：1808.04560, 2018.
    [14]

    Lü F, Lu F, Wu J, et al. MBLLEN： Low-Light Image/Video Enhancement Using CNNs[C]// The British Machine Vision Conference, Newcastle, UK,2018.
    [15]

    Ren W, Liu S, Ma L, et al. Low-Light Image Enhancement via a Deep Hybrid Network[J]. IEEE Transactions on Image Processing, 2019, 28（9）： 4364-4375.
    [16]

    Jiang Y, Gong X, Liu D, et al. EnlightenGAN： Deep Light Enhancement Without Paired Supervision[J]. IEEE Transactions on Image Processing, 2021, 30： 2340-2349.
    [17]

    Yu Z, Zhao C, Wang Z, et al. Searching Central Difference Convolutional Networks for Face Anti-spoofing[C]// IEEE Conference on Computer Vision and Pattern Recognition, Seattle, WA, USA, 2020.
    [18]

    He K, Zhang X, Ren S, et al. Deep Residual Learning for Image Recognition[C]// IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA,2016.
    [19]

    Tao L, Zhu C, Xiang G, et al. LLCNN： A Convolutional Neural Network for Low-Light Image Enhancement[C]// IEEE Visual Communications and Image Processing, Petersburg, Florida, Usa,2017.
    [20]

    Zhang Y, Tian Y, Kong Y, et al. Residual Dense Network for Image Super-Resolution[C]// IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA,2018.
    [21]

    Ma L, Ma T, Liu R, et al. Toward Fast, Flexible, and Robust Low-Light Image Enhancement[C]// IEEE Conference on Computer Vision and Pattern Recognition, New Orleans, LA, USA,2022.
    • 相关文章
    • 施引文献(58)

  • 期刊类型引用(28)

    1. 吕峥，孙群，温伯威，张付兵，马京振. 顾及形状相似性的道路与居民地协同化简方法. 地球信息科学学报. 2024(05): 1270-1282 . 百度学术
    2. 铁占琦. 利用改进的Hausdorff距离匹配多尺度线要素. 地理空间信息. 2024(05): 62-65 . 百度学术
    3. 王庆社，王雅欣，姜青香，郭思慧. “天地图·北京”多源道路数据融合关键技术研究. 北京测绘. 2024(06): 874-879 . 百度学术
    4. 陈钉均，梁芮嘉. 基于特征聚类驾驶员服从度跟驰模型参数标定. 计算机仿真. 2024(10): 126-132 . 百度学术
    5. 齐杰，王中辉，李驿言. 基于图卷积神经网络的道路网匹配. 测绘通报. 2023(12): 19-24+44 . 百度学术
    6. 吴冰娇，王中辉，杨飞. 用于多尺度道路网匹配的语义相似性计算模型. 测绘科学. 2022(03): 166-173 . 百度学术
    7. 蒋阳升，俞高赏，胡路，李衍. 基于聚类站点客流公共特征的轨道交通车站精细分类. 交通运输系统工程与信息. 2022(04): 106-112 . 百度学术
    8. 周秀华，李乃强. 基于多种相似度特征的道路实体融合方法. 测绘通报. 2021(08): 102-105+157 . 百度学术
    9. 秦育罗，宋伟东，张在岩，孙小荣. 顾及几何特征和拓扑连续性的道路网匹配方法. 测绘通报. 2021(08): 55-60 . 百度学术
    10. 杨飞，王中辉. 河系几何相似性的层次度量方法. 地球信息科学学报. 2021(12): 2139-2150 . 百度学术
    11. 程绵绵，孙群，季晓林，赵云鹏. 改进平均Fréchet距离法及在化简评价中的应用. 测绘科学. 2020(03): 170-177 . 百度学术
    12. 赵元棣，田英杰，吴佳馨. 航空器飞行轨迹相似性度量及聚类分析. 中国科技论文. 2020(02): 249-254 . 百度学术
    13. Wenyue GUO，Anzhu YU，Qun SUN，Shaomei LI，Qing XU，Bowei WEN，Yuanfu LI. A Multisource Contour Matching Method Considering the Similarity of Geometric Features. Journal of Geodesy and Geoinformation Science. 2020(03): 76-87 . 必应学术
    14. 秦育罗，郭冰，孙小荣. 改进Hausdorff距离及其在多尺度道路网匹配中的应用. 测绘科学技术学报. 2020(03): 313-318 . 百度学术
    15. 郝志伟，李成名，殷勇，武鹏达，吴伟. 一种基于Fréchet距离的断裂等高线内插算法. 测绘通报. 2019(01): 65-68+74 . 百度学术
    16. 郭文月，刘海砚，孙群，余岸竹，丁梓越. 顾及几何特征相似性的多源等高线匹配方法. 测绘学报. 2019(05): 643-653 . 百度学术
    17. 宗琴，彭荃，秦万英. 一种基于模糊矩阵的空间面对象相似性度量算法. 北京测绘. 2019(10): 1218-1221 . 百度学术
    18. 李兆兴，翟京生，武芳. 线要素综合的形状相似性评价方法. 武汉大学学报(信息科学版). 2019(12): 1859-1864 . 百度学术
    19. 周家新，陈建勇，单志超，陈长康. 航空磁探中潜艇目标的联合估计检测方法研究. 兵工学报. 2018(05): 833-840 . 百度学术
    20. 郭宁宁，盛业华，吕海洋，黄宝群，张思阳. 径向基函数神经网络的路网自动匹配算法. 测绘科学. 2018(03): 45-50 . 百度学术
    21. 张瀚，李静，吕品，徐永志，刘格林. 六角格网的弧线矢量数据量化拟合方法. 计算机辅助设计与图形学学报. 2018(04): 557-567 . 百度学术
    22. 邵世维，刘辉，肖立霞，王恒. 一种基于Fréchet距离的复杂线状要素匹配方法. 武汉大学学报(信息科学版). 2018(04): 516-521 . 百度学术
    23. 苏满佳，张逸鸿，谢荣臻，朱海飞，管贻生，毛世鑫. 连续软体机器人的结构范型与形态复现. 机器人. 2018(05): 640-647+672 . 百度学术
    24. 宗琴，姜树辉，刘艳霞. 多尺度矢量地图中模糊相似变换及其度量模型. 测绘科学. 2018(11): 72-78 . 百度学术
    25. 郭文月，刘海砚，孙群，余岸竹，季晓林. 利用最长公共子序列度量线要素相似性的方法. 测绘科学技术学报. 2018(05): 518-523 . 百度学术
    26. 郭宁宁，盛业华，黄宝群，吕海洋，张思阳. 基于人工神经网络的多特征因子路网匹配算法. 地球信息科学学报. 2016(09): 1153-1159 . 百度学术
    27. 杨亚辉. 利用几何相似性快速测量鱼重的数学模型. 电子技术与软件工程. 2016(20): 182-183 . 百度学术
    28. 逯跃锋，张奎，刘硕，吴跃，赵硕，李强，冯晨. 一种基于斜率差和方位角的矢量数据匹配算法. 山东大学学报(工学版). 2016(06): 31-39 . 百度学术

    其他类型引用(30)

    • 资源附件(0)
图(6)  /  表(3)
计量
  • 文章访问数:  812
  • HTML全文浏览量:  139
  • PDF下载量:  129
  • 被引次数: 58
出版历程
  • 收稿日期:  2022-06-06
  • 网络出版日期:  2023-01-17
  • 刊出日期:  2024-05-04

目录

摘要
HTML全文
    参考文献(21)
    相关文章
    施引文献
    资源附件(0)

    /

    返回文章
    返回

    版权所有 © 2013 《武汉大学学报·信息科学版》编辑部

    地址：武汉大学文理学部本科生院楼北5楼邮政编码：430072

    电话：027-68778465,68788631E-mail:whuxxb@vip.163.com

    我要投稿

    投稿攻略

    联系我们

    二维码

    本系统由北京仁和汇智信息技术有限公司开发  百度统计