Message Board

Respected readers, authors and reviewers, you can add comments to this page on any questions about the contribution, review,        editing and publication of this journal. We will give you an answer as soon as possible. Thank you for your support!

Name
E-mail
Phone
Title
Content
Verification Code
Volume 47 Issue 5
May  2022
Turn off MathJax
Article Contents

ZHOU Xiran, LI Deren, XUE Yong, WANG Yunjia, SHAO Zhenfeng. Intelligent Map Image Recognition and Understanding: Representative Features, Methodology and Prospects[J]. Geomatics and Information Science of Wuhan University, 2022, 47(5): 641-650. doi: 10.13203/j.whugis20210300
Citation: ZHOU Xiran, LI Deren, XUE Yong, WANG Yunjia, SHAO Zhenfeng. Intelligent Map Image Recognition and Understanding: Representative Features, Methodology and Prospects[J]. Geomatics and Information Science of Wuhan University, 2022, 47(5): 641-650. doi: 10.13203/j.whugis20210300

Intelligent Map Image Recognition and Understanding: Representative Features, Methodology and Prospects

doi: 10.13203/j.whugis20210300
Funds:

The National Natural Science Foundation of China 41871260

The National Natural Science Foundation of China 42090012

The National Natural Science Foundation of China 41771452

The National Natural Science Foundation of China 41771454

More Information
  • Author Bio:

    ZHOU Xiran, PhD, majors in geospatial artificial intelligence and remote sensing intelligent interpretation. E-mail: xrzhou@cumt.edu.cn

  • Corresponding author: LI Deren, professor, Academician of Chinese Academy of Sciences, Academician of Chinese Academy of Engineering, Academician of Euro-Asia International Academy of Sciences. E-mail: drli@whu.edu.cn
  • Received Date: 2022-02-11
  • Publish Date: 2022-05-05
  •   Objectives  The rapid development of cartographical and communication technologies makes the public free to create, publish, edit and share their map image resources and products with various platforms and tools. These map images are remarkably ubiquitous in terms of map content, mapping standards, and other aspects, which poses a big challenge to establishing massive well-annotated map image data. Thus, although the state-of-the-art deep learning methods have made a breakthrough in recognizing the standard‍ized maps, they are still intrinsically unqualified to effectively address map image recognition and understanding due to the inadequate well-labeled map images.  Methods  This paper summarizes the progress and challenges regarding map image recognition and discusses the theoretical configurations and potential geospatial artificial intelligence (GeoAI) techniques for efficient map image recognition and understanding. We propose the map features for deep learning models to represent map image content. Then, we explore the promising methodologies for map image content recognition and the possible semantic analysis methods for map image understanding. Subsequently, we prospect several implementations regarding map image recognition and understanding and their future potentials.  Results  In our opinion, further investigation on theories and methods for map image representation is essential. Moreover, fully utilizing the values of map im‍ages depends upon recognizing the explicit content (map image perception) and mining the hidden semantics (map cognition).  Conclusions  We hope our exploration can contribute to the cartographical community offering a GeoAI and data representation integrated perspective on map image utilization.
  • [1] Clarke K C, Johnson J M, Trainor T. Contemporary American Cartographic Research: A Review and Prospective[J]. Cartography and Geographic Information Science, 2019, 46(3): 196-209 doi:  10.1080/15230406.2019.1571441
    [2] Abend P, Harvey F. Maps as Geomedial Action Spaces: Considering the Shift from Logocentric to Egocentric Engagements[J]. GeoJournal, 2017, 82 (1): 171-183 doi:  10.1007/s10708-015-9673-z
    [3] 孟立秋. 地图学和地图何去何从[J]. 测绘科学技术学报, 2013, 30(4): 334-342 doi:  10.3969/j.issn.1673-6338.2013.04.002

    Meng Liqiu. Cartography and Maps-Where to Go [J]. Journal of Geomatics Science and Technology, 2013, 30(4): 334-342 doi:  10.3969/j.issn.1673-6338.2013.04.002
    [4] 曾兴国, 任福, 杜清运, 等. 公众参与式地图制图服务的设计与实现[J]. 武汉大学学报·信息科学版, 2013, 38(8): 950-953 http://ch.whu.edu.cn/article/id/2709

    Zeng Xingguo, Ren Fu, Du Qingyun, et al. Design and Implementation of Public Participation Web Cartographic Services[J] Geomatics and Information Science of Wuhan University, 2013, 38 (8) : 950-953 http://ch.whu.edu.cn/article/id/2709
    [5] 艾廷华. 大数据驱动下的地图学发展[J]. 测绘地理信息, 2016, 41(2): 1-7 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXG201602002.htm

    Ai Tinghua. Development of Cartography Driven by Big Data[J]. Journal of Geomatics, 2016, 41(2): 1-7 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXG201602002.htm
    [6] 王家耀. 时空大数据时代的地图学[J]. 测绘学报, 2017, 46(10): 1226-1237 doi:  10.11947/j.AGCS.2017.20170308

    Wang Jiayao. Cartography in the Age of SpatioTemporal Big Data[J]. Acta Geodaetica et Cartographica Sinica, 2017, 46(10): 1226-1237 doi:  10.11947/j.AGCS.2017.20170308
    [7] Robinson A C, Demšar U, Moore A B, et al. Geospatial Big Data and Cartography: Research Challenges and Opportunities for Making Maps that Matter[J]. International Journal of Cartography, 2017, 3(sup1): 32-60 doi:  10.1080/23729333.2016.1278151
    [8] Usher N. News Cartography and Epistemic Authority in the Era of Big Data: Journalists as Map -Makers, Map-Users, and Map-Subjects[J]. New Media & Society, 2020, 22(2): 247-263
    [9] 李德仁. 展望大数据时代的地球空间信息学[J]. 测绘学报, 2016, 45(4): 379-384 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201604002.htm

    Li Deren. Towards Geo-Spatial Information Science in Big Data Era[J]. Acta Geodaetica et Cartographica Sinica, 2016, 45(4): 379-384 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201604002.htm
    [10] 郭仁忠, 陈业滨, 赵志刚, 等. 泛地图学理论研究框架[J]. 测绘地理信息, 2021, 46(1): 9-15 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXG202101004.htm

    Guo Renzhong, Chen Yebin, Zhao Zhigang, et al. A Theoretical Framework for the Study of Pan-Maps [J]. Journal of Geomatics, 2021, 46(1): 9-15 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXG202101004.htm
    [11] Li H, Liu J, Zhou X. Intelligent Map Reader: A Framework for Topographic Map Understanding with Deep Learning and Gazetteer[J]. IEEE Access, 2018, 6: 25363-25376 doi:  10.1109/ACCESS.2018.2817778
    [12] Wabiński J, Mościcka A. Automatic(Tactile)Map Generation: A Systematic Literature Review[J]. ISPRS International Journal of Geo-Information, 2019, 8(7), DOI: org/ 10.3390/ijgi8070293
    [13] Wright D J, Wang S. The Emergence of Spatial Cyberinfrastructure[J]. Proceedings of the National Academy of Sciences of the United States of America, 2011, 108(14): 5488-5491 doi:  10.1073/pnas.1103051108
    [14] Elwood S, Goodchild M F, Sui D. Researching Volunteered Geographic Information: Spatial Data, Geographic Research, and New Social Practice[J]. Annals of the Association of American Geographers, 2012, 102(3): 571-590 doi:  10.1080/00045608.2011.595657
    [15] Rautenbach V, Coetzee S, Iwaniak A. Orchestrating OGC Web Services to Produce Thematic Maps in a Spatial Information Infrastructure[J]. Computers, Environment and Urban Systems, 2013, 37: 107-120 doi:  10.1016/j.compenvurbsys.2012.08.001
    [16] Chiang Y Y, Leyk S, Nazari N H, et al. Assessing the Impact of Graphical Quality on Automatic Text Recognition in Digital Maps[J]. Computers & Geosciences, 2016, 93: 21-35
    [17] Miao Q, Liu T, Song J, et al. Guided Superpixel Method for Topographic Map Processing[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(11): 6265-6279 doi:  10.1109/TGRS.2016.2567481
    [18] Liu T, Xu P, Zhang S. A Review of Recent Advances in Scanned Topographic Map Processing[J]. Neurocomputing, 2019, 328: 75-87 doi:  10.1016/j.neucom.2018.02.102
    [19] 任福, 侯宛玥. 面向机器阅读的地图名称注记类别识别方法[J]. 武汉大学学报·信息科学版, 2020, 45(2): 273-280 doi:  10.13203/j.whugis20180503

    Ren Fu, Hou Wanyue. Identification Method of Map Name Annotation Category for Machine Reading[J]. Geomatics and Information Science of Wuhan University, 2020, 45(2): 273-280 doi:  10.13203/j.whugis20180503
    [20] Pezeshk A, Tutwiler R L. Automatic Feature Extraction and Text Recognition from Scanned Topographic Maps[J]. IEEE Transactions on Geoscience and Remote Sensing, 2011, 49(12): 5047-5063 doi:  10.1109/TGRS.2011.2157697
    [21] Zhou X. GeoAI-Enhanced Techniques to Support Geographical Knowledge Discovery from Big Geospatial Data[D]. Tempe, USA: Arizona State University, 2019
    [22] Zhou X, Li W, Arundel S T, et al. Deep Convolutional Neural Networks for Map-Type Classification [EB/OL]. [2018-05-26]. https://arxiv.org/abs/1805.10402
    [23] Uhl J H, Leyk S, Chiang Y Y, et al. Automated Extraction of Human Settlement Patterns from Historical Topographic Map Series Using Weakly Supervised Convolutional Neural Networks[J]. IEEE Access, 2019, 8: 6978-6996
    [24] Courtial A, El Ayedi A, Touya G, et al. Exploring the Potential of Deep Learning Segmentation for Mountain Roads Generalisation[J]. ISPRS International Journal of Geo-Information, 2020, 9(5), DOI:  10.3390/ijgi9050338
    [25] 李德仁. 脑认知与空间认知: 论空间大数据与人工智能的集成[J]. 武汉大学学报·信息科学版, 2018, 43(12): 1761-1767 doi:  10.13203/j.whugis20180411

    Li Deren. Brain Cognition and Spatial Cognition: On Integration of Geo-Spatial Big Data and Artificial Intelligence[J]. Geomatics and Information Science of Wuhan University, 2018, 43(12): 1761-1767 doi:  10.13203/j.whugis20180411
    [26] 李德仁, 徐小迪, 邵振峰. 论万物互联时代的地球空间信息学[J]. 测绘学报, 2022, 51(1): 1-8 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB202201001.htm

    Li Deren, Xu Xiaodi, Shao Zhenfeng. On Geospatial Information Science in the Era of IoE[J]. Acta Geodaetica et Cartographica Sinica, 2022, 51(1): 1-8 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB202201001.htm
    [27] Chiang Y Y, Leyk S, Knoblock C A. A Survey of Digital Map Processing Techniques[J]. ACM Computing Surveys, 2014, 47(1), DOI:  10.1145/2557423
    [28] Chiang Y Y, Knoblock C A. Recognizing Text in Raster Maps[J]. GeoInformatica, 2015, 19(1), DOI: org/ 10.1007/s10707-014-0203-9
    [29] Li Z, Huang P. Quantitative Measures for Spatial Information of Maps[J]. International Journal of Geographical Information Science, 2002, 16(7): 699-709 doi:  10.1080/13658810210149416
    [30] Power C, Simms A, White R. Hierarchical Fuzzy Pattern Matching for the Regional Comparison of Land Use Maps[J]. International Journal of Geographical Information Science, 2001, 15(1): 77-100 doi:  10.1080/136588100750058715
    [31] Fritz S, See L. Comparison of Land Cover Maps Using Fuzzy Agreement[J]. International Journal of Geographical Information Science, 2005, 19(7): 787-807 doi:  10.1080/13658810500072020
    [32] Stadler C, Lehmann J, Höffner K, et al. LinkedGeoData: A Core for a Web of Spatial Open Data [J]. Semantic Web, 2012, 3(4): 333-354 doi:  10.3233/SW-2011-0052
    [33] Sun K, Zhu Y, Pan P, et al. Geospatial Data Ontology: The Semantic Foundation of Geospatial Data Integration and Sharing[J]. Big Earth Data, 2019, 3 (3): 269-296 doi:  10.1080/20964471.2019.1661662
    [34] Kokla M, Guilbert E. A Review of Geospatial Semantic Information Modeling and Elicitation Approaches[J]. ISPRS International Journal of Geo-Information, 2020, 9(3): 146 doi:  10.3390/ijgi9030146
    [35] Goodchild M F, Hill L L. Introduction to Digital Gazetteer Research[J]. International Journal of Geographical Information Science, 2008, 22(10): 1039-1044 doi:  10.1080/13658810701850497
    [36] Cardoso S D, Amanqui F K, Serique K J A, et al. SWI: A Semantic Web Interactive Gazetteer to Support Linked Open Data[J]. Future Generation Computer Systems, 2016, 54: 389-398 doi:  10.1016/j.future.2015.05.006
    [37] Uhl J H, Leyk S, Chiang Y Y, et al. Map Archive Mining: Visual-Analytical Approaches to Explore Large Historical Map Collections[J]. ISPRS International Journal of Geo-Information, 2018, 7(4), DOI: org/ 10.3390/ijgi7040148
    [38] Usery E L, Varanka D. Design and Development of Linked Data from the National Map[J]. Semantic Web, 2012, 3(4): 371-384 doi:  10.3233/SW-2011-0054
    [39] Janowicz K, Keßler C. The Role of Ontology in Im proving Gazetteer Interaction[J]. International Journal of Geographical Information Science, 2008, 22 (10): 1129-1157 doi:  10.1080/13658810701851461
    [40] Li C, Liu P, Yin J, et al. The Concept, Key Technologies and Applications of Temporal-Spatial Information Infrastructure[J]. Geo-Spatial Information Science, 2016, 19(2): 148-156 doi:  10.1080/10095020.2016.1179440
    [41] Battle R, Kolas D. Enabling the Geospatial Semantic Web with Parliament and GeoSPARQL[J]. Semantic Web, 2012, 3(4): 355-370 doi:  10.3233/SW-2012-0065
    [42] Li D, Yu W, Shao Z. Smart City Based on Digital Twins[J]. Computational Urban Science, 2021, 1 (1), DOI: org/ 10.1007/s43762-021-00005-y
    [43] Li D, Shao Z, Zhang R. Advances of Geo-Spatial Intelligence at LIESMARS[J]. Geo-Spatial Information Science, 2020, 23(1): 40-51 doi:  10.1080/10095020.2020.1718001
    [44] Saeedimoghaddam M, Stepinski T F. Automatic Extraction of Road Intersection Points from USGS Historical Map Series Using Deep Convolutional Neural Networks[J]. International Journal of Geographical Information Science, 2020, 34(5): 947-968 doi:  10.1080/13658816.2019.1696968
    [45] James L A, Hodgson M E, Ghoshal S, et al. Geomorphic Change Detection Using Historic Maps and DEM Differencing: The Temporal Dimension of Geospatial Analysis[J]. Geomorphology, 2012, 137 (1): 181-198 doi:  10.1016/j.geomorph.2010.10.039
    [46] 张博, 张猛, 王非, 等. VGI数据与地形图数据的自动融合研究[J]. 武汉大学学报·信息科学版, 2019, 44 (11): 1708-1714 doi:  10.13203/j.whugis20180023

    Zhang Bo, Zhang Meng, Wang Fei, et al. Automatic Data Integration Between VGI and Topographic Data[J]. Geomatics and Information Science of Wuhan University, 2019, 44(11): 1708-1714 doi:  10.13203/j.whugis20180023
    [47] Chen X, Chen S, Xu T, et al. SMAPGAN: Generative Adversarial Network-Based Semisupervised Styled Map Tile Generation Method[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(5): 4388-4406 doi:  10.1109/TGRS.2020.3021819
    [48] Shen Y, Ai T, Li J, et al. A Tile-Map-Based Method for the Typification of Artificial Polygonal Water Areas Considering the Legibility[J]. Computers & Geosciences, 2020, 143: 104552
    [49] Shen Y, Ai T, Li J, et al. A Progressive Method for the Collapse of River Representation Considering Geographical Characteristics[J]. International Journal of Digital Earth, 2020, 13(12): 1366-1390 doi:  10.1080/17538947.2020.1715495
    [50] 黄龙, 吴佳桐. 图像识别在互联网"问题地图"监控中的应用[J]. 测绘通报, 2020(6): 145-148 https://www.cnki.com.cn/Article/CJFDTOTAL-CHTB202006030.htm

    Huang Long, Wu Jiatong. Application of Image Recognition in Internet"Problem Map"Monitoring [J]. Bulletin of Surveying and Mapping, 2020(6): 145-148 https://www.cnki.com.cn/Article/CJFDTOTAL-CHTB202006030.htm
  • 加载中
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

Figures(5)

Article Metrics

Article views(901) PDF downloads(276) Cited by()

Related
Proportional views

Intelligent Map Image Recognition and Understanding: Representative Features, Methodology and Prospects

doi: 10.13203/j.whugis20210300
Funds:

The National Natural Science Foundation of China 41871260

The National Natural Science Foundation of China 42090012

The National Natural Science Foundation of China 41771452

The National Natural Science Foundation of China 41771454

  • Author Bio:

  • Corresponding author: LI Deren, professor, Academician of Chinese Academy of Sciences, Academician of Chinese Academy of Engineering, Academician of Euro-Asia International Academy of Sciences. E-mail: drli@whu.edu.cn

Abstract:   Objectives  The rapid development of cartographical and communication technologies makes the public free to create, publish, edit and share their map image resources and products with various platforms and tools. These map images are remarkably ubiquitous in terms of map content, mapping standards, and other aspects, which poses a big challenge to establishing massive well-annotated map image data. Thus, although the state-of-the-art deep learning methods have made a breakthrough in recognizing the standard‍ized maps, they are still intrinsically unqualified to effectively address map image recognition and understanding due to the inadequate well-labeled map images.  Methods  This paper summarizes the progress and challenges regarding map image recognition and discusses the theoretical configurations and potential geospatial artificial intelligence (GeoAI) techniques for efficient map image recognition and understanding. We propose the map features for deep learning models to represent map image content. Then, we explore the promising methodologies for map image content recognition and the possible semantic analysis methods for map image understanding. Subsequently, we prospect several implementations regarding map image recognition and understanding and their future potentials.  Results  In our opinion, further investigation on theories and methods for map image representation is essential. Moreover, fully utilizing the values of map im‍ages depends upon recognizing the explicit content (map image perception) and mining the hidden semantics (map cognition).  Conclusions  We hope our exploration can contribute to the cartographical community offering a GeoAI and data representation integrated perspective on map image utilization.

ZHOU Xiran, LI Deren, XUE Yong, WANG Yunjia, SHAO Zhenfeng. Intelligent Map Image Recognition and Understanding: Representative Features, Methodology and Prospects[J]. Geomatics and Information Science of Wuhan University, 2022, 47(5): 641-650. doi: 10.13203/j.whugis20210300
Citation: ZHOU Xiran, LI Deren, XUE Yong, WANG Yunjia, SHAO Zhenfeng. Intelligent Map Image Recognition and Understanding: Representative Features, Methodology and Prospects[J]. Geomatics and Information Science of Wuhan University, 2022, 47(5): 641-650. doi: 10.13203/j.whugis20210300
  • 进入21世纪以来,由于测绘制图与通讯技术的发展,人们已经能够借助各种平台和工具实时地自由创建、发布、编辑和共享地图图像大数据资源(如数字化后的纸质地图数字化产品、栅格地图、地图图像等)[1-4],大多数可用的地图图像大数据不再由专业机构绘制和提供,这些地图图像在地图内容、数据来源、绘制标准、设计模式等方面均存在较大的差别。因此,地图图像不仅具有大数据的典型特点[5-8],而且还成为泛源空间大数据的重要部分[9-10]。这意味着传统的人力驱动和人机交互的解译方法已经难以准确提取和识别地图图像大数据中的内容[11-12]。鉴于地图大数据的影响力逐步增强,为有效发挥地图图像资源在日常生活和生产管理中的作用,亟需研究快速、准确识别与理解地图图像内容的理论和方法。

    借助空间网络信息基础设施[13]、志愿地理信息数据[14]、开放地理空间联盟标准[15]等理论和技术的发展,学者们提出通过地图名称、地图要素等地图元数据及地图注释的方法来完成地图图像的识别[16-17],以避开对复杂的地图内容进行处理和分析。诸如谷歌、必应等商业公司均在各自的网络识别平台中实现基于元数据和文件名称的地图图像文件自动识别。然而通过文献[11]的研究发现,不同地图图像的元数据的质量差别十分巨大[1116]。此外,地图元数据和注释源于主观的理解,意味着相同主题和内容的地图图像往往可能被赋予不同的注释或描述,存在语义异构的现象。因此,通过元数据和文件名称难以准确地获取地图图像的复杂细节和内容,无法满足高效获取和利用地图图像大数据的需求。例如,谷歌搜索引擎对于20余种不同主题的地图图像的识别准确度均未能达到70%[11]

    随着深度学习在计算机视觉和计算机图形学中的成功应用,学者们开始探索利用深度学习促进地图图像内容的识别。大多数研究关注如何准确提取地图字符和地图符号,通过文字和符号来描述地图的内容[1116-20]。针对标准绘制的地形图、数字化历史地图、网络地图服务文件等所包含的样式相对统一的字符和符号[21-24],各种类型的深度学习方法(如卷积神经网络、对抗神经网络等)的识别准确度已经能够达到90%以上[23]。然而泛源地图图像中的字符、符号等往往尺度差异大、颜色纹理不一、位置分布随机且排列角度多样,甚至多个地图字符、符号相互重叠。另外,由于受到纸张质量、地图印刷技术、图像格式等限制,数字化后的纸质地图或地图图像产品可能出现地图基本要素缺失、噪声较多、空间分辨率不足的问题。这两方面的特点意味着难以建立规模化的地图图像标注数据,导致依赖于数据标注质量和数量的深度学习模型在地图图像识别上未能取得突破性进展。

    本文根据国内外的相关研究进展与挑战,结合地理空间人工智能技术,从地图图像识别与地图图像理解两个层次,探讨支持泛源地图图像大数据识别的理论与技术框架:(1)定义既能够表达地图图像内容,又能够为模型或算法学习和表征的地图特征;(2)探讨面向泛源、多样、复杂地图图像特征的检测与地图图像内容的识别方法;(3)探讨地图图像潜在语义与隐含知识的挖掘方法,实现地图图像理解;(4)总结和展望基于地图图像大数据识别与理解的相关应用领域。

  • 图 1(a)列出了同一个运动场的不同类型遥感影像和不同类型地图图像。遥感影像是对现实地表的直接反映,不同类型(真彩色)影像中的颜色、纹理、形状等都和现实地表的颜色、纹理、形状等基本相符。图 1(a)中运动场在3‍ ‍种类型遥感影像中基本类似,且影像中的地物(如屋顶、跑道、草地、树林)和现实世界中的对应地物也基本相符。而地图图像则是对现实地表的抽象表达,地图绘制需要顾及美观、直观、信息量等因素。因此,图 1(a)中运动场在不同类型地图图像中的描述差别明显,且地图图像中的地物通常和现实世界中的对应地物有天壤之别。

    Figure 1.  Comparison of Remote Sensing Image Recognition and Map Image Recognition

    遥感影像和地图图像不仅对于地物的描述具有明显差别,而且针对两者内容的识别方法也截然不同。图 1(b)列出了覆盖同一个校园区域的遥感影像和地图图像。遥感影像识别先通过视觉特征提取影像中的地物,再通过语义推理得到识别结果校园景观。而地图图像识别则先通过地图特征提取道路名称、地图中的水域(图形)等,再通过语义推理得到识别结果校园地图(图形)。相比较遥感影像,地图图像虽然无法直接描述和表征现实地表,但也具有一些独到的优势,包括可精确描绘复杂轮廓(如星湖水域的边缘)、可突出表达重要信息(如重要单位的名称)、可绘图展示被遮盖对象(如被树木遮盖的道路)、可空间推测覆盖范围(如通过路名可推断出地图图像覆盖的区域是武汉大学信息学部)等。

  • 地图图像内容的理解除了识别可视觉感知显式信息之外,还需要挖掘隐含的潜在语义。图‍2对比了针对同一幅地图图像的识别结果和理解结果。假设深度学习模型能够准确识别地图图像中的所有地名,综合这些地名,该地图图像识别的结果是江苏省地图。通过进一步的语义分析,这些地名虽然都和江苏省高度相关,但是没有其他类型的地理实体(如湖泊、景点、道路等),由此推理得到,该地图图像理解的结果是江苏省行政区划图。显然,地图图像理解的结果更为符合图 2中地图图像所包含的信息。在地图图像理解的结果中,“行政区划”这一潜在语义隐含在显式的地名信息中,说明地图图像内容可能隐含无法直接被机器发现的潜在地理空间信息,需要进行形式化处理和语义分析。

    Figure 2.  Comparison of Map Image Content Recognition and Map Image Understanding

    因此,地图图像大数据挖掘、识别等任务要同时满足空间感知(地图显式内容的精确识别)和空间认知(地图潜在语义的挖掘)[25-26],且两者融合才能准确、完整满足地图图像理解的要求。

  • 目前,国内外研究关于哪些特征可支持地图图像内容的识别还未形成系统性的共识。以往的研究认为地图字符和地图符号是表征地图内容的关键特征。根据地图大数据的特征[13]、地图学的发展趋势[24]、数字地图图像处理[1827]、数字地图图像使用[11]等领域的研究成果,能表达地图内容的地图特征不仅包括地图字符和符号,地图的颜色和纹理、地图对象的几何形状等也被认为是描述地图内容的重要部分。还有学者关注地图场景、地图空间及地图类型3种特征在地图内容识别中的作用和影响[23-24],认为这些特征属于地图的潜在信息,对于完整地理解地图所包含的信息具有重要的作用。

    本文针对地图图像的特点,面向地图图像识别与理解的要求,提出新的地图特征,并将表征地图内容的特征划分为个体特征、局部特征和全局特征。

  • 1)地图字符。地图字符包括地名、地图注记等地图文本信息,能够直接表达地图图像所包含的地点,因此以往的研究通常将地图字符作为识别地图图像内容的关键特征。通过光学字符识别技术检测和识别地图图像中的字符信息,对字符信息进行归总和整理,以获取地图图像所包含的区域信息[2027-28]

    2)地图符号。地图符号是地图图像描述实体对象的信息载体,能够间接表达地图所包含的实体对象和区域的特点,通常包括点状符号、线状符号、面状符号、注记等。不同国家、组织或部门对同一类别的实体对象或区域的地图符号往往采用不同标准进行设计。因此,地图符号较难直接支撑地图图像内容的识别。

  • 1)地图场景。有学者基于像素尺度或近似像素尺度来开展地图场景的研究[29-31],该尺度的地图场景难以准确描述地图的整体,也无法支持对地图类别的判断。本文所提出的地图场景是基于区域尺度来定义,描述地图图像局部区域所包含的内容,如图 1(a)中的运动场。

    2)地图对象形态。现实世界中一些地物对象的颜色或纹理呈现出特殊的几何形态,通过这些形态可以提炼隐藏的地图图像信息。如图‍ 3‍(a)所示,旧金山的城区形态在6张不同风格、不同类型与不同主题的地图图像中基本一致。在没有地图字符和符号的情况下,可以借助该城区独有的形态来确定这些地图图像的覆盖区域。图 3(b)中是北京的道路网络结构,该网络结构形态在6张不同风格、不同类型与不同主题的地图图像中同样基本一致。在没有地图字符和符号的情况下,同样可以借助道路形态来确定这些地图图像的覆盖区域。

    Figure 3.  Illustration on Object Shape Pattern in Map Image

  • 局部地图特征通常无法表征地图图像的全局,如不同主题的地图图像可能存在相似的地名(地图字符)、注记(地图符号)和道路网络形态(地图对象形态),因此本文提出地图类型这一全局的地图特征以描述和表征地图的全局内容。

    关于地图类型的准确定义还未形成共识,业界提出了各种定义地图类别的标准。本文根据地图的绘图、用途和尺度,提出按地图绘制、地图主题、地图绘色和地图视角4个层级来定义地图类型,具体的地图类型如图 4(a)所示。

    Figure 4.  Illustration on Hierarchical Map Category in Benchmark Map Image Dataset

    与此同时,根据语义上下文的研究[1121],地图类型除可以描述地图图像的内容外,还隐含了潜在信息[22]。如“中国南海地形图”的地图类型定义中,既显式地描述了“中国南海”和“地形”,又包含了地图主题是地形地貌相关这一隐含的信息。

  • 深度学习模型对于特征的提取和学习依赖于高质量标签数据[1123-24],因此利用深度学习识别地图图像的内容,需要建立一个地图图像基准数据库,系统地存储和组织地图图像特征的标注数据。目前,针对地图图像识别的基准数据库研究还较少,本文介绍笔者设计和建立的基准地图图像数据库——deepMap V2,该基准库支持的地图图像特征包括地图字符、地图符号、地图场景和地图类别。由于现有技术对于地图对象形态的自动化提取还存在较大局限,因此现有版本的基准库还没纳入地图对象形态特征的标注数据。

    基准数据库中选择和标注样本数据的原则是尽量扩大同一类地图特征样本的相异度,即同一个地图场景尽可能选择差异较大的样本。同时,尽量缩小不同地图特征样本的相似度,即针对不同地图场景,尽可能分别收集较为类似的样本。建立基准数据库具体流程包括:(1)确定地图场景和地图类型的分类体系;(2)分别从标准和泛源地图图像中收集地图字符、地图符号、地图场景与地图类型的样本,并对地图字符和地图符号进行空间方位和类别的标注;(3)对每一个地图字符、地图符号、地图场景与地图类型的样本进行数据增强(包括翻转、旋转、平移、缩放、裁剪、添加噪声及改变颜色和纹理);(4)将原始的样本和数据增强后的样本合并,形成一套支持深度学习用于地图特征学习的基准地图图像数据库。其中,地图类别的样本如图 4(b)所示,每一个地图样本均按照图 4(a)中的类别层级进行标注。

  • 图 5(a)展示了基于深度学习的地图图像内容识别技术框架,首先,针对不同的地图图像数据集合,分别建立相互独立的基准数据库;然后,基于各自的基准数据库开展模型训练与微调,创建相互独立的深度学习模型,并利用各自的模型完成对应的地图图像识别任务。深度学习依赖于大量高质量的标注数据,且模型具有复杂的网络结构,预训练和微调的过程中需要涉及数以万计参数的动态优化及整个网络结构的变动。对于形式多样、风格繁多的泛源地图图像,难以建立规模化的基准数据库,也无法针对每一类泛源地图图像创建对应的模型,因此现有的深度学习模型难以有效支持地图图像内容的准确识别。为了避免繁琐的数据标注工作和模型训练所需的密集计算量,需要提高模型的泛化能力和可迁移性,实现基于小样本的地图图像识别。

    Figure 5.  Comparison of Deep Learning, Transfer Learning and Meta Learning-Based Approaches for Map Content Recognition

    图 5(b)展示了一种满足基于小样本的地图图像内容识别方法,即基于迁移学习的地图图像内容识别。迁移学习包括基于实例、基于特征、基于模型和基于关系的方法,这些方法分别从待识别地图图像(目标域)和已有图像(源域)中提取域间的相似实例、重合数据特征、通用模型参数或域间相关关系。从源域映射和迁移这些重合的实例、特征、模型或关系来完成目标域的任务。因此,面对新的任务,迁移学习可充分利用现有的深度学习成果,避免建立新的基准数据集和模型。

    图 5(c)展示了另外一种满足基于小样本的地图图像内容识别方法,即基于元学习的地图图像内容识别。首先,元学习提炼不同组地图图像的交叉特征;然后,建立交叉特征的表征元模型,并结合已有的地图图像标注数据,完成不同组地图图像内容的识别。因此,元学习同样不需要建立新的基准数据集和模型,甚至可避免建立原有的深度学习模型。但元学习中交叉特征的提取较为复杂,还未形成成熟的方法体系,可采用多注意力机制的思路,通过多维相关特征的概念化,实现已有地图图像和待识别地图图像之间的映射。

  • 地理信息转化为地理语义和空间知识已经积累较为系统的研究成果,相关技术(如地理本体、地理语义查询和地理空间语义网)成功促进了时空数据互操作、时空模式发现、地理空间知识发现等方面的应用[32-34]。本文根据地理语义分析的成果,分别通过地名录和地图领域本体,探讨地图图像潜在语义挖掘的实现途径。

  • 地名录记录了地图中所包含区域的空间信息、人文社会属性和自然属性[35-36]。地图图像中识别的地名,可通过地名录获取该地名的其他名称、地理位置、地名描述、地名类型等信息,以支撑进一步挖掘地图图像中隐含的语义信息。如“武汉大学”在国家地名信息库(https://dmfw.mca.gov.cn/)中的定义为“武汉”指所在地,“大学”指高等教育场所。当地图图像中识别到“武汉大学”,通过地名库中的定义推断出该地图图像的主题可能是校园地图。文献[11]研究了利用地名录挖掘地图图像的扩展信息,通过美国地名委员会建立的地理名称信息系统获取地图图像地名的行政从属及空间范围,进而推断地图图像的大致覆盖范围等隐含信息。

    由于地名录无法覆盖每一个地名,且难以保证地名相关信息的完整程度和准确度,因此地名录只能分析较为直观、简单的地图图像潜在信息。基于地名录的地图图像识别主要面向于历史地图[37]、统一绘制标准的地形图[11]等,还难以满足泛源地图图像的潜在语义挖掘。

  • 领域知识驱动的地图图像潜在语义挖掘包括两部分:建立地图图像内容相关的地理空间领域知识库;基于该知识库建立支持空间概念表征的语义查询和推理平台。

    1)对应地图图像内容的领域知识库。由于地图图像自身所包含的信息有限,建立地图领域知识库还需要收集相关的扩展信息。这些扩展信息除了官方来源(如地名库)之外,还可以利用丰富的开放地理空间信息(如有研究提出利用现有的连接地理数据和来自社交媒体的志愿地理信息)来扩展地图信息的广度和深度[38-39]。考虑到知识图谱的构建通常需要大量的人力和物力,也有研究提出融合现有不同的地理空间本体模型作为一种扩充知识图谱的可行方法[140]

    地图图像的领域知识库基于地图领域本体和语义网而创建,具体包括以下步骤。

    (1)构建地图图像领域本体。基于地图图像内容和扩展信息确立地图图像的领域本体结构,包括地图图像相关的实体对象和实体对象所对应的类别。对每一个实体对象赋予其对应的地图特征、几何形态(点、线、面、体)和空间坐标,空间坐标指实体对象的像元坐标。

    假设某地图图像中能够提取“星湖”“遥感学院”“武汉大学”3个实体对象,均为地名,因此所赋予的地图特征均为地图字符(地名)。3个实体对象的几何形态都是面状,且空间坐标为包含地图字符的最小外接矩形4个角点像元的位置坐标,分别为{(x11y11),(x12y12)…(x14y14)}、{(x21y21),(x22y22)…(x24y24)}及{(x31y31),(x32y32)…(x34y34)}。3个实体对象对应类别分别为水域、学院和大学。

    (2)定义实体对象与类别的关系集。首先,基于资源描述框架与网络本体语言构建类别之间的层次关系,以及实例对象之间的语义关系;然后,分别定义不同实体对象之间的空间关系,包括空间度量、空间拓扑关系和空间方位关系。

    (3)构建知识库。通过语义网规则语言将实体对象与类别的关系集编码为形式化的语义三元组,形成一个可支持空间关系表达的地图图像知识库,有效描述地图图像中实体对象关于地理位置、空间关系和属性的规则。

    基于步骤(1)的示例中地图图像领域本体的内容,结合步骤(2)中列出的关系类型来定义其关系。可定义的类别层次关系三元组如下:

    geo:池塘rdfs:subClassOf geo:水域

    geo:学院rdfs:subClassOf geo:大学

    geo:大学校区rdfs:subClassOf geo:大学

    可定义的类别-实体对象关系如下:

    carto:池塘rdfs:type geo:池塘

    carto:遥感学院rdfs:type geo:学院

    carto:武大信息学部rdfs:type geo:大学校区

    carto:武汉大学rdfs:type geo:大学

    可定义的实体对象语义关系如下:

    carto:星湖carto:hasCoordinate carto:{(x11y11),(x12y12)…(x1ny1n)}

    carto:遥感学院carto:hasCoordinate carto:{(x21y21),(x22y22)…(x2ny2n)}

    carto:武汉大学carto:hasCoordinate carto:{(x31y31),(x32y32)…(x3ny3n)}

    可定义的实体对象空间关系如下:

    geo:武汉大学geo:contains geo:重点实验室*

    geo:武汉大学geo:contains geo:遥感学院

    geo:武汉大学geo:contains geo:武大信息学部*

    geo:武大信息学部geo:contains geo:重点实验室

    geo:星湖geo:touches geo:重点实验室

    其中,rdfs:、geo:和carto:的前缀分别代表基于资源描述框架、地理空间领域和地图图形所定义的实体对象、关系和类别;“重点实验室”指代“测绘遥感信息工程国家重点实验室”,“遥感学院”指代“遥感信息工程学院”,“武大信息学部”指代“武汉大学信息学部”。

    2)空间概念与逻辑推理耦合的潜在语义挖掘。语义网标准定义了SPARQL协议与资源描述框架查询语言作为语义查询和推理的标准。然而,该标准无法直接支持对空间位置与空间关系的表达。开放地理空间联盟定义了地理空间SPARQL协议与资源描述框架查询语言,以支持扩展地理空间位置与关系的语义查询与分析[41]。基于该标准可以构建空间概念与逻辑推理耦合的地图图像语义挖掘框架。

    基于1)中定义的关系集,本文给出潜在语义挖掘的示例。该地图图像的地名识别结果只有“星湖”“遥感学院”和“武汉大学”,并且基于这些地名的类别‐实体对象关系与实体对象语义关系中也没有“重点实验室”和“武大信息学部”。因此,通过地图图像的内容,无法识别该地图图像是否包含“武汉大学信息学部”。但根据扩展信息建立的知识库,基于实体对象空间关系的三元组,“重点实验室”“遥感学院”和“武大信息学部”均属于“武汉大学”,且“重点实验室”属于“武大信息学部”,以及“星湖”和“重点实验室”具有相邻的拓扑关系,结合类别层级关系三元组,可推理得到该地图图像的空间范围包括“武汉大学信息学部”,且包含“测绘遥感信息工程国家重点实验室”。

  • 在新时代测绘、智慧地球与数字孪生的背景下[42-43],地图图像的识别与理解除了能够促进地图图像大数据资源的精确获取与高效利用之外,还能够支持一系列生活和生产。

    1)纸质历史地图归档与保护。历史地图是地理分析与人文研究的重要数据来源,这些地图主要以纸张为载体。随着时间的推移,由于人为翻阅难免出现缺失、图形模糊、纸张磨损等现象,需要将纸张历史地图数字化处理为地图图像,基于地图图像开展历史地图图像的识别和理解,保留历史地图的重要信息[233744]

    2)长时间序列地理空间变化检测。在遥感影像数据出现之前,地图是描述地表覆盖和分布的主要测绘成果,因而成为研究某一地区长时间序列中历史地表覆盖和分布的重要数据来源。已有部分学者开展了基于历史地图图像的地物变化的探索[45],也有研究将数字化后的历史地图图像同遥感影像、志愿地理信息等数据进行融合,以支持地表覆盖变化检测的研究[46]

    3)地图风格迁移。同一地区的地图图像的内容往往根据地图的用途、主题等因素而设计为不同的风格,如面向儿童和面向普通游客的故宫导游图具有不同的风格,城市旅游地图和城市交通地图的风格也通常有所不同。因此,研究面向不同的用途而生成对应风格的地图图像,能够有效减少地图生产作业的工作量。已经有很多研究提出了利用深度学习的技术提取地图图像的内容,并基于内容探索地图图像风格迁移的实践[47]

    4)地图错误发现。网络大数据时代,非专业绘制的地图图像数据往往难以保证内容的完整性与准确度,这些地图中的错误信息会误导人们对于现实世界的准确认识和理解。学者们[48-49]利用地图图像识别技术,对地图图像中的文字、符号等特征进行提取和对比,自动发现地图图像中的错误,确保地图内容的真实可靠。

    5)非法地图筛选。近年来,针对地图内容规范的检查结果发现有相当部分的地图图像产品和附有地图图形的文化产品在内容上不符合国家地图规范,严重损害了国家安全和尊严。已有学者开展从海量的地图图像产品中自动检测与识别“问题地图”的研究[50]。未来可通过对地图图像中的地图符号(如南海九段线是否完整)、地图字符(如地名是否符合规范)、地图对象形态(如边界地区是否绘制完整)等地图特征进行识别与比对,筛除包含非法内容的地图图像产品。

  • 对地观测技术、通讯技术和大数据技术的发展为人们带来了海量的地图图像产品。与此同时,研究却发现,一方面人们依然难以获得符合需要的地图图像产品;另一方面大部分地图图像资源很少甚至从未被获取或利用到。地图图像正在面临大数据的典型挑战之一,即因大数据太多而“淹死”,却又因大知识太少而“饿死”。造成这一现象的核心原因在于现有的地理空间人工智能技术还无法满足地图图像的准确识别和完整理解,为缩小地图图像资源和地图图像利用之间的鸿沟,促进地图图像大数据在生活和生产活动中发挥数据的价值,本文根据地图图像的特点,结合地理空间人工智能的技术,探讨了支持高精度、高效的泛源地图图像大数据识别的理论、特征、技术框架及实现,以及基于地图图像的相关应用和潜在价值。

Reference (50)

Catalog

    /

    DownLoad:  Full-Size Img  PowerPoint
    Return
    Return