-
摘要: 来源于计算机图形学领域的风格迁移概念引起了地图学领域的广泛关注,涌现出大量地图风格迁移算法与评价实验,同时存在地图风格概念不明、风格迁移结果缺少评价等问题。首先,从概念上分析了地图风格的含义与风格地图的适用场景;其次,对现有风格迁移方法进行综述,详细对比分析基于概率统计的、基于内容解析的以及基于神经网络的3类图像风格迁移方法;然后,解析图像到地图、遥感影像到地图以及图像到地貌晕渲等3类主要地图风格迁移方法,对比了矢量与栅格地图风格迁移的优缺点;最后,针对参考图如何选取、风格迁移结果如何评价、风格迁移如何融入地图设计3个方面,对后续地图风格迁移研究进行了展望。Abstract: Style transfer which originates from computer graphics has attracted broader attention in the field of cartography, considerable efforts have been made on cartographic style transfer algorithms and experimental evaluation. However, it also suffers from unclear demarcation of map style, and lack of evaluation of style transfer results. Therefore, firstly, this paper conceptually analyzes the idea of map style and the applicable scenarios of styled maps. Then, we review existing style transfer methods, and categorize available style transfer methods into three groups and compare them with details: Probability statistics-based, content-based, and neural network-based. We also discuss three major types of map style transfer methods: Image to map, remote sensing imagery to map, and image to relief shading. And we compare the advantages and disadvantages of style transfer with vector and raster maps. Finally, we envision the future research of map style transfer in terms of three possible research questions: How to select reference images, how to evaluate style transfer results, and how to integrate style transfer into map design process.
-
Keywords:
- map style /
- style transfer /
- artificial intelligence /
- map design /
- pan-map
-
地图学是一门不断发展的科学[1],高质量地图在科学研究、国家战略、国计民生等方面持续发挥着科学价值、文化价值、社会价值、权属价值和军事价值[2]。进入信息时代,地图学衍生出地理可视化、可视化分析[3-5]、泛地图[6]、准地图[7]、全息地图[8]等概念;制图空间由地理空间扩展到赛博空间[9-10];地图类型由二维静态扩展到三维动态[11];地图功能由描述型发展到分析型和诊断型[7]。随着制图数据(众筹的OpenStreetMap数据集)和制图工具(开源的QGIS软件)的不断丰富,地图制作的门槛降低,地图制图呈现出大众化趋势,大众制图时代来临[12]。
人人都能制作地图,但制图质量却参差不齐,其主要原因有: (1)地图学领域积累的大量制图知识规则多是孤立、片段的。例如,视觉变量理论讨论如何对定性与定量信息进行图形编码,但是不讨论如何设计美的图形;颜色调和理论讨论如何搭配颜色以增强地图的表现力,却不讨论如何对不同类型的属性量表进行编码。(2)对地图知识规则的表达多以经验总结式的描述为主,机理解释不够。例如,对视觉变量的研究主要集中于视觉认知实验,其生理、心理机制尚待系统阐述。(3)现有的主流地图学理论(如信息传输论等)主要源于二战以来对地图的功能性需求(如地形图),不关注三角测量技术,且大规模普及以前的游历、全景等制图传统也滞后于当前泛地图个性创意的制图实践。专业制图师依赖经验和专业知识来设计地图,设计过程费时、费力,而大众用户不知道、不理解、不会用这些理论知识。
泛地图时代,迫切需要发展新的制图理论与方法以支撑大众制图。风格迁移(style transfer)的概念源于计算机图像处理领域,是指将一幅图像的视觉感受迁移到另一幅图像上[13],在照片编辑[14]、视频增强[15]等领域取得了广泛应用。风格迁移引起了地图学界的广泛关注,出现了大量风格迁移算法与认知实验方面的研究成果。但是依然存在诸多疑问,比如地图风格迁移与图像风格迁移有何异同?地图风格迁移的结果如何评价?地图风格迁移如何服务于地图设计?在这些问题的驱动下,本文首先解析地图风格迁移的概念,然后对当前地图风格迁移研究进行综述,最后展望地图风格迁移的可能研究方向。
1 地图风格迁移的基本概念
1.1 什么是地图风格?
地图风格(map style)主要有两种含义: (1)地图符号化的样式,比如符号形式、线条、颜色、纹理、字体等的图形参数。应用这一含义比较典型的案例是开放地理空间信息联盟(Open Geospatial Consortium,OGC)的图层样式描述器(styled layer descriptor,SLD)规范,它定义的是点、线、面等要素的符号配置参数,关注地图的形式,不包含地图的内容,常在地图服务、网络地图开发应用等场景使用。(2)有显著区分度的地图设计特征,既可以侧重描述地图的形式外观,如淡雅、华丽,又可以侧重形容地图内容选取,如丰赡、充盈,还可以形容整体,如简约、精致。这一含义往往与审美、品味、创意、品牌等概念关联。不同国家、行业往往会形成特定地图风格,比如瑞士地形图风格、谷歌的互联网地图风格。地图样式文件可以记录地图风格的部分参数,但是地图风格往往包含因人、性别、民族、宗教等因素而异的主观感受,不完全能够通过样式文件直接体现。
随着地图应用的深入,地图风格的需求日益强烈,大众参与风格设计的愿望也日益浓厚。谷歌、Mapbox等地图厂商均制定了地图样式的文档格式,推出了配套的可视化的样式编辑工具。用户可以在网络社区自由发布、搜索、点赞不同的地图样式。
地图风格可以从不同角度进行分类。文献[16]从装饰性、表现力、独创性3个维度来区分地图风格,每个维度又区分高、中、低3个级别,可细分出简约、轻盈、古朴、柔美、激进、绚丽、奢华等地图风格;文献[17]引用艺术审美分类方法,将地图风格分为简洁、丰赡、平淡、绚丽、刚劲、柔婉、雄浑、隽永、典雅、庄重、华丽、朴实、精致、明快、淡雅等。地图风格还可以依据国别、地图类型等来加以区分。风格本身并无高下之分,但是要考察是否适用于地图需求。
1.2 什么时候需要风格地图?
地图制图过程大致可分为数据驱动与概念驱动两种。数据驱动的制图区分空间数据与数据的符号化表达,在几何、属性等数据采集的基础上实施数据符号化,从而得到地图,当前地理信息系统(geographic information system,GIS)地图与互联网地图多属于此种类型。概念驱动的制图则不显式区分数据和符号化表达,直接将地图概念转换为地图图形,认知草图、手绘地图大多属于此种类型。考虑到GIS地图与互联网地图用户众多,应用类型丰富,本文以数据驱动制图为例讨论风格地图的适用场景。
综合来看,当前的GIS地图与互联网地图虽然不乏科学与艺术融合的精品,但是主要面向数据管理,强调精度、属性、语义等,而忽略了体验、情感、意象等的表达。
地图定义为科学、艺术、技术的结合,科学性与艺术性主要描述的是地图的内容和形式。文献[18]在地图学立方体中定义了两种典型的地图功能: 信息传输(表达已知、低交互、公共用户)与可视化(探索未知、高交互、私有用户)。本文以艺术-科学、信息传输-可视化两个维度分析地图风格迁移的适用场景,将制图意图划分为可重叠的4种类型: (1)地图再现客观。以科学的手段实施信息传输,对环境进行客观表达。以视觉语言作为大众沟通的工具,追求信息准确表达与传递,例如标准地形图、地理图。(2)以科学的手段来辅助数据可视化。可视化的目的是赋予数据以形象(如时空大数据可视化等),可视化还可以将内在的环境认知概念外化为图形表达,以辅助视觉思维(如环境认知草图等)。(3)以艺术的形式进行可视化。其重点不是描述位置与属性,而是描述对环境的情感,比如地图艺术等。(4)以艺术的形式传递对环境的认知。其目标不仅仅是为了传递定性、定量的信息,而是将环境的体验注入地图,并试图将这种体验传递给读者,让读者产生身临其境的感受,例如城市印象地图、风俗文化地图等。
对于第一种制图意图,标准化、情感中立的表达风格更有利于提高信息传输的效率;对于第二、第三、第四种制图意图,个性、创意的地图风格有利于对环境的体验进行表达,也满足读者的情感、审美的需求,是地图风格迁移的主要应用场景。
1.3 从什么地方迁移地图风格?
绘画、摄影等视觉艺术与地图具有类似的形式与内容,是地图风格迁移的主要来源。对应于艺术领域的模型论、表现论等观点,地图学也有模型论、表现论,两者都有写实、抽象等形式风格。实际上,视觉艺术的题材大多涉及自然、人文现象,但是两者依然存在本质的区别。
从表达的角度来看,视觉艺术是开放式的、发散式的。艺术品被称为“有意味的形式”,但对“意味”却没有“科学”的定义。艺术本身是非理性的、非概念的,是对科学及其思维方式的补充,其目的不是直接回答为什么,而是扩展人的认知边界,而地图的目的主要在于信息传输,这种信息传递过程是可以由“假设-检验,形成理论”这一科学范式构造的,而信息传输效率、效能和认知负担也常被作为地图设计好坏的评价标准。地图的功能也包括叙事,但是这种叙事依然是以清晰信息呈现为基础的。因此,地图信息传输是闭环,要避免艺术式的“看不懂”与“一千个读者会有一千个哈姆雷特”。
从内容-形式关系来看,视觉艺术上的内容往往是激发情感、想象的凭借,比如塞尚曾经说过“至于是一只苹果还是一张脸,那是一种凭借,为的是一场线与色的演出,别无其他”。艺术品的内容也可能是隐喻式的,甚至是抽象的。但是,对于地图而言,内容是根本,地图的形式要服务于内容。随着数据库技术的发展,地图的信息存储功能被数据库取代,但是传递定性、定量的信息依然是地图的主旨。虽然也存在隐喻地图,但是使用隐喻的目的是为了加强信息传输,便于解读,而不是隐晦[19]。
从“人-图”关系来看,地图阅读是有目的性的,而艺术审美是无目的的。地图阅读无需设计者直接参与,但是需要辅以图例以避免传递错误的信息。阅读地图时也可以激发想象,地图本身就是假设在高空视点俯视地表。地图读者通常有遨游苍穹的体验,但这种地图遨游是猎奇式的,是目的性的。而艺术审美本是无目的的,因此才孕育出开放式、创造性的想象。
艺术家有足够的形式选择(笔触、颜色、构图等)来自由表达,但是这种自由是在掌握基本视觉规律基础上的创造。比如康定斯基在《点线面》中给出了一种抽象绘画中形状与颜色的搭配技巧: 圆形-蓝色,三角形-红色,矩形-橘色;横线-冷色,竖线-暖色。使用这种搭配,形状和颜色能够产生同频共振,能够增强单个视觉变量的表现力,比如康定斯基的《构图8号》就大量采用这类的形式原则。这些原则不仅限于康定斯基,还广泛存在于其他视觉媒体。自由的形式还包括梵·高的互补色、修拉的点彩法、马蒂斯的线条等,甚至发展出印象派、野兽派等各具特色的艺术风格。中国传统的绘画风格也发展出了高古游丝描、铁线描、柳叶描等18种描绘衣服褶纹的画法,山水画也发展出了斧劈皴等技法,蔚为壮观。
风格多彩的艺术风格可以丰富地图的表现形式,但是艺术风格不一定具有可迁移性。文献[20]认为“(艺术作品)可能同时存在众多具有同样良好效果的不同形式,形式是由必须创造的”。绘画形式中的“必须”与地图形式的需求往往存在较大差异。绘画的形式服务于艺术家情感的表达,而地图的形式需求则由制图内容、读者、任务、读图环境等诸多因素决定。因此,绘画的形式不一定适合于地图内容,也不一定能够从绘画内容中完全剥离出来。地图风格迁移需要考虑形式与内容的匹配。
此外,有意味、自由的形式也不仅仅局限于大师画作,可能由大众创作,也可能存在于其他视觉载体,如遥感影像、影视、动漫、电子游戏等。它们为地图风格迁移提供了丰富多彩的素材,但是其目的和使用场景上的异质性也给地图风格迁移算法提出了挑战。
2 风格迁移方法研究综述
风格迁移在不同的应用领域有不同的侧重,在图像处理领域,文献[21]提出了旨在迁移图像颜色分布的方法——颜色迁移;针对不同的颜色特征,后续研究又提出了色调迁移、颜色风格迁移等,这些方法主要应用于照片颜色替换和图片重新上色;在非真实感渲染领域,文献[22]提出使用纹理合成方法进行图像纹理迁移(texture transfer),主要用于照片纹理的修改和对象材质的替换。本文整理了2000年以来风格迁移、颜色迁移、纹理迁移方面的发展,如图 1所示,从图像风格迁移与地图风格迁移两个方面来综述。
2.1 图像风格迁移
面向的应用与所针对的图像特征不同导致图像风格迁移方法存在不同的分类体系。以图像颜色迁移为主的研究可以分为基于几何(geometry-based)、基于统计(statistical)和用户交互(user-guided)[14]3种;侧重纹理特征的研究可以分为基于像素的(pixel -based)和基于图块的(patch-based)[23]两种;基于神经网络的方法则可以分为基于图像优化(image optimization-based)和基于模型优化(model optimization-based)[13]两种。本文将现有图像风格迁移分为3类: (1)关注统计特征,不区分形式与内容的基于概率统计的方法;(2)基于图像内容解析的方法;(3)引入机器学习对图像形式和内容进行建模的神经网络方法。
2.1.1 基于概率统计的方法
基于统计的迁移方法使用概率统计指标(如均值、直方图、概率分布函数等)来度量图像特征,其目标是使迁移结果图和参考图像具有相似的统计参数。针对自然场景图像,文献[21]首次提出了基于概率统计的颜色迁移算法,其利用lαβ色空间的颜色感知均匀和分量独立特征,通过统计lαβ色空间下的颜色均值和标准差,将参考图的颜色分布转换到源图像。该方法采用统计特征的线性变换,原理简单,易于实现,然而对于颜色丰富的复杂分布迁移,往往需要进行非线性变换。因此,文献[24]引入非线性的颜色直方图匹配来实施风格迁移;文献[25]通过色相、饱和度和亮度直方图匹配进行图像颜色迁移,通过最小化迁移结果和参考图像直方分布的绝对误差,实现了迁移结果和参考图的色调一致。颜色直方图的分布有时过于稀疏,因此完全的直方图匹配可能过于严格甚至冗余,对此可以利用直方图局部特征进行图像匹配,如文献[26]提取图像直方图的显著特征进行颜色迁移。针对图像的统计特征冗余的问题,也可以使用降维算法对图像进行降维,如文献[27]使用主成分分析(principal component analysis,PCA)对图像颜色特征进行非线性降维;文献[28]使用n维概率密度函数(probability density function,PDF)进行图像颜色的转换。这些方法可以保证颜色分布的迁移,然而由于只使用全局统计信息,所以在图像细节上会有丢失和修改,因此文献[29]在全局颜色迁移中加入颜色梯度优化,增强迁移结果细节的逼真度。
基于统计的风格迁移方法仅对图像的颜色分布等特征进行建模,忽略了图像内容的语义特征,容易导致风格迁移结果出现语义不匹配等问题。
2.1.2 基于内容解析的方法
基于内容解析的迁移方法首先检测图像内容,然后在参考图和源图像之间进行不同层次的内容匹配。内容可以是低层的颜色纹理特征,也可以是高层的语义对象。文献[30]根据像素的颜色相似性,将图像分割为多个区域,然后提取图像的颜色调色板,建立参考图像和源图像的代表性颜色间的匹配关系。为了降低图像匹配的复杂度,有学者提出使用主导色进行图像风格的迁移,如文献[31]基于颜色聚类提取主导色对图像进行分割,通过主导色间的匹配实现参考图风格到源图像的迁移;文献[32]提取主导色后,将主导色间的匹配转换为局部线性嵌入的映射,优化主导色匹配。由于颜色值还无法直接代表图像的视觉感受,文献[33]提出了一个基于颜色感知类别的迁移方法,通过颜色的心理认知实验进行颜色类别的划分与匹配。
图像内容解析也引起了风格迁移研究的重视。文献[34]首先分离了图像前景和背景区域,然后建立对应区域匹配关系;文献[35]提取图像区域的语义类型,如天空,然后搜索与源图像内容一致的参考图像进行风格迁移,并按照语义类型构建匹配关系。
当参考图像与源图像的结构和内容存在较大差异时,自动化算法难以得到好的内容匹配结果。因此,一些学者提出交互式的风格迁移方法。如文献[36]提出基于线划的风格迁移方法,用户可以用线划在参考图像和源图像上自定义对应的迁移区域;文献[37]提出了基于离散颜色的交互式迁移方法,用户通过指定一组离散颜色来建立参考图和源图像间颜色的对应关系,然后通过插值实现全局颜色的平衡。
纹理也可视作图像的内容特征,早期的纹理迁移方法使用图像滤波器提取图像纹理特征,如文献[22]提出了基于图块拼接的纹理合成算法的风格迁移方法;文献[38]提出了基于最佳像素匹配的图像类比风格迁移方法。这些方法往往受限于滤波器的大小设置,后续的纹理迁移研究中考虑了更多的内容信息,例如文献[39]首先将图像的内容和样式分解为草图、涂层和边缘,然后将涂层和边缘分割为斑块进行源图像到风格图像的迁移。基于斑块的纹理迁移保持了邻近像素的相似性,然而需要解决斑块纹理的重叠问题。
综合来看,基于内容解析的迁移方法多考虑的是图像边缘、纹理、前景等浅层内容特征,对语义等图像深层内容特征的考虑不够。
2.1.3 基于神经网络的方法
现有的基于神经网络的图像风格迁移方法包括基于图像迭代的方法和基于模型迭代的方法。基于图像迭代的方法使用神经网络提取图像的视觉特征,然后通过反向传播(back propagat ion,BP)逐像素迭代得到风格迁移结果。文献[40-41]提出了首个基于图像迭代的神经网络风格迁移方法,其使用图像卷积计算得到的特征图(feature map)的Gram矩阵来度量图像风格损失,利用深层特征图的平方误差函数度量与源图像的内容损失,通过深度学习的多层迭代,生成与源图像的内容差异和参考图像的风格差异最小化的迁移结果。其中,Gram矩阵计算了图像特征图间的内积,对于特征图i和j间的Gram矩阵可表示如下:
$$ \mathrm{G}\mathrm{r}\mathrm{a}\mathrm{m}(i, j)={F}_{ik}{F}_{jk} $$ (1) 式中,$ i, j=\mathrm{1, 2}\cdots C $;Fik、Fjk分别表示第i个、第j个特征图第k个特征的强度值,图像的深度特征图可以视作图像的颜色、纹理、强度等多尺度的视觉元素。两个特征值的乘积越大,其相关性也越强,因此Gram矩阵可以度量图像不同视觉元素间的相关性,可以用于图像的纹理建模[42]。后续的研究进一步证明结果图和参考图Gram矩阵本质上是图像统计分布二阶核函数的最大均值差,Gram矩阵差异的最小化即结果图像特征图的二阶统计分布尽可能接近参考图[43]。除了二阶统计量,一阶统计量也可以用于神经网络迁移的特征分布度量。如文献[44]提出了基于元学习(meta-learning)的风格迁移方法,根据图像特征分布的一阶统计量(均值和标准差)进行风格迁移。然而,这些参数统计方法容易忽略图像的局部细节。对此,文献[45]提出了基于斑块的神经网络迁移方法,其采用马尔可夫随机场(Markov random field,MRF)对神经网络提取的图像特征进行分割,通过斑块的局部特征进行风格匹配。基于图像迭代的方法可以很好地提取图像的多尺度特征,但是由于其反向传播基于图像像素计算,运行效率不高。
针对图像迭代计算的效率问题,后续研究提出了基于模型迭代的方法。使用大量图像训练风格化图像的生成模型,将主要计算集中到训练过程,提高了迁移结果图像生成的效率。生成对抗神经网络(generate adversarial neural,GAN)是基于模型迭代的方法中的重要改进。GAN基于博弈论思想,包含生成器G和鉴别器D两个部分[46]。在训练过程中,生成器不断生成模拟样本,迭代器则不断评估样本的好坏程度,两者不断对抗优化直至达到均衡。GAN的损失函数可以表示为:
$$ \begin{array}{l}\mathrm{m}\mathrm{i}{\mathrm{n}}_{G}\mathrm{m}\mathrm{a}{\mathrm{x}}_{D}L(D, G)={E}_{x\sim {p}_{\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}}\left(x\right)}\left[\mathrm{l}\mathrm{o}\mathrm{g}D\right(x\left)\right]+\\ {E}_{z\sim {P}_{z\left(z\right)}}\left[\mathrm{l}\mathrm{o}\mathrm{g}\right(1-D\left(G\right(z\left)\right)\left)\right]\end{array} $$ (2) 式中,鉴别器D(x)为对真实图像x判别为真的概率;生成器G(z)是输入噪音图像z时的生成图像;D(G(z))是生成图像为真实图像的概率。损失函数在最大化D的同时最小化G。
文献[47]基于条件生成对抗神经网络提出了pix2pix风格迁移模型,通过成对图像的监督训练,实现了一对一图像风格迁移;文献[48]提出了基于循环生成对抗神经网络的迁移方法,引入循环一致性损失,不需要建立训练数据的一对一映射,可以更好地保留源图像内容特征。针对CycleGAN难以迁移绘画的抽象风格的问题,文献[49]在生成对抗神经网络中加入内容转换模块,在特征空间中对相似参考图进行分类再进行迁移,可以更好地迁移风格细节。
除了上述通用型迁移方法,一些学者也开始针对特定任务进行改进,如语义优化风格迁移、真实感优化风格迁移等。语义优化风格迁移针对语义相似图像,建立图像内容的语义对应关系,然后对语义相似的区域进行迁移。文献[50]提出了深度图像类比的风格迁移方法,通过建立图片斑块的深度外观特征(颜色、纹理等)的相似性,将其从参考图迁移到源图像;文献[51]提出了一个上下文感知的风格迁移方法,通过图像不同对象的上下文相关性,进行源图像和参考图像对应区域的匹配;文献[52]通过语义加权的风格损失函数和区域一致性损失函数,提出了一个参考图和源图像语义对齐的迁移方法。
真实感迁移的优化主要针对照片在风格迁移中结构的失真导致的真实感缺失问题。文献[53]提出了两阶段的基于图像迭代的风格迁移方法,首先进行非真实感的风格迁移,然后添加真实感正则化的惩罚函数。针对效率不足的问题,文献[54]提出了基于模型迭代的真实感风格迁移,通过风格化步骤减少图像失真,然后通过平滑步骤进一步消除图像伪影。
基于神经网络的方法区分图像的形式和内容,但并未给出图像风格的明确定义,往往使用统计建模对图像风格进行表达,如Gram矩阵忽略了图像的场景构成和主题。
然而,上述研究中的风格主要是指图像的颜色、纹理等视觉特征,并不能完全等同于前文提到的地图风格。不同于图像,地图的风格元素包括线划、颜色、注记、纹理以及版式等。表 1总结了3类图像风格迁移方法中的风格元素与地图风格元素的对应关系。
表 1 风格元素的建模方法Table 1. Modeling Methods for Style Elements风格元素 基于概率统计 基于内容解析 基于神经网络 线划 Sobel滤波[55]、图像梯度[39] UNet[47]、拉普拉斯算子[56]、线划金字塔[57]、
整体嵌套边缘检测[58]颜色 均值、方差[21, 59]、直方图[24-26]、概率密度函数[28]、主成分分析[27]、Sobel滤波[29] 图像调色板[30, 60]、期望最大化[61]、颜色分类[33]、概率分布函数[36]、图像分割[34, 35, 62-64]、交互笔触[65-66]、局部线性嵌入[32]、渐进直方图[67]、径向基函数[37]、主导色[31]、局部仿射变换[68-69] Gram矩阵[40, 41, 51-53, 56, 58, 70, 71]、直方图[72]、白化着色变换[54]、极小极大博弈[47-48]、拉普拉斯算子[53] 纹理 图像滤波器[22]、MRF[73]、图像分割[69]、协方差矩阵[74] Gram矩阵[40, 41, 51-53, 56, 58, 70-71]、MRF[45]、感知损失[58, 75-76]、拉普拉斯算子[56]、极小极大博弈[47-49, 77]、直方图[72]、泊松方程[78]、自适应实例正则化[79]、一阶统计量[44, 80]、白化着色变换[54]、条件实例正则化[81]、层实例正则化[82]、中心矩差异[83] 点符号/注记 Gram矩阵[58, 84]、极小极大博弈[85] 图面要素 由表 1可知,形式上,上述迁移方法对图像颜色和纹理的建模已经有了广泛的研究,如全局的统计方法,顾及内容的规则化建模方法以及神经网络的多尺度特征提取方法。还有学者尝试表达绘画中的线划,如基于规则和神经网络的各种梯度提取方法。对于点符号/标注,除了专门的文本图像的风格迁移方法外,更多的是隐式的特征度量,而对于指北针、比例尺等图像要素,则完全缺失。内容上,考虑到地图不同要素间视觉层次、几何维度等特点,上述研究的建模方法和迁移目标也不完全适用于地图。由于源图像和参考图分布很难完全一致,对于从像素层面进行修改的图像风格迁移,往往会出现影响迁移结果语义一致的颜色、纹理,直接应用于地图则会导致迁移前后的内容不一致。
综合来看,图像风格迁移算法在图像处理领域取得了广泛的应用,如将地图视作图像,则可以直接使用上述方法实施图像到地图图形的风格迁移。但是,形式上依然无法完全覆盖地图风格元素,内容上也缺少对于地图版式、制图要素的几何与空间分布特征等的考虑。
2.2 地图风格迁移
图像到地图的风格迁移研究大致可以分为3类: (1)图像到地图的风格迁移;(2)遥感影像到地图的风格迁移;(3)图像到地貌晕渲的风格迁移。
2.2.1 图像到地图风格迁移
早期的图像到地图迁移方法一般是交互式,如文献[86]使用交互式的颜色提取工具从莫奈风景画中分离出配色方案,并将其应用到矢量地图。文献[87]提出在地图风格迁移中加入颜色占比和互补等规则,迁移示例见图 2(a)。这些交互式的方法可以生成极具表现力的地图,但是多依赖制图专家的经验。
基于神经网络的图像风格迁移方法也被引入地图风格迁移。例如文献[88]使用pix2pix和CycleGAN将具有相同地理范围的地图图像和艺术绘画迁移给另一幅地图(见图 2(b))。文献[90]设计认知实验评价了GAN用于地图风格迁移前后的情绪改变。此外,针对参考图和源地图的可能存在内容不匹配的问题,文献[91]在条件GAN方法中加入前背景损失函数,限制地图符号只生成在前景区域。这些基于神经网络的地图图像迁移方法不解析地图内容和制图规则,迁移结果往往更像绘画而非地图。
文献[89]提出了一种矢量地图风格迁移方法,该方法对地图的语义关系、习惯颜色等知识规则进行了定量建模,能够自适应地将绘画、摄影作品上的颜色迁移到矢量地图上(见图 2(c))。基于其定量化指数,文献[92]以莫奈、梵·高、塞尚的绘画为例,对参考图的适应性进行了定量分析。但是,上述研究主要针对的是颜色特征,尚未考虑其他地图风格元素。
2.2.2 遥感影像到地图风格迁移
遥感影像与地图要素的对应关系以及本身的真实感和丰富的细节特征也引起了地图风格迁移的关注。将遥感影像视作特殊的参考图像,文献[93]提出使用一种数字正射影像和矢量地图的连续混合可视化方法,通过要素颜色和纹理的插值来增强地图的真实感。文献[94]利用GAN网络进行地图和正射影像间的风格相互迁移,依然存在图像到地图图像风格迁移中出现的内容不一致等问题。
另一类值得关注的是基于神经网络的地图和遥感影像间的相互转换。由于相同区域的遥感影像尤其是正射影像和地图存在要素间对应关系,利用神经风格迁移方法可以实现两者间的转换。文献[95]提出了SMAPGAN(styled map tiles based on the GANs)模型,基于遥感影像生成同区域的地图瓦片;文献[96]提出MapGen-GAN,利用GAN实现遥感影像到地图的快速转换。除了遥感影像到地图的转换,也有研究尝试使用地图生成虚假的遥感影像,文献[97]使用CycleGAN提取瓦片地图中的地理要素,并将其转换为遥感影像。这些方法要求地图和遥感影像空间范围的严格对应,无法实现任意的遥感影像和地图间的风格迁移。
2.2.3 图像到地貌晕渲风格迁移
文献[98]分析了艺术家和制图师在地形制图中的规则,提出了一种自动生成全景地图的算法,并应用文献[21]的颜色迁移算法进行地形风格迁移。文献[99]使用纹理合成的方法,将手绘地貌全景图转化为数字化地貌图,但是该方法依赖制图者的经验。文献[100]使用手工地貌晕渲图像作为样本训练深度神经网络,可以将数字高程模型转换为瑞士风格的地貌晕渲图。但该方法以图像作为输入,未解析具体的地形结构,当输入数据与训练数据的像素大小不同时,容易缺失地形的部分细节;此外受限于训练样本类型,难以表达训练数据未包含的特殊地貌类型。该方法尚不包含色彩。
文献[101]通过解析地形制图中习惯用色、大气透视等规则,提出了一种面向地貌晕渲的自适应的颜色迁移方法。由于解析了地形特征,可以保证迁移前后地形局部细节上的内容一致性,但是其主要针对的是颜色,图像的纹理、笔触等特征尚未考虑。
综合来看,地图风格迁移大致可分为矢量和栅格两类,两者的地图风格迁移对比如表 2所示。由表 2可知,基于栅格的迁移的方法尚未能解析地图内容和制图规则,容易出现内容不一致的问题,地图可读性低;基于矢量的迁移方法可以嵌入制图知识规则区分要素内容,结果地图可读性高,但是需要地图内容和地图设计的先验知识。现有的矢量地图风格迁移方法能够接入绘画、照片等不同类型的视觉媒体,适合融入地图设计过程;栅格地图风格迁移方面,以遥感影像作为参考图能获得较好的结果,适合于对瓦片地图进行风格化处理。但是,两类方法对风格元素的覆盖度均不高,都有待后续扩展。
表 2 矢量和栅格地图风格迁移对比Table 2. Comparison of Vector and Raster Map Style Transfer内容 矢量地图风格迁移 栅格地图风格迁移 风格元素 以颜色为主 以纹理为主 内容解析 需要 不需要 制图规则 需要 不需要 可读性 高 低 内容一致性 完全一致 可能不一致 适用场景 地图设计 瓦片加工 参考源 各类视觉艺术作品: 绘画、照片等 遥感图像等 3 风格迁移研究展望
3.1 如何选择合适的参考图?
风格迁移能够从参考图得到风格地图,但不意味着该参考图一定适合于特定制图上下文。制图上下文主要包括制图内容、目标读者、制图任务和使用环境4个方面。
3.1.1 制图内容
地图的风格要为地图内容服务,地图内容包含制图对象的语义、时空分布特征、属性量表等,均对参考图的选取具有显著的影响。
制图内容包含明确的语义特征,比如交通、水文等。如果选择语义匹配的参考图则可能得到内容对齐、语义相似的风格迁移结果;否则,只能得到统计意义上视觉相似的风格迁移结果。制图对象的空间分布与几何形态特征直接影响迁移结果图与参考图的视觉相似性。比如土地利用图多呈面状分布,点彩风格可能不适合;交通图多呈网状分布,以块状为主平涂风格可能不适合。制图对象的属性量表也体现为定性、定量的区分,定性属性需要有足够视觉区分度的风格元素来支持,强调近似色调和的绘画作品不一定适合;而定量数学则需要有一定关联并能够凸显数量感的风格元素来支持,强调对比色调和的绘画作品不一定适合。
3.1.2 目标读者
目标读者可能体现出图形识别、记忆推理、审美等能力上的个体差异,也可能体现出色盲、弱视等生理机能上的差异。针对大众审美力的读者,避免使用“特立独行”风格的参考图;针对色盲读者,则需要避免使用红绿、蓝黄等色彩的参考图。
目标读者可能因为宗教文化背景、年龄、性别等方面的因素,体现不同的色彩、造型等风格偏好。比如,儿童喜欢光谱色,冷峻工业风的照片可能不适;老年人倾向稳重,波普艺术风格可能不适。
3.1.3 用图任务
§1.2将风格地图的适用场景分为辅助视觉思维、表达情感、传递体验等几种意图,参考图的风格选取也要服务于这些制图意图,比如自然的风景绘画与照片,可服务于治愈、安定意图;梵·高的冷色暖色对比适合诱目意图。
风格地图还可以应用于位置导航、数据探索等任务。导航位置地图强调清晰、可读性,具有良好“图-底”分离的参考图有利于突出制图重点;数据探索强调通过可视化解释数据本身的分布特征和规律,装饰性少的风格有利于避免视觉混乱和超载。
3.1.4 使用环境
风格地图的使用环境也会影响参考图的选择。比如相比于安静的室内环境,室外环境可能有较强的视觉和听觉干扰,影响读者专注于地图,而此时强烈的地图风格可能有利于消除环境的干扰。地图也可能借助手机、桌面、大屏等介质来呈现,不同的介质色域差异可能很大,好的色彩风格不一定能够准确地在低色域的显示媒介上再现。
风格选取也需要考虑昼夜灯时间因素。夜版图需亮度对比,印象派绘画风格侧重于对白天、户外自然场景进行描绘,暗色调可能不够丰富,难以迁移得到好的夜版风格。
综上所述,风格参考图的选取需要考虑内容、读者、任务、环境等制图上下文特征,如何区分目标读者的差异与偏好,如何依据制图内容进行自适应参考图选取,如何量化使用环境等因素,实施地图风格推荐是一个值得研究的问题。
参考图的选取大致有3种情况: (1)参考图的风格与地图上下文因素不符,得到低劣的风格地图;(2)参考图的风格切合地图上下文,得到满意的风格地图;(3)参考图的风格与地图上下文产生同频共振,得到惊艳的风格地图。
同频共振的风格地图值得重点研究。首先,参考图中可能有更利于视知觉的风格元素。受益于艺术家天才的创造力和非常的视觉能力,艺术风格往往比地图学家所归纳出的视觉变量组合规则更具有表现力[102]。对于这些复合性质对象的描述,地图学里用纹理视觉变量来表达,但是缺少类似的表现力分析。地图上可能有比参考图上更美的形,艺术家往往以自己的所见所闻来进行艺术创造。比较典型的是亨利·马蒂斯,多选择室内静物、人物肖像等作为题材,他希望“疲惫、劳累、崩溃的人们在我的画作前能够找到平和与宁静”[103]。视觉艺术也涉及到自然、人文景观,比如塞塞的《圣维克多山》系列。受益于对地观测、传感器网络、社交媒体等技术的发展,制图者的“视力”得到了极大延伸,制图空间可以从深邃的太空到人类身体网络。制图主题也从鬼斧神工般的自然地貌到沧海桑田的城市化。期待同频共振的风格迁移将丰富多彩的艺术呈现与科学观察手段相结合,辅助计算美学的地图风格迁移方法,有望为“人地”关系表达提供宽广的创意空间。
3.2 如何评价风格迁移结果?
理想情况下,风格迁移得到的地图应该是科学与艺术兼顾的结果,风格增强地图的表现力,加强地图的信息传输功能;同时风格能够产生视觉愉悦,增强地图的艺术性。因此,本文认为风格迁移结果可以从读者对风格地图的视觉认知质量以及审美两个角度来评价。
3.2.1 风格地图质量评价
地图风格迁移结果的视觉认知评价可以从以下3个方面展开:
1) 风格如何影响地图感知察觉?
视觉感知是一个主动去把握实物性质的过程,体现为目的性和选择性[102]。地图风格表现为不同的颜色、线形、纹理等,这些外观上的差异必然影响选择性的视觉加工过程。比如梵·高绘画中大量使用对比色,特别是橘黄-蓝色的对比;梵高的颜色风格有利于地图前景-背景的分离,诱目色的使用有利于加强前景要素的视觉显著度。但是,绘画风格也不一定完全适用于地图感知。比如莫奈多采用等亮度技法,主要通过色相与饱和度来绘画,体现朦胧美。对于地图而言,亮度是表达定量信息的主要视觉变量,不使用亮度将损失地图的表达维度,而且朦胧美也不一定有利于清晰、准确察觉出地图信息。因此,地图风格如何正面、负面地影响地图视觉感知还需要系统的研究。
2) 风格如何影响地图内容的辨识?
内容辨识是在察觉的基础上,结合记忆、联想、推理,识别地物的空间位置、属性类别等信息的过程。地图风格体现为形式美,以及形式与内容契合而形成的整体美。一般认为,地图美与地图内容的清晰、整体性是伴随的。神经科学研究表明,美能够激发情奖赏回路,促进中脑腹侧被盖区的激活,激发奖赏回路,释放多巴胺。多巴胺作用于海马体,可提高学习、记忆能力[104];其作用于前额叶,可加强注意力专注程度[105-106]。从这一角度来讲,能够引起视觉愉悦的地图风格将有利于记忆、推理等过程,有利于地图内容的识别。但是,风格如何辅助内容辨识还需要进一步的机理解释和读图实验分析。
3) 风格如何影响地图情感激发?
地图情感可分为对地图图形本身的情感与对地图所表达制图对象的情感。前者包括阅读地图图形本身的愉悦感、信任感;后者包括对地图所表达主题的恐惧感、自豪感等。情感会影响认知,情感与认知共同影响人的行为。地形图等标准地图的风格主要激活的是大脑视觉皮层中的“where”和“what”通路、前额叶进行物体的辨识意义判断;强调通过理性认知来辅助决策,激发的情感多是中立的,或者略带正向。风格地图不仅可以刺激大脑视觉皮层中的“where”和“what”通路进行物体的辨识,还能激活大脑的情感系统。如果风格激发对地图本身的信任感,则读者更倾向于接受地图表达的结果;地图风格也可以进一步有利于表达、激发人对地的情感,由标准地图的“认知-决策”模式变成风格地图的“认知-情感-行为”模式。但是在风格迁移的同时如何实施情感迁移则是另一个需要进一步研究的问题。
3.2.2 审美与相似性评价
审美有主观的成分和个体差异,风格迁移方法本身不预先假定什么是美,而是把这个选择交给用户,作为模型的输入。用户可以自由选择自己认为美的参考图,审美问题间接转化为一个相似性问题。结果图和参考图之间的相似性是当前风格迁移方法的主要建模指标,比如基于概率统计的风格迁移方法中的直方图匹配、基于神经网络风格迁移方法中的损失函数。但是,文献[41]认为以视觉相似性作为风格迁移的标准,既不足够精确,也不具有普适性。本文认为可以从精化相似性评价指标来评价风格迁移的结果。
计算机图形学领域面对图片搜索等需求,针对任意两个图像之间的相似性问题,提出了余弦相似度、结构相似度、基于深度学习的特征向量相似度等方法。考虑到地图风格迁移的适用场景,本文认为可以区分两种风格迁移情况来度量相似度: (1)有内容重叠(如从遥感影像到对应范围地图的风格迁移);(2)无内容重叠(如从任意绘画到任意地图的风格迁移)。有内容重叠的风格迁移结果可以考察重叠部分是否一致,如遥感影像上的水体与迁移地图上的水体是否视觉相似;无内容重叠的则可以考虑视觉外观上的相似性。参考图与迁移地图在内容上可能差异巨大,可进一步区分全局的相似性(如色调、颜色直方图、主导色等)和局部的相似性(局部比色、笔触、纹理等)。还可以考虑地图的特征,来考察维度相似性(点、线、面等)、结构相似性(网状、块状等)、分布相似性(规则、随机、聚集分布等)等。
由于内容上差异,参考图和风格地图的视觉相似性可能会很低。本文认为艺术风格会对地图的“图-底”分离、视觉层次、视觉中心等产生较大影响,因此,地图风格迁移不能只单纯地追求视觉相似,而是要在地图上重现这些艺术风格的感知特征。从神经美学的视角来看,艺术风格的差异体现为不同的视觉神经通道和激活模式,例如,梵·高色彩风格多激活V1区中的双色对比神经元,颜色信息处理更快捷。因此,视觉相似只是风格迁移结果的外在表现,其内在目的是要将来源于天才和非凡视觉能力的神经通道与激活模式嫁接到地图上。
3.3 如何融入地图设计过程?
近年来,人工智能已经深刻改变了许多行业领域,例如,人工智能技术已经能够模仿画家开始绘画。OpenAI出品的DALL·E2(https://openai.com/dall-e-2/)不需要绘画技巧和知识,用户只需要输入风格、内容等参数即可得到绘画,其绘画水平已经从最初的“涂鸦”到现在的“以假乱真”,可以预计AI(artificial intelligence)绘画还将继续精进。在地图设计领域,AI是否能够像绘画领域一样由设计者主导的设计过程,转变为以设计参数输入-反馈为主导的计算过程,是个值得关注的发展趋势。从前文风格迁移研究综述来看,地图风格迁移还处于初级阶段,尚无法自主进行地图创新性设计。因此,本文不讨论AI如何取代地图设计,而是重点讨论如何融入地图设计过程。
根据以用户为中心设计(user-centered design)过程模型,地图设计的过程大致包括需求分析、概念设计、原型设计、测试、实现、交付等一系列非线性过程。其中,由需求分析到原型是一个创造性的思维发散过程,包括版式、符号与颜色创意等。从原型到交付的过程,考虑可读性、清晰性等原则,进行色域分析、视觉变量调整等,是一个技术的收敛过程。风格设计是地图设计的重要内容,地图风格迁移可服务于这两个环节。
3.3.1 如何辅助创造性发散
如§3.1所示,地图风格的需求来源于制图内容、目标读者、制图任务与使用环境,参考图的风格可能无法与制图上下文完全匹配。可能一幅参考图所蕴含的风格元素并不能完全覆盖到制图主题,也可能无法兼顾读者的差异与偏好,也可能无法支持所有规划的制图意图,还可能不能完全支撑所设计的地图使用环境。这种情况就需要多个互补,甚至冲突的参考图来作为风格设计的参照。融合为正、负样本,区分样本之间的补充、竞争关系,将有利于风格迁移得到创造性的概念风格。
另一方面,现有的地图风格迁移方法往往输出一个最优解。由于现有的数据建模方法本身对地图认知的支撑尚有待于认知实验的检验,通过损失函数、目标函数等数学建模方法得到的最优解也不一定能够反映最好的风格地图认知效果。考虑用户需求的多样性,一个“最优”的方案可能并不能满足所有用户的制图需求。地图风格迁移如何输出高质量且差异化风格以服务于原型甄别,也是一个值得研究的问题。
3.3.2 如何辅助技术性收敛
技术性收敛阶段主要优化调整颜色、线形、纹理、版式等的设计细节,使得所设计的地图风格能够更好地服务于地图的功能。这一过程细致且繁琐,比如语义关系是一个重要的技术性调整过程,需要通过差异明显的视觉变量来体现不同类要素之间的差异,需要适用有一定联系的视觉变量来表达类似的地图要素类型,需要适用能体现等级感的视觉变量来突出定量要素之间的等级感。当前对于视觉变量语法的研究较多,但是能够支持视觉变量质量评价的工具较少。类似地,对“图-底”关系、颜色调和、视觉层次等的调整也是耗时且繁琐,导致这一过程主要依赖于制图者的经验来完成,费时费力,且容易导致质量参差不齐。地图风格迁移工具必然涉及到视觉变量的建模,如果风格迁移工具能够对所使用的视觉变量质量进行定量评价,则能有效提高视觉变量优化调整的效率,提高地图设计的质量。
另一个可能的研究方向是在地图风格迁移中引入用户交互。当前的风格迁移方法对风格元素的覆盖度还不够,对地图设计原理的直接数据建模还非常有限,对地图上下文中诸多因素的涉及则更少。风格迁移方法尚无法对科学、艺术的诸因素进行定量的综合建模,而这些却是制图专家的经验、美学修养以及专业知识所能够弥补的。在地图风格迁移中引入用户交互,融合样本解析和专家知识,则有望提高设计的效率和质量。
4 结语
人工智能背景下,地图风格迁移不仅能改变地图学的研究范式,而且能够改变地图设计的工作模式。首先,本文从概念上分析了风格的两层含义,分析了当前数据驱动地图表达的问题,总结了风格地图的3种适用场景。然后,以地图风格迁移需求为背景,对比分析了基于概率统计的、基于内容解析的以及基于神经网络的3类图像到图像风格迁移方法;分析了图像到矢量地图、遥感影像到地图,以及图像到地貌晕渲等3类地图风格迁移方法;对比了矢量地图风格迁移与栅格地图风格迁移的利弊。最后,从参考图的选择、风格迁移结果的评价、地图风格迁移融入地图设计过程等3个角度进行了研究展望。
人工智能背景下,地图风格迁移研究有望将地图设计由设计者主导的设计过程,变为以设计参数输入-反馈为主导的计算过程,丰富大众制图的方法体系,深化地图风格迁移概念和技术方法的研究,丰富泛地图、大众制图等概念的讨论。
-
表 1 风格元素的建模方法
Table 1 Modeling Methods for Style Elements
风格元素 基于概率统计 基于内容解析 基于神经网络 线划 Sobel滤波[55]、图像梯度[39] UNet[47]、拉普拉斯算子[56]、线划金字塔[57]、
整体嵌套边缘检测[58]颜色 均值、方差[21, 59]、直方图[24-26]、概率密度函数[28]、主成分分析[27]、Sobel滤波[29] 图像调色板[30, 60]、期望最大化[61]、颜色分类[33]、概率分布函数[36]、图像分割[34, 35, 62-64]、交互笔触[65-66]、局部线性嵌入[32]、渐进直方图[67]、径向基函数[37]、主导色[31]、局部仿射变换[68-69] Gram矩阵[40, 41, 51-53, 56, 58, 70, 71]、直方图[72]、白化着色变换[54]、极小极大博弈[47-48]、拉普拉斯算子[53] 纹理 图像滤波器[22]、MRF[73]、图像分割[69]、协方差矩阵[74] Gram矩阵[40, 41, 51-53, 56, 58, 70-71]、MRF[45]、感知损失[58, 75-76]、拉普拉斯算子[56]、极小极大博弈[47-49, 77]、直方图[72]、泊松方程[78]、自适应实例正则化[79]、一阶统计量[44, 80]、白化着色变换[54]、条件实例正则化[81]、层实例正则化[82]、中心矩差异[83] 点符号/注记 Gram矩阵[58, 84]、极小极大博弈[85] 图面要素 表 2 矢量和栅格地图风格迁移对比
Table 2 Comparison of Vector and Raster Map Style Transfer
内容 矢量地图风格迁移 栅格地图风格迁移 风格元素 以颜色为主 以纹理为主 内容解析 需要 不需要 制图规则 需要 不需要 可读性 高 低 内容一致性 完全一致 可能不一致 适用场景 地图设计 瓦片加工 参考源 各类视觉艺术作品: 绘画、照片等 遥感图像等 -
[1] 王家耀. 时空大数据时代的地图学[J]. 测绘学报, 2017, 46(10): 1226-1237 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201710006.htm Wang Jiayao. Cartography in the Age of Spatio-Temporal Big Data[J]. Acta Geodaetica et Cartographica Sinica, 2017, 46(10): 1226-1237 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201710006.htm
[2] 王家耀, 成毅. 论地图学的属性和地图的价值[J]. 测绘学报, 2015, 44(3): 237-241 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201503002.htm Wang Jiayao, Cheng Yi. Discussions on the Attributes of Cartography and the Value of Map[J]. Acta Geodaetica et Cartographica Sinica, 2015, 44(3): 237-241 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201503002.htm
[3] Andrienko N, Andrienko G, Gatalsky P. Exploratory Spatiotemporal Visualization: An Analytical Review[J]. Journal of Visual Languages & Computing, 2003, 14(6): 503-541
[4] Çöltekin A, Bleisch S, Andrienko G, et al. Persistent Challenges in Geovisualization—A Community Perspective[J]. International Journal of Cartography, 2017, 3(s1): 115-139 https://www.cnki.com.cn/Article/CJFDTOTAL-GGXB202202001.htm [5] Griffin A, Robinson A, Roth R. Envisioning the Future of Cartographic Research[J]. International Journal of Cartography, 2017, 3: 1-8
[6] 郭仁忠, 应申. 论ICT时代的地图学复兴[J]. 测绘学报, 2017, 46(10): 1274-1283 doi: 10.11947/j.AGCS.2017.20170335 Guo Renzhong, Ying Shen. The Rejuvenation of Cartography in ICT Era[J]. Acta Geodaetica et Cartographica Sinica, 2017, 46(10): 1274-1283 doi: 10.11947/j.AGCS.2017.20170335
[7] 孟立秋. 地图学的恒常性和易变性[J]. 测绘学报, 2017, 46(10): 1637-1644 doi: 10.11947/j.AGCS.2017.20170359 Meng Liqiu. The Constancy and Volatility in Cartography[J]. Acta Geodaetica et Cartographica Sinica, 2017, 46(10): 1637-1644 doi: 10.11947/j.AGCS.2017.20170359
[8] 周成虎. 全息地图时代已经来临: 地图功能的历史演变[J]. 测绘科学, 2014, 39(7): 3-8 https://www.cnki.com.cn/Article/CJFDTOTAL-CHKD201407001.htm Zhou Chenghu. The Era of Holographic Maps has Arrived: Historical Evolution of Map Functions[J]. Science of Surveying and Mapping, 2014, 39(7): 3-8 https://www.cnki.com.cn/Article/CJFDTOTAL-CHKD201407001.htm
[9] 艾廷华. 大数据驱动下的地图学发展[J]. 测绘地理信息, 2016, 41(2): 1-7 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXG201602002.htm Ai Tinghua. Development of Cartography Driven by Big Data[J]. Journal of Geomatics, 2016, 41(2): 1-7 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXG201602002.htm
[10] 高俊. 图到用时方恨少, 重绘河山待后生: 《测绘学报》60年纪念与前瞻[J]. 测绘学报, 2017, 46(10): 1219-1225 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201710005.htm Gao Jun. The 60 Anniversary and Prospect of Acta Geodaetica et Cartographica Sinica[J]. Acta Geodaetica et Cartographica Sinica, 2017, 46(10): 1219-1225 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201710005.htm
[11] 李霖, 应申. 空间尺度基础性问题研究[J]. 武汉大学学报·信息科学版, 2005, 30(3): 199-203 http://ch.whu.edu.cn/article/id/2133 Li Lin, Ying Shen. Fundamental Problem on Spatial Scale[J]. Geomatics and Information Science of Wuhan University, 2005, 30(3): 199-203 http://ch.whu.edu.cn/article/id/2133
[12] 孟立秋. 地图为人人, 人人都制图[J]. 测绘科学技术学报, 2012, 29(5): 313-320 https://www.cnki.com.cn/Article/CJFDTOTAL-JFJC201205003.htm Meng Liqiu. Map Serves Everybody and Everybody Makes Map[J]. Journal of Geomatics Science and Technology, 2012, 29(5): 313-320 https://www.cnki.com.cn/Article/CJFDTOTAL-JFJC201205003.htm
[13] Jing Y C, Yang Y Z, Feng Z L, et al. Neural Style Transfer: A Review[J]. arXiv, 2017, DOI: 1705.04058
[14] Faridul H S, Pouli T, Chamaret C, et al. Colour Mapping: A Review of Recent Methods, Extensions and Applications[J]. Computer Graphics Forum, 2016, 35(1): 59-88
[15] Pitie F. Advances in Colour Transfer[J]. IET Computer Vision, 2020, 14(6): 304-322
[16] Beconytė G, Viliuvienė R. The Concept and Importance of Style in Cartography[J]. Geodesy and Cartography, 2009, 35(3): 82-91
[17] 凌善金. 地图美学[M]. 芜湖: 安徽师范大学出版社, 2010 Ling Shanjin. Map Aesthetics[M]. Wuhu: Anhui Normal University Press, 2010
[18] MacEachren A M. How Maps Work: Representation, Visualization, and Design[M]. New York : Guilford Publications, 2004
[19] Wu M G, Qiao L G. Designing Metaphorical Multivariate Symbols to Optimize Dockless Bike Sharing[J]. The Cartographic Journal, 2022, 17: 1-19
[20] 瓦西里·康定斯基. 论艺术里的精神[M]. 上海: 上海人民美术出版社, 2014 Kandinsky W. On the Spirit in Art[M]. Shanghai : Shanghai People?s Fine Arts Publishing House, 2014
[21] Reinhard E, Adhikhmin M, Gooch B, et al. Color Transfer Between Images[J]. IEEE Computer Graphics and Applications, 2001, 21(5): 34-41
[22] Efros A A, Freeman W T. Image Quilting for Texture Synthesis and Transfer[C]//The 28th Annual Conference on Computer Graphics and Interactive Techniques, New York, USA, 2001
[23] Barnes C, Zhang F L. A Survey of the State-of-the-Art in Patch-Based Synthesis[J]. Computational Visual Media, 2017, 3(1): 3-20
[24] Morovic J, Sun P L. Accurate 3D Image Colour Histogram Transformation[J]. Pattern Recognition Letters, 2003, 24(11): 1725-1735
[25] Neumann L, Neumann A. Color Style Transfer Techniques Using Hue, Lightness and Saturation Histogram Matching[C]//The 1st Eurographics Conference on Computational Aesthetics in Graphics, Visualization and Imaging, Girona, Spain, 2005
[26] Senanayake C R, Alexander D. Colour Transfer by Feature Based Histogram Registration[C]//British Machine Vision Conference, Coventry, UK, 2007
[27] Abadpour A, Kasaei S. A Fast and Efficient Fuzzy Color Transfer Method[C]//The 4th IEEE International Symposium on Signal Processing and Information Technology, Rome, Italy, 2004
[28] Pitie F, Kokaram A C, Dahyot R. N-Dimensional Probability Density Function Transfer and Its Application to Color Transfer[C]//The 10th IEEE International Conference on Computer Vision, Beijing, China, 2005
[29] Xiao X, Ma L. Gradient-Preserving Color Transfer[J]. Computer Graphics Forum, 2009, 28(7): 1879-1886
[30] Greenfield G R, House D H. A Palette-Driven Approach to Image Color Transfer[C]//The 1st Eurographics Conference on Computational Aesthetics in Graphics, Visualization and Imaging, London, UK, 2005
[31] Yoo J D, Park M K, Cho J H, et al. Local Color Transfer Between Images Using Dominant Colors[J]. Journal of Electronic Imaging, 2013, 22(3): 1-11
[32] Zeng K, Zhang R M, Lan X D, et al. Color Style Transfer by Constraint Locally Linear Embedding[C]//The 18th IEEE International Conference on Image Processing, Brussels, Belgium, 2011
[33] Chang Y, Saito S, Uchikawa K, et al. Example-Based Color Stylization of Images[J]. ACM Transactions on Applied Perception, 2005, 2(3): 322-345
[34] Wu F, Dong W, Kong Y, et al. Content-Based Colour Transfer[J]. Computer Graphics Forum, 2013, 32(1): 190-203
[35] Tsai Y, Shen X, Lin Z, et al. Sky is not the Limit: Semantic-Aware Sky Replacement[J]. ACM Transactions on Graphics, 2016, 35(4): 149
[36] Wen C, Hsieh C, Chen B, et al. Example-based Multiple Local Color Transfer by Strokes[J]. Computer Graphics Forum, 2008, 27(7): 1765-1772
[37] Oskam T, Hornung A, Sumner R W, et al. Fast and Stable Color Balancing for Images and Augmented Reality[C]//The 2nd International Conference on 3D Imaging, Modeling, Zurich, Switzerland, 2012
[38] Hertzmann A, Jacobs C E, Oliver N, et al. Image Analogies[C]//The 28th Annual Conference on Computer Graphics and Interactive Techniques, New York, USA, 2001
[39] Zhang W, Cao C, Chen S F, et al. Style Transfer via Image Component Analysis[J]. IEEE Transactions on Multimedia, 2013, 15(7): 1594-1601
[40] Gatys L A, Ecker A S, Bethge M. A Neural Algorithm of Artistic Style[J]. arXiv, 2015, DOI: 1508.06576
[41] Gatys L A, Ecker A S, Bethge M. Image Style Transfer Using Convolutional Neural Networks[C]//IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, 2016
[42] Portilla J, Simoncelli E P. A Parametric Texture Model Based on Joint Statistics of Complex Wavelet Coefficients[J]. International Journal of Computer Vision, 2000, 40: 49-70
[43] Li Y H, Wang N Y, Liu J Y, et al. Demystifying Neural Style Transfer[C]//The 26th International Joint Conference on Artificial Intelligence, Melbourne, Australia, 2017
[44] Shen F L, Yan S C, Zeng G. Neural Style Transfer Via Meta Networks[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA, 2018
[45] Li C, Wand M. Combining Markov Random Fields and Convolutional Neural Networks for Image Synthesis[C]//IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, 2016
[46] Goodfellow I J, Pouget-Abadie J, Mirza M, et al. Generative Adversarial Networks[J]. arXiv, 2014, DOI: 20141406.2661
[47] Isola P, Zhu J Y, Zhou T H, et al. Image-to-Image Translation with Conditional Adversarial Networks[C]//IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, HI, USA, 2017
[48] Zhu J Y, Park T, Isola P, et al. Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks[C]//IEEE International Conference on Computer Vision, Venice, Italy, 2017
[49] Kotovenko D, Sanakoyeu A, Ma P C, et al. A Content Transformation Block for Image Style Transfer[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, CA, USA, 2019
[50] Liao J, Yao Y, Yuan L, et al. Visual Attribute Transfer Through Deep Image Analogy[J]. ACM Transactions on Graphics, 2017, 36(4): 1-15
[51] Liao Y S, Huang C R. Semantic Context-Aware Image Style Transfer[J]. IEEE Transactions on Image Processing, 2016, 31: 1911-1923
[52] Ma Z, Lin T, Li X, et al. Dual-Affinity Style Embedding Network for Semantic-Aligned Image Style Transfer[J]. IEEE Transactions on Neural Networks and Learning Systems, 2022, DOI: 10.1109/TNNLS.2022.3143356
[53] Luan F J, Paris S, Shechtman E, et al. Deep Photo Style Transfer[C]//IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, HI, USA, 2017
[54] Li Y J, Liu M Y, Li X T, et al. A Closed-Form Solution to Photorealistic Image Stylization[C]//The European Conference on Computer Vision (ECCV), Munich, Germany, 2018
[55] Huang Y C, Tung Y S, Chen J C, et al. An adaptive Edge Detection Based Colorization Algorithm and Its Applications[C]//The 13th Annual ACM International Conference on Multimedia, Hilton, Singapore, 2005
[56] Li S, Xu X, Nie L, et al. Laplacian-Steered Neural Style Transfer[C]//The 25th ACM International Conference on Multimedia, Mountain View, California, USA, 2017
[57] Jing Y C, Liu Y, Yang Y Z, et al. Stroke Controllable Fast Style Transfer with Adaptive Receptive Fields[C]//The European Conference on Computer Vision (ECCV), Munich, Germany, 2018
[58] Cheng M M, Liu X C, Wang J, et al. Structure-Preserving Neural Style Transfer[J]. IEEE Transactions on Image Processing, 2020, 29: 909-920
[59] Welsh T, Ashikhmin M, Mueller K. Transferring Color to Greyscale Images[C]//The 29th Annual Conference on Computer Graphics and Interactive Techniques, San Antonio, Texas, 2002
[60] Frigo O, Sabater N, Demoulin V, et al. Optimal Transportation for Example-Guided Color Transfer[C]//Asian Conference on Computer Vision, Kuala Lumpur, Malaysia, 2015
[61] Tai Y W, Jia J Y, Tang C K. Local Color Transfer via Probabilistic Segmentation by Expectation-Maximization[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Washington DC, USA, 2005
[62] Dong Y, Xu D. Interactive Local Color Transfer Based on Coupled Map Lattices[C]//The 11th IEEE International Conference on Computer-Aided Design and Computer Graphics, Huayin, China, 2019
[63] Nguyen C H, Ritschel T, Myszkowski K, et al. 3D Material Style Transfer[J]. Computer Graphics Forum, 2012, 31(22): 431-438
[64] Hristova H, le Meur O, Cozot R, et al. Style-Aware Robust Color Transfer[C]//The Workshop on Computational Aesthetics, Beijing, China, 2015
[65] Lischinski D, Farbman Z, Uyttendaele M, et al. Interactive Local Adjustment of Tonal Values[J]. ACM Transactions on Graphics, 2006, 25(3): 646-653
[66] An X B, Pellacini F. User-Controllable Color Transfer[J]. Computer Graphics Forum, 2010, 29(2): 263-271
[67] Pouli T, Reinhard E. Progressive Color Transfer for Images of Arbitrary Dynamic Range[J]. Computers & Graphics, 2011, 35(1): 67-80
[68] Shih Y, Paris S, Durand F, et al. Data-Driven Hallucination of Different Times of Day from a Single Outdoor Photo[J]. ACM Transactions on Graphics, 2013, 32(6): 200
[69] Okura F, Vanhoey K, Bousseau A, et al. Unifying Color and Texture Transfer for Predictive Appearance Manipulation[J]. Computer Graphics Forum, 2015, 34(4): 53-63
[70] Gatys L A, Ecker A S, Bethge M, et al. Controlling Perceptual Factors in Neural Style Transfer[C]//IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, HI, USA, 2017
[71] Ulyanov D, Lebedev V, Vedaldi A, et al. Texture Networks: Feed-Forward Synthesis of Textures and Stylized Images[J]. arXiv, 2016, DOI: 603.03417
[72] Risser E, Wilmot P, Barnes C. Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses[J. arXiv, 2017, DOI: 1701.08893
[73] Kwatra V, Schödl A, Essa I, et al. Graphcut Textures[J]. ACM Transactions on Graphics, 2003, 22(3): 277-286
[74] Arbelot B, Vergne R, Hurtut T, et al. Local Texture-Based Color Transfer and Colorization[J]. Computers & Graphics, 2017, 62: 15-27
[75] Johnson J, Alahi A, Li F F. Perceptual Losses for Real-Time Style Transfer and Super-Resolution[C]//European Conference on Computer Vision, Amsterdam, the Netherlands, 2016
[76] Chen D D, Yuan L, Liao J, et al. StyleBank: An Explicit Representation for Neural Image Style Transfer[C]//IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, HI, USA, 2017
[77] Choi Y, Choi M, Kim M, et al. StarGAN: Unified Generative Adversarial Networks for Multi-domain Image-to-Image Translation[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA, 2018
[78] Mechrez R, Shechtman E, Zelnik-Manor L. Photorealistic Style Transfer with Screened Poisson Equation[C]//The British Machine Vision Conference, London, UK, 2017
[79] Huang X, Belongie S. Arbitrary Style Transfer in Real-Time with Adaptive Instance Normalization[C]//IEEE International Conference on Computer Vision, Venice, Italy, 2017
[80] Zhang Y, Zhang Y, Cai W. A Unified Framework for Generalizable Style Transfer: Style and Content Separation[J]. IEEE Transactions on Image Processing, 2020, DOI: 10.1109/TIP.2020.2969081
[81] Choi Y, Uh Y, Yoo J, et al. StarGAN v2: Diverse Image Synthesis for Multiple Domains[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA, 2020
[82] Xu W J, Long C J, Wang R S, et al. DRB-GAN: A Dynamic ResBlock Generative Adversarial Network for Artistic Style Transfer[J]. arXiv, 2021, DOI: 2108.07379
[83] Kalischek N, Wegner J D, Schindler K. In the Light of Feature Distributions: Moment Matching for Neural Style Transfer[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Nashville, TN, USA, 2021
[84] Atarsaikhan G, Iwana B K, Narusawa A, et al. Neural font Style Transfer[C]//The 14th IAPR International Conference on Document Analysis and Recognition (ICDAR), Kyoto, Japan, 2017
[85] Azadi S, Fisher M, Kim V, et al. Multi-content GAN for Few-Shot Font Style Transfer[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA, 2018
[86] Friedmannová L. What Can We Learn from the Masters? Color Schemas on Paintings as the Source for Color Ranges Applicable in Cartography[M]//Heidelberg: Springer, 2009
[87] Christophe S, Hoarau C. Expressive Map Design Based on Pop Art: Revisit of Semiology of Graphics? [J]. Cartographic Perspectives, 2012, 10(73): 61-74
[88] Kang Y H, Gao S, Roth R E. Transferring Multiscale Map Styles Using Generative Adversarial Networks[J]. arXiv, 2019, DOI: 1905.02200
[89] Wu M, Sun Y, Li Y. Adaptive Transfer of Color from Images to Maps and Visualizations[J]. Cartography and Geographic Information Science, 2022, 49(4): 289-312
[90] Bogucka E P, Meng L. Projecting Emotions from Artworks to Maps Using Neural Style Transfer[C]//The International Cartographic Assocication, Tokyo, Japan, 2019
[91] Li Z. Generating Historical Maps from Online Maps[C]//The 27th ACM SIGSPATIAL International Conference on Advances in Geographic Information Systems, Chicago, IL, USA, 2019
[92] 李雅倩, 孙彦杰, 乔莉鸽, 等. 从绘画到地图的风格迁移适宜性分析[J]. 测绘科学, 2022, 47(7): 176-187 https://www.cnki.com.cn/Article/CJFDTOTAL-CHKD202207023.htm Li Yaqian, Sun Yanjie, Qiao Lige, et al. Suitability Analysis of Style Transfer from Painting to Map[J]. Science of Surveying and Mapping, 2022, 47(7): 176-187 https://www.cnki.com.cn/Article/CJFDTOTAL-CHKD202207023.htm
[93] Hoarau C, Christophe S. Cartographic Continuum Rendering Based on Color and Texture Interpolation to Enhance Photo-Realism Perception[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2017, 127: 27-38
[94] Christophe S, Mermet S, Laurent M, et al. Neural Map Style Transfer Exploration with GANs[J]. International Journal of Cartography, 2022, 8(1): 18-36
[95] Chen X, Chen S, Xu T, et al. SMAPGAN: Generative Adversarial Network-Based Semisupervised Styled Map Tile Generation Method[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(5): 4388-4406
[96] Song J Q, Li J, Chen H, et al. MapGen-GAN: A Fast Translator for Remote Sensing Image to Map via Unsupervised Adversarial Learning[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2017, 14: 2341-2357
[97] Xu C X, Zhao B. Satellite Image Spoofing: Creating Remote Sensing Dataset with Generative Adversarial Networks[C]//The 10th International Conference on Geographic Information Science, Dagstuhl, Germany, 2018
[98] Bratkova M, Shirley P, Thompson W. Artistic Rendering of Mountainous Terrain[J]. ACM Trans Graph, 2009, 28: 102
[99] Jenny H, Jenny B. Challenges in Adapting Example-Based Texture Synthesis for Panoramic Map Creation: A Case Study[J]. Cartography and Geographic Information Science, 2013, 40: 297-304
[100] Jenny B, Heitzler M, Singh D, et al. Cartographic Relief Shading with Neural Networks[J]. IEEE Transactions on Visualization and Computer Graphics, 2021, 27(2): 1225-1235
[101] Wu M G, Sun Y J, Jiang S J. Adaptive Color Transfer from Images to Terrain Visualizations[J]. arXiv, 2022, DOI: 2205.14908
[102] 鲁道夫·阿恩海姆. 艺术与视知觉[M]. 长沙: 湖南美术出版社, 2008 Arnheim R. Art and Visual Perception[M]. Changsha: Hunan Fine Arts Publishing House, 2008
[103] 沃克尔马·埃瑟斯. 马蒂斯[M]. 上海: 善本, 2021 Essers V. Matisse[M]. Shanghai: Sendpoints, 2021
[104] Kempadoo K A, Mosharov E V, Choi S J, et al. Dopamine Release from the Locus Coeruleus to the Dorsal Hippocampus Promotes Spatial Learning and Memory[J]. The National Academy of Sciences of the United States of America, 2016, 113(51): 14835-14840
[105] Westbrook A, Braver T S. Dopamine does Double Duty in Motivating Cognitive Effort[J]. Neuron, 2016, 89(4): 695-710
[106] Norman D. The Design of Everyday Things: Revised and Expanded Edition[M]. New York: Basic Books, 2013
-
期刊类型引用(10)
1. 柯文清 ,陈业滨 ,赵志刚 ,韩德志 ,郭仁忠 . 基于文献计量的新世纪地图可视化研究演变和热点分析. 地理与地理信息科学. 2025(01): 15-23 . 百度学术
2. 于峰一泽,汤国安,陆鼎阳,林晓芬,胡光辉,沈婕,吴明光. 语言学视角下的地图演化. 地理学报. 2024(01): 171-186 . 百度学术
3. 韩德志,郭仁忠,陈业滨,赵志刚,柯文清. 基于可视化维度理论的泛地图知识推荐方法. 地球信息科学学报. 2024(01): 110-120 . 百度学术
4. 张岸,朱俊锴. 新一代人工智能驱动下地图学研究的机遇与挑战. 地球信息科学学报. 2024(01): 35-45 . 百度学术
5. 何蓓洁,赵宇,何捷,马昭仪. 使用认知-实践模型的古地图信息本体建模:以样式雷建筑图档为例. 武汉大学学报(信息科学版). 2024(04): 546-561 . 百度学术
6. 闾国年,袁林旺,陈旻,张雪英,周良辰,俞肇元,罗文,乐松山,吴明光. 地理信息学科发展的思考. 地球信息科学学报. 2024(04): 767-778 . 百度学术
7. 吴明光,邵文青,汪浩,刘晓艳. AI绘画在地图制图中的应用与挑战. 现代测绘. 2024(02): 1-7 . 百度学术
8. 马瑞苑,王勇,车向红,杜凯旋. 典型深度学习算法在地图图像特征点匹配上的适用性分析. 测绘科学. 2024(08): 173-180 . 百度学术
9. 亢孟军,陈舒颖,翁敏,苏世亮,杜清运,王少一. 场景化电子地图设计概念框架及实践. 测绘学报. 2024(11): 2064-2074 . 百度学术
10. 王婷,严海峰,江秀明. 自然资源调查成果可视化图件的设计和编制——以台山市为例. 测绘技术装备. 2024(04): 140-145 . 百度学术
其他类型引用(1)