留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于多任务联合稀疏和低秩表示的高分辨率遥感图像分类

刘文轩 祁昆仑 吴柏燕 吴华意

刘文轩, 祁昆仑, 吴柏燕, 吴华意. 基于多任务联合稀疏和低秩表示的高分辨率遥感图像分类[J]. 武汉大学学报 ● 信息科学版, 2018, 43(2): 297-303. doi: 10.13203/j.whugis20160044
引用本文: 刘文轩, 祁昆仑, 吴柏燕, 吴华意. 基于多任务联合稀疏和低秩表示的高分辨率遥感图像分类[J]. 武汉大学学报 ● 信息科学版, 2018, 43(2): 297-303. doi: 10.13203/j.whugis20160044
LIU Wenxuan, QI Kunlun, WU Baiyan, WU Huayi. High Resolution Remote Sensing Image Classification Using Multitask Joint Sparseand Low-rank Representation[J]. Geomatics and Information Science of Wuhan University, 2018, 43(2): 297-303. doi: 10.13203/j.whugis20160044
Citation: LIU Wenxuan, QI Kunlun, WU Baiyan, WU Huayi. High Resolution Remote Sensing Image Classification Using Multitask Joint Sparseand Low-rank Representation[J]. Geomatics and Information Science of Wuhan University, 2018, 43(2): 297-303. doi: 10.13203/j.whugis20160044

基于多任务联合稀疏和低秩表示的高分辨率遥感图像分类

doi: 10.13203/j.whugis20160044
基金项目: 

国家重点基础研究发展规划(973计划) 2012CB719906

详细信息
    作者简介:

    刘文轩, 博士生, 主要从事机器学习与高分辨率遥感影像检索研究。liuwenxuan@whu.edu.cn

    通讯作者: 祁昆仑, 博士。qikunlun@whu.edu.cn
  • 中图分类号: P237

High Resolution Remote Sensing Image Classification Using Multitask Joint Sparseand Low-rank Representation

Funds: 

The Major State Basic Research Development Program of China 2012CB719906

More Information
    Author Bio:

    LIU Wenxuan, PhD candidate, specializes in machine learning and high-resolution remote-sensing images retrieval. E-mail: liuwenxuan@whu.edu.cn

    Corresponding author: QI Kunlun, PhD. E-mail: qikunlun@whu.edu.cn
  • 摘要: 多任务学习(multitask learning,MTL)是一种利用多个任务间共享信息并行学习以提高模型泛化性能的机器学习方法,研究表明该方法可以提升高分辨率遥感图像的分类精度。提出一种基于多任务联合稀疏和低秩表示(multitask joint sparse and low-rank representation,MJSLR)的高分辨率遥感图像分类模型,并采用加速近似梯度法求解凸的光滑函数和非光滑约束的组合优化问题。实验对比分析了多任务和单任务的学习模型,并比较了MJSLR、多核学习方法和多任务联合稀疏表达方法的图像分类准确率,结果表明多任务学习模型能够获得优于单任务学习模型的分类精度,而且融合低秩约束能够一定程度上提高多任务分类模型的精度。
  • 图  1  MJSLR模型框架

    Figure  1.  Scheme Illustration of MJSLR

    图  2  样本示例

    Figure  2.  Some Image Patches

    图  3  参数对分类精度的影响

    Figure  3.  Model Performance Against Parameters

    表  1  MJSLR与单任务模型分类准确率对比

    Table  1.   Accuracy Performance on MJSLR and Single Features

    特征与方法 准确率/%
    GB 40.42±0.74
    phowColor 85.97±0.92
    phowGrey 85.84±3.12
    SSIM 80.48±2.18
    MJSLR 89.10±0.93
    下载: 导出CSV

    表  2  MJSLR与MJSR和MKL分类精度对比

    Table  2.   Accuracy Performance on MJSLR, MJSR and MKL

    分类方法 准确率/%
    MJSLR 89.10±0.93
    MJSR 88.61±1.85
    MKL 87.15±2.30
    下载: 导出CSV
  • [1] Eismann M T, Stocker A D, Nasrabadi N M. Automated Hyperspectral Cueing for Civilian Search and Rescue[J]. Proceedings of IEEE, 2009, 97(6):1031-1055 doi:  10.1109/JPROC.2009.2013561
    [2] GoelP K, PrasherS O, PatelR M, et al. Classification of Hyperspectral Data by Decision Trees and Artificial Neural Networks to Identify Weed Stress and Nitrogen Status of Corn[J]. Computers and Electronics in Agriculture, 2003, 39(2):67-93 doi:  10.1016/S0168-1699(03)00020-6
    [3] Iordache M D, Bioucas-DiasJ M, Plaza A. Sparse Unmixing of Hyperspectral Data[J]. IEEE Transactions Geoscience and Remote Sensing, 2011, 49(6):2014-2039 doi:  10.1109/TGRS.2010.2098413
    [4] Qi K, Wu H, Shen C, et al. Land-Use Scene Classification in High-Resolution Remote Sensing Images Using Improved Correlatons[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(12):2403-2407 doi:  10.1109/LGRS.2015.2478966
    [5] 张倩, 黄昕, 张良培.多尺度同质区域提取的高分辨率遥感影像分类研究[J].武汉大学学报·信息科学版, 2011, 36(1):117-121 http://ch.whu.edu.cn/CN/abstract/abstract433.shtml

    Zhang Q, Huang X, Zhang L. Multiscale Images Segmentation and Classification with Supervised ECHO of High Spatial Resolution Remotely Sensed Imagery[J]. Geomatics and Information Science of Wuhan University, 2011, 36(1):117-121 http://ch.whu.edu.cn/CN/abstract/abstract433.shtml
    [6] 程诗尧, 梅天灿, 刘国英.顾及结构特征的多层次马尔科夫随机场模型在影像分类中的应用[J].武汉大学学报·信息科学版, 2015, 40(9):1180-1187 http://ch.whu.edu.cn/CN/abstract/abstract3318.shtml

    Cheng Shiyao, Mei Tiancan, Liu Guoying. Application of Multi-level MRF Using Structural Feature to Remote Sensing Image Classification[J]. Geomatics and Information Science of Wuhan University, 2015, 40(9):1180-1187 http://ch.whu.edu.cn/CN/abstract/abstract3318.shtml
    [7] 徐侃, 杨文, 陈丽君, 等.利用主题模型的遥感图像场景分类[J].武汉大学学报·信息科学版, 2011, 36(5):540-543 http://ch.whu.edu.cn/CN/abstract/abstract553.shtml

    Xu Kan, Yang Wen, Chen Lijun, et al. Satellite Image Scene Categorization Based on Topic Models[J]. Geomatics and Information Science of Wuhan University, 2011, 36(5):540-543 http://ch.whu.edu.cn/CN/abstract/abstract553.shtml
    [8] Caruana R. Multitask Learning[J]. Machine Learning, 1997, 28(1):41-75 doi:  10.1023/A:1007379606734
    [9] 浦剑. 多任务学习算法研究[D]. 上海: 复旦大学, 2013

    Pu Jian. On Multitask Learning Methods[D]. Shanghai: Fudan University, 2013
    [10] Yuan X, Liu X, Yan S. Visual Classification with Multitask Joint Sparse Representation[J]. IEEE Transactions on Image Processing, 2012, 21(10):4349-4360 doi:  10.1109/TIP.2012.2205006
    [11] Leiva-MurilloJ M, Gómez-Chova L, Camps-Valls G. Multitask Remote Sensing Data Classification[J]. IEEE Transactions on Geoscience & Remote Sensing, 2013, 51(1):151-161 doi:  10.1117/12.865045.pdf
    [12] 俞斌峰. 多任务学习及其在光谱数据分析中的应用[D]. 合肥: 中国科学技术大学, 2015

    Yu Binfeng. Multitask LearningandIts Application in Spectral Multivariate Calibration[D]. Hefei: University of Science and Technology of China, 2015
    [13] Zhang C, Liu J, Tian Q, et al. Image Classification by Non-negative Sparse Coding, Low-rank and Sparse Decomposition[C]. IEEE Computer Vision and Pattern Recognition, Colorado Springs, USA, 2011
    [14] Chen J, Zhou J, Ye J. Integrating Low-rank and Group-sparse Structures for Robust Multi-task Learning[C]. International Conference on Knowledge Discovery and Data Mining, San Diego, USA, 2011
    [15] Zhang T, Ghanem B, Liu B, et al. Low-Rank Sparse Coding for Image Classification[C]. IEEE International Conference on Computer Vision, Sydney, Australia, 2013
    [16] Wright J, Yang A Y, Ganesh A, et al. Robust Face Recognition via Sparse Representation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(2):210-227 doi:  10.1109/TPAMI.2008.79
    [17] Obozinski G, Taskar B, Jordan M. Joint Covariate Selection and Joint Subspace Selection for Multiple Classification Problems[J]. Statistics and Computing, 2009, 20(2):231-252 doi:  10.1007/s11222-008-9111-x
    [18] Lin Y, Liu T, Fuh C. Local Ensemble Kernel Learning for Object Category Recognition[C]. IEEE International Conference on Computer Vision, Rio de Janeiro, Brazil, 2007
    [19] Nesterov Y. Introductory Lectures on Convex Optimization:A Basic Course[M]. New York:Kluwer Academic Publishers, 2004
    [20] Beck A, Teboulle M. A Fast Iterative Shrinkage-thresholding Algorithm for Linear Inverse Problems[J]. SIAM Journal on Imaging Sciences, 2009, 2(1):183-202 doi:  10.1137/080716542
    [21] Mei S, Cao B, Sun J. Encoding Low-Rank and Sparse Structures Simultaneously in Multi-task Learning[J]. Microsoft Technical Report, 2012, 124(1):1-16
    [22] Ji S, Ye J. An Accelerated Gradient Method for Trace Norm Minimization[C]. The 26th Annual International Conference on Machine Learning, Montreal, Canada, 2009
    [23] Chen X, Pan W, Kwok J T, et al. Accelerated Gradient Method for Multi-task Sparse Learning Problem[C]. The 9th IEEE International Conference on Data Mining, Las Vegas, USA, 2009
    [24] Yang Y, Newsam S. Bag-of-visual-words and Spatial Extensions for Land-use Classification[C]. The 18th SIGSPATIAL International Conference on Advances in Geographic Information Systems, San Jose, USA, 2010
    [25] Berg A C, Malik J. Geometric Blur for Template Matching[C]. IEEE Computer Vision and Pattern Recognition, Hawaii, USA, 2001
    [26] Lazebnik S, Schmid C, Ponce J. Beyond Bags of Features: Spatial Pyramid Matching for Recognizing Natural Scene Categories[C]. IEEE Computer Vision and Pattern Recognition, New York, USA, 2006
    [27] Shechtman E, Irani M. Matching Local Self-similarities Across Images and Videos[C]. IEEE Conference on Computer Vision and Pattern Recognition, Minneapolis, USA, 2007
  • [1] 吕亚飞, 熊伟, 张筱晗.  一种通用的跨模态遥感信息关联学习方法 . 武汉大学学报 ● 信息科学版, 2022, 47(11): 1887-1895. doi: 10.13203/j.whugis20200213
    [2] 郭从洲, 李可, 李贺, 童晓冲, 王习文.  遥感图像质量等级分类的深度卷积神经网络方法 . 武汉大学学报 ● 信息科学版, 2022, 47(8): 1279-1286. doi: 10.13203/j.whugis20200292
    [3] 叶昕, 秦其明, 王俊, 郑小坡, 王建华.  利用高分辨率光学遥感图像检测震害损毁建筑物 . 武汉大学学报 ● 信息科学版, 2019, 44(1): 125-131. doi: 10.13203/j.whugis20150490
    [4] 葛芸, 江顺亮, 叶发茂, 许庆勇, 唐祎玲.  基于ImageNet预训练卷积神经网络的遥感图像检索 . 武汉大学学报 ● 信息科学版, 2018, 43(1): 67-73. doi: 10.13203/j.whugis20150498
    [5] 王毅, 李季.  基于SVM的高光谱遥感图像亚像元定位 . 武汉大学学报 ● 信息科学版, 2017, 42(2): 198-201. doi: 10.13203/j.whugis20150443
    [6] 郑肇葆, 郑宏.  利用数据引力进行图像分类 . 武汉大学学报 ● 信息科学版, 2017, 42(11): 1604-1607. doi: 10.13203/j.whugis20160457
    [7] 吴一全, 陶飞翔, 曹照清.  基于Log-Gabor小波和Krawtchouk矩的遥感图像分类 . 武汉大学学报 ● 信息科学版, 2016, 41(7): 861-867. doi: 10.13203/j.whugis20140234
    [8] 郑肇葆, 潘励, 郑宏.  应用图像关联度的图像模糊分类 . 武汉大学学报 ● 信息科学版, 2015, 40(5): 574-577. doi: 10.13203/j.whugis20140736
    [9] 王云艳, 何楚, 赵守能, 陈东, 廖明生.  基于多层反卷积网络的SAR图像分类 . 武汉大学学报 ● 信息科学版, 2015, 40(10): 1371-1376. doi: 10.13203/j.whugis20140366
    [10] 黄远程, 钟燕飞, 赵野鹤, 朱卫恒.  联合盲分解与稀疏表达的高光谱图像异常目标检测 . 武汉大学学报 ● 信息科学版, 2015, 40(9): 1144-1150. doi: 10.13203/j .whu g is20140575
    [11] 吴佳, 蔡之华, 金晓文.  自适应差分演化算法在图像监督分类中的应用 . 武汉大学学报 ● 信息科学版, 2013, 38(1): 23-26.
    [12] 魏士俨, 申振荣, 张烁, 刘少创.  月球车图像超分辨率重建算法 . 武汉大学学报 ● 信息科学版, 2013, 38(4): 436-439.
    [13] 何楚, 刘明, 许连玉, 刘龙珠.  利用特征选择自适应决策树的层次SAR图像分类 . 武汉大学学报 ● 信息科学版, 2012, 37(1): 46-49.
    [14] 刘梦玲, 何楚, 苏鑫, 孙洪.  基于pLSA和Topo-MRF模型的SAR图像分类算法研究 . 武汉大学学报 ● 信息科学版, 2011, 36(1): 122-125.
    [15] 时向勇, 李先华, 郑成建.  基于椭圆曲线密码体制的遥感图像加密算法 . 武汉大学学报 ● 信息科学版, 2010, 35(11): 1309-1313.
    [16] 李先华, 黄微, 罗庆洲, 刘顺喜.  月球表面遥感图像的地形辐射改正原理研究 . 武汉大学学报 ● 信息科学版, 2010, 35(10): 1197-1201.
    [17] 李新双, 张良培, 李平湘, 吴波.  基于小波分量特征值匹配的高光谱影像分类 . 武汉大学学报 ● 信息科学版, 2006, 31(3): 274-277.
    [18] 李德仁, 宁晓刚.  一种新的基于内容遥感图像检索的图像分块策略 . 武汉大学学报 ● 信息科学版, 2006, 31(8): 659-662.
    [19] 王峰, 史文中, 程朋根.  遥感图像纠正误差的局部变形改正 . 武汉大学学报 ● 信息科学版, 2001, 26(5): 425-429.
    [20] 梁益同, 胡江林.  NOAA卫星图像神经网络分类方法的探讨 . 武汉大学学报 ● 信息科学版, 2000, 25(2): 148-152.
  • 加载中
图(3) / 表(2)
计量
  • 文章访问数:  2239
  • HTML全文浏览量:  147
  • PDF下载量:  560
  • 被引次数: 0
出版历程
  • 收稿日期:  2016-06-30
  • 刊出日期:  2018-02-05

基于多任务联合稀疏和低秩表示的高分辨率遥感图像分类

doi: 10.13203/j.whugis20160044
    基金项目:

    国家重点基础研究发展规划(973计划) 2012CB719906

    作者简介:

    刘文轩, 博士生, 主要从事机器学习与高分辨率遥感影像检索研究。liuwenxuan@whu.edu.cn

    通讯作者: 祁昆仑, 博士。qikunlun@whu.edu.cn
  • 中图分类号: P237

摘要: 多任务学习(multitask learning,MTL)是一种利用多个任务间共享信息并行学习以提高模型泛化性能的机器学习方法,研究表明该方法可以提升高分辨率遥感图像的分类精度。提出一种基于多任务联合稀疏和低秩表示(multitask joint sparse and low-rank representation,MJSLR)的高分辨率遥感图像分类模型,并采用加速近似梯度法求解凸的光滑函数和非光滑约束的组合优化问题。实验对比分析了多任务和单任务的学习模型,并比较了MJSLR、多核学习方法和多任务联合稀疏表达方法的图像分类准确率,结果表明多任务学习模型能够获得优于单任务学习模型的分类精度,而且融合低秩约束能够一定程度上提高多任务分类模型的精度。

English Abstract

刘文轩, 祁昆仑, 吴柏燕, 吴华意. 基于多任务联合稀疏和低秩表示的高分辨率遥感图像分类[J]. 武汉大学学报 ● 信息科学版, 2018, 43(2): 297-303. doi: 10.13203/j.whugis20160044
引用本文: 刘文轩, 祁昆仑, 吴柏燕, 吴华意. 基于多任务联合稀疏和低秩表示的高分辨率遥感图像分类[J]. 武汉大学学报 ● 信息科学版, 2018, 43(2): 297-303. doi: 10.13203/j.whugis20160044
LIU Wenxuan, QI Kunlun, WU Baiyan, WU Huayi. High Resolution Remote Sensing Image Classification Using Multitask Joint Sparseand Low-rank Representation[J]. Geomatics and Information Science of Wuhan University, 2018, 43(2): 297-303. doi: 10.13203/j.whugis20160044
Citation: LIU Wenxuan, QI Kunlun, WU Baiyan, WU Huayi. High Resolution Remote Sensing Image Classification Using Multitask Joint Sparseand Low-rank Representation[J]. Geomatics and Information Science of Wuhan University, 2018, 43(2): 297-303. doi: 10.13203/j.whugis20160044
  • 随着遥感技术的发展,各种传感器每天都在采集大量的遥感图像。高分辨率遥感图像(high-resolution remote-sensing images,HRIs)提供丰富的空间和纹理信息,在军事[1]、精准农业[2]、采矿业[3]和土地利用分类[4]等领域中有着广泛的应用,越来越多的学者研究HRIs的信息自动提取和分类[5-6]

    HRIs分类存在训练样本特征维度大但数量不足的情况,使得传统分类方法精度不高[7]。针对此问题,Caruana[8]提出的多任务学习方法能够同时学习多个相关任务,并利用其关联关系提高系统整体泛化性能[9]。在计算机视觉领域,Yuan等[10]基于多任务稀疏线性回归模型,提出一种基于多任务联合稀疏表达(multitask joint sparse representation,MJSR)的图像分类模型,模型融合多种图像特征取得了较好的分类精度。在遥感图像分类应用中,Leiva-Murillo等[11]在高维度小样本遥感图像数据集下将MTL方法引入支持向量机(support vector machines, SVM)模型,在提高模型分类精度的同时降低了分类结果的偏差。俞斌峰[12]将多任务学习应用于光谱数据的分析中,提出了一种结合多任务学习的混合专家模型分类方法。

    遥感图像特征的多任务学习(multitask learning,MTL)问题同时具备稀疏性和低秩性,而稀疏编码和低秩分解技术已广泛应用于图像处理领域。Zhang等[13]采用低秩矩阵和噪声矩阵分解训练图像的ScSPM(sparse coding-based spatial pyramid matching)特征,然后合并所有类别的分解部分做为字典编码图像,提高了图像的分类准确率。Chen等[14]结合低秩和稀疏结构,提出了一种鲁棒的多任务学习模型,训练相关任务共享的特征集合,分离出任务中的低秩部分和稀疏部分,可以有效地去除稀疏噪声。低秩约束的引入利用数据中的低维结构去除其中的干扰成分,提高了训练数据的准确性和模型的抗干扰能力[15]

    本文基于联合稀疏的多任务表达,提出一种多任务联合稀疏和低秩表示(multitask joint sparse and low-rank representation,MJSLR)的高分辨率遥感图像分类模型。MJSLR分类模型通过重建参数的l1, 2范数和核范数实现系数矩阵的联合稀疏表达和低秩约束。实验采用UC merced land use dataset数据集比较多任务学习和单任务学习模型的分类准确率,并比较MJSLR方法与MJSR方法和MKL方法的分类精度。

    • 在机器学习和计算机视觉中,不同的学习任务之间存在共享信息,利用这些任务间的关联关系就可以提升学习系统的性能。而HRIs特征往往存在稀疏性[16],稀疏性理论的研究为HRIs分类问题提供了一种有效的解决途径。

      基于MJSR的分类模型是在稀疏表示分类(sparse representation based classification,SRC)方法的基础上,融入多任务学习方法的判别模型。在目前的遥感图像分类方法中,图像属性的多角度描述使用了大量的遥感图像特征。分类模型中的每一个的遥感图像特征都可以自然地表示为一个线性模型,如测试图像的颜色特征可以通过训练集中每张图片的颜色特征线性表示。在基于MJSR的分类模型中,每个任务对应不同的遥感图像特征,不同的任务可能偏好于不同的线性表示系数,多任务回归模型中的联合稀疏约束为遥感图像分类问题提供了不同任务之间的相关信息,并提高了MJSR模型中参数评估的鲁棒性。

      MJSR模型采用l1, 2正则化项约束多任务回归模型,通过联合稀疏约束并行地训练多个线性模型的参数矩阵。联合稀疏正则化的表达框架能够为所有的分类任务(每种特征对应的分类线性模型)学习共同的特征子集[17],不需要每个任务进行额外的特征选择。

      在遥感图像分类问题中,图像特征组合是当前遥感图像分类模型的趋势。不同的特征考虑了遥感图像不同的属性信息,不同类别下判别力也不尽相同;对比单一的特征,特征组合能够提高特征的类别辨别力。多核学习(multiple kernel learning,MKL)是计算机视觉和遥感图像中常用的特征组合模型[18],能够线性地联合不同的相似函数以提高图像的分类精度,是一种较为经典的图像分类方法,但没有考虑不同任务之间的相关性。

      MJSR模型在MTL框架下引入系数矩阵Wl1, 2混合范数作为约束,融合了多个不同的图像特征进行分类。但是,MJSR只考虑了任务间特征表达矩阵的稀疏性,忽略了MTL的低秩约束。本文结合了多任务图像分类模型的低秩约束与联合稀疏约束,从而更好地去除遥感图像特征高维数据的冗余性,降低模型的计算复杂度。模型采用优化算法对非光滑约束项进行凸松弛,利用一阶凸优化算法求得模型的最优解。

    • 基于MJSLR的遥感图像分类模型的框架如图 1所示。在训练阶段,提取数据集图像的颜色、形状和纹理等特征,对训练集进行训练得到图像的特征描述矩阵。测试阶段,给定一张测试遥感图像,其对应的特征就可以基于多任务联合稀疏和低秩表示模型,采用训练集对应类型图像特征的线性组合表达。通过求解MJSLR优化模型,利用基于稀疏表达的分类器以重建误差最小的类别作为最终的图像分类结果。

      图  1  MJSLR模型框架

      Figure 1.  Scheme Illustration of MJSLR

    • 假设训练集有J个类,每个样本含有S个不同的特征,$ {\mathit{\boldsymbol{X}}^s} = \left[{\mathit{\boldsymbol{X}}_1^s, \mathit{\boldsymbol{X}}_2^s, \cdots \mathit{\boldsymbol{X}}_j^s} \right] \in {{\mathbb{R}}^{{n_k} \times p}} $为训练特征矩阵,其中s∈{1, 2, …, S}。$ \mathit{\boldsymbol{X}}_j^s \in {{\mathbb{R}}^{{n_k} \times p_j}} $表示矩阵Xs的第j列,对应数据集中的第j类,nk是第k个特征的维数,pj是第j类训练样本的个数且j∈{1, 2, …, J}。测试样本y ={ yst, s=1, 2, …, S, t=1, 2, …, T},其中t表示每个样本的实例个数。于是有线性模型ys t=XsWst+ε, 其中Wst为线性模型的系数向量。

      考虑为模型添加一个类别级的稀疏诱导的约束项,以组合多个特征提高系统的泛化能力。同时,对模型中的系数矩阵作一个低秩约束,去除其冗余性和噪声干扰。令向量Wst={Wjst, j=1, 2, …, J},其中Wjst为第j类对应的元素,于是向量Wj=Wj11, …, WjST为表示训练集第j类对应的不同特征和实例的向量。本节建立的模型希望矩阵W同时具有稀疏结构和低秩性,于是有双目标优化问题:

      $$ \begin{array}{l} \mathop {\min }\limits_\mathit{\boldsymbol{W}} \left( {{{\left\| \mathit{\boldsymbol{W}} \right\|}_0}, {\rm{rank}}\left( \mathit{\boldsymbol{W}} \right)} \right)\\ \;\;\;\;\;\;\;\;\;{\rm{s}}{\rm{.t}}{\rm{.}}f\left( \mathit{\boldsymbol{W}} \right) \le \varepsilon \end{array} $$

      该模型等价于

      $$ \mathop {\min }\limits_\mathit{\boldsymbol{W}} F\left( \mathit{\boldsymbol{W}} \right) = f\left( \mathit{\boldsymbol{W}} \right) + \alpha {\left\| \mathit{\boldsymbol{W}} \right\|_0} + \beta \cdot {\rm{rank}}\left( \mathit{\boldsymbol{W}} \right) $$ (1)

      式中, αβ为正则化系数; ‖W0为矩阵W的0范数,表示W中非零元素的个数; rank(W)为矩阵W的秩函数。回归模型f(W)为:

      $$ f\left( \mathit{\boldsymbol{W}} \right) = \frac{1}{2}\sum\limits_{s = 1}^S {\sum\limits_{t = 1}^T {{{\left( {{y^{st}} - {\mathit{\boldsymbol{X}}^s}{\mathit{\boldsymbol{W}}^{st}}} \right)}^2}} } $$

      一方面,任务间的聚类关系通常会使参数矩阵具有一种低秩结构,聚合到同一类中的任务共享部分特征,这就使得参数矩阵成为一个很多分块为零矩阵的分块矩阵。本文中所选取的低维空间诱导的结构就是低秩结构,也就是系数矩阵W的核范数。另一方面,稀疏假设在保持模型分类精度的前提下会丢弃模型中不相关的特征,与低秩假设相得益彰,通过对稀疏表示的学习获得任务间的关联关系。

      对参数矩阵W施加一个联合稀疏的约束项,对W求其l1, 2范数。即首先为了保持第j类图像所有原子的结构对Wj求其l2范数,然后为了提升部分类别的稀疏性,求得向量{‖Wj2, j=1, 2, …, J}的l1范数。由此可以看出,多任务学习范式下的l1, 2范数是对单任务学习范式下l1范数的一种扩展。矩阵W的核范数是对应矩阵W的奇异值之和,即$ {\left\| \mathit{\boldsymbol{W}} \right\|_ * } = \sum\limits_{i = 1}^r {{\sigma _i}} \left( \mathit{\boldsymbol{W}} \right) $,其中r表示矩阵Wr个正的奇异值,且σ1σ2≥…≥σr>0。由于矩阵Wr个奇异值均为正数,它的核范数就相当于W的奇异值向量的l1范数,故矩阵W的核范数也称为Schattenl1范数。

      由此,在对‖W0和秩函数rank(W)凸松弛后,有如下结合低秩结构和组合稀疏约束的多任务分类模型:

      $$ \begin{array}{l} \mathop {\min }\limits_\mathit{\boldsymbol{W}} F\left( \mathit{\boldsymbol{W}} \right) = \frac{1}{2}\sum\limits_{s = 1}^S {\sum\limits_{t = 1}^T {{{\left( {{y^{st}} - {\mathit{\boldsymbol{X}}^s}{\mathit{\boldsymbol{W}}^{st}}} \right)}^2}} } + \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\alpha {\left\| \mathit{\boldsymbol{W}} \right\|_{1, 2}} + \beta {\left\| \mathit{\boldsymbol{W}} \right\|_ * } \end{array} $$ (2)

      其中αβ为正则化系数,以平衡函数f(W)与正则化项‖W1, 2和‖W*

      α=0时,模型退化为一个低秩结构约束下的多任务分类模型,该模型可以学习任务间的部分共享的特征。当β=0时,问题变为一个具有稀疏结构约束的模型。因此,需要利用αβ调整稀疏结构和低秩结构的权重以使模型达到最优的分类效果。

      考虑基于低秩结构和组合稀疏约束的多任务图像分类模型,在求得式(2)的系数矩阵W*后,对于测试样本,有yst=XjsWjst。对于一张测试图片来说,如果对应的第j类重建误差最小,就判定该影像属于样本集的第j类:

      $$ {j^ * } = \arg \min \sum\limits_{s = 1}^S {\sum\limits_{t = 1}^T {{{\left\| {{y^{st}} - X_j^s\mathit{\boldsymbol{W}}_j^{st}} \right\|}^2}} } $$ (3)
    • 针对式(2)中凸光滑函数的优化问题,Nesterov[19]提出用一阶梯度方法求解凸光滑函数与一项非光滑函数的和函数优化问题。同时,Beck等[20]提出了快速迭代压缩阈值算法(fast iterative shrinkage-thresholding algorithm,FISTA)来求解凸光滑函数与非光滑约束构成的和函数优化问题。在FISTA算法的基础上,若将目标函数式(2)变为一项光滑的凸函数与一项非光滑正则项的和函数,则模型优化就可以利用加速近似梯度法求解。于是本文利用Moreau Proximal Smoothing函数[21]Φ(W)来近似核范数‖W*,然后计算Φ(W)的梯度:

      $$ \mathit{\Phi }\left( \mathit{\boldsymbol{W}} \right)\mathop {\min }\limits_G \frac{1}{{2\lambda_0 }}\left\| {\mathit{\boldsymbol{W}} - \mathit{\boldsymbol{G}}} \right\|_F^2 + \beta {\left\| \mathit{\boldsymbol{W}} \right\|_ * } $$ (4)

      其中, λ0为参数。凸光滑函数Φ(WV)的梯度为:

      $$ \nabla \mathit{\Phi }\left( \mathit{\boldsymbol{W}} \right) = \beta \left( {\mathit{\boldsymbol{W}} - {G^ * }\left( \mathit{\boldsymbol{W}} \right)} \right) $$ (5)

      其中, $ {G^ * }\left( \mathit{\boldsymbol{W}} \right) = \arg \mathop {\min }\limits_G \left( {\frac{1}{{2\lambda }}\left\| {\mathit{\boldsymbol{W}} - \mathit{\boldsymbol{G}}} \right\|_F^2 + \beta {{\left\| \mathit{\boldsymbol{G}} \right\|}_ * }} \right) $。

      对于核范数来说,可以通过W的奇异值分解的软阈值算子得到G*(W)的表达式[22]。设$ \mathit{\boldsymbol{W}} \in {\mathbb{R}^{m \times n}}, U \in {\mathbb{R}^{m \times r}}, V \in {\mathbb{R}^{n \times r}}, \mathit{\boldsymbol{W}} = \mathit{\boldsymbol{U \boldsymbol{\varSigma} }}{\mathit{\boldsymbol{V}}^{\rm{T}}} $为矩阵W的奇异值分解,$ \mathit{\boldsymbol{ \boldsymbol{\varSigma} }} \in {\mathbb{R}^{r \times r}} $是一个对角矩阵,r=rank(W),则有:

      $$ {T_\lambda }\left( \mathit{\boldsymbol{W}} \right) = \mathop {\min }\limits_G \frac{1}{{2{\lambda _0}}}\left\| {\mathit{\boldsymbol{W}} - \mathit{\boldsymbol{G}}} \right\|_F^2 + \beta {\left\| \mathit{\boldsymbol{G}} \right\|_ * } $$

      其中, $ \mathit{\boldsymbol{W}} = \mathit{\boldsymbol{U}}{\mathit{\boldsymbol{ \boldsymbol{\varSigma} }}_r}{\mathit{\boldsymbol{V}}^{\rm{T}}}, {\mathit{\boldsymbol{ \boldsymbol{\varSigma} }}_r} $为对角矩阵。

      由式(5)可知,$ \nabla \mathit{\Phi }\left( \mathit{\boldsymbol{W}} \right) $可以表示为:

      $$ \nabla \mathit{\Phi }\left( \mathit{\boldsymbol{W}} \right) = \beta \left( {\mathit{\boldsymbol{W}} - {T_\lambda }\left( \mathit{\boldsymbol{W}} \right)} \right) $$

      在得到函数Φ(W)的梯度后,记H(W)=f(W)+Φ(W),则模型(2)中目标函数为:

      $$ \mathop {\min }\limits_\mathit{\boldsymbol{W}} F\left( \mathit{\boldsymbol{W}} \right) = H\left( \mathit{\boldsymbol{W}} \right) + \alpha {\left\| \mathit{\boldsymbol{W}} \right\|_{1, 2}} $$ (6)

      目标函数F(W)可以看作凸光滑函数H(W)与非光滑正则化项‖W1, 2的和函数。同文献[23]中的求解方法一样,使用加速近似梯度法可以求解式(6), 从而得到参数矩阵W

    • 建立了结合低秩结构和组合稀疏约束的多任务图像分类模型之后,利用Moreau近似方法对式(2)进行处理,然后利用加速近似梯度法求解式(6),就可求得满足条件的W,最后利用给出的分类规则即可完成对数据集图像的分类。具体的算法流程为:

      1) 输入:图像特征矩阵Xs, s=1, 2, …, S, 待查图像特征向量y={yst, s=1, 2, …, S, t=1, 2, …, T}, 正则化参数αβλ,以及W0L0

      2) 输出:Wt+1j*

      3) 初始化条件:W0= V0=0, t=0, η1=1;

      4) 加速近似梯度法的迭代过程:

      $$ \begin{array}{l} {\mathit{\boldsymbol{W}}_{t + 1}} = H\left( {{\mathit{\boldsymbol{V}}_t}} \right) + \left\langle {\nabla H\left( {{\mathit{\boldsymbol{V}}_t}} \right), \left( {\mathit{\boldsymbol{V}} - {\mathit{\boldsymbol{V}}_t}} \right)} \right\rangle + \\ \;\;\;\;\;\frac{{{L_t}}}{2}\left\| {V - {V_t}} \right\|_F^2 + \alpha {\left\| V \right\|_{1, 2}}\\ \;\;\;\nabla H\left( {{V_t}} \right) = \nabla f\left( {{V_t}} \right) + \nabla \mathit{\Phi }\left( {{V_t}} \right)\\ \;\;\;{\eta _{t + 1}} = \frac{1}{2}\left( {1 + \sqrt {1 + 4\eta _t^2} } \right)\\ \;\;\;{V_{t + 1}} = {\mathit{\boldsymbol{W}}_{t + 1}}\frac{{{\eta _{t - 1}}}}{{{\eta _{t + 1}}}}\left( {{\mathit{\boldsymbol{W}}_{t + 1}} - {\mathit{\boldsymbol{W}}_t}} \right) \end{array} $$

      直至W满足收敛条件tt+1

      5) 计算

      $$ {j^ * } = \arg \min \sum\nolimits_{s = 1}^S {\sum\limits_{t = 1}^T {{{\left\| {{y^{st}} - X_j^s\mathit{\boldsymbol{W}}_j^{st}} \right\|}^2}} } $$
    • 就MJSLR模型的计算复杂度而言,每次迭代都需要计算凸光滑项H(W)的梯度,即模型的运算消耗主要来自于▽f(Wt)和▽Φ(Wt)的计算。设Q为MJSLR模型求解的平均迭代次数,则计算▽H(Wt)所需的浮点运算次数为O(STnkp+2QSTnkp+QM), 其中M为矩阵W进行SVD分解时所产生的计算消耗。而‖W1, 2的计算量与▽H(W)相比可以忽略不计。因此,式(6)的计算复杂度为O(STnkp+2QSTnkp+QM)。

    • 实验采用Yang等[24]提供的UC merced land use dataset。该数据集包含飞机场、棒球场、海滩、高速公路和港口等21类关于土地利用的遥感图像,其中每一类都包含有对应分类中的100张图片。即数据集有2 100张图片,每张图片的像素值为256×256,图 2展示了部分样本示例。这些遥感图像是依据美国地质勘探局国家市区地图影像收集数据库人工选取的美国全境内不同地区的图像,这种公共领域图像的像素分辨率为0.304 8 m(1英尺)。实验采用75%的遥感图像作为训练集,25%作为测试集。最终的分类准确率是整个数据集进行10次训练(每次训练随机分割数据集)所得图像分类精度的平均值。

      图  2  样本示例

      Figure 2.  Some Image Patches

      本文利用VLFeat特征算法提取图像特征GB(Geometric Blur)[25]、phowColor和phowGrey[26]、SSIM(self-similarities)[27],其中phowColor、phowGrey和SSIM采用空间金字塔分割的第二层数据。为了说明MJSLR方法的分类效果,实验比较了MJSLR方法与MJSR方法、MKL方法的遥感图像分类精度。

    • MJSLR方法与单特征模型的分类准确率对比如表 1所示,可以看出,MJSLR方法的分类准确率明显高于每个单特征的分类准确率,其中,GB特征对模型分类精度的影响最小,phowColor和phowGrey两个特征的分类准确率相近。与MJSLR模型相比,phowColor和phowGrey两个特征的分类精度稍低于本文方法,可以推测这两个特征对遥感图像的分类贡献最高,而其他特征对遥感图像的分类贡献相对较小。因此,采用多任务分类模型考虑了不同特征的属性,并融合不同特征信息,能够提高遥感图像的分类精度。

      表 1  MJSLR与单任务模型分类准确率对比

      Table 1.  Accuracy Performance on MJSLR and Single Features

      特征与方法 准确率/%
      GB 40.42±0.74
      phowColor 85.97±0.92
      phowGrey 85.84±3.12
      SSIM 80.48±2.18
      MJSLR 89.10±0.93

      表 2所示,与MJSR方法和MKL方法相比,MJSLR模型的分类精确度优于其他两种方法,由此可见低秩约束能够一定程度上提高MJSR的分类精度。但由于本文的特征只采用GB、phowColor、phowGrey和SSIM这4种特征,由单一特征和多特征的比较来看,phowColor和phowGrey两个特征的分类精度已经比较高,而其他特征对于分类的精度贡献较小,因此可能由于特征的局限性,本文的方法对于分类精度的提升不是非常明显。

      表 2  MJSLR与MJSR和MKL分类精度对比

      Table 2.  Accuracy Performance on MJSLR, MJSR and MKL

      分类方法 准确率/%
      MJSLR 89.10±0.93
      MJSR 88.61±1.85
      MKL 87.15±2.30

      MJSLR方法与深度卷积神经网络方法都是判别式的监督学习方法。MJSLR以模型优化为切入点,利用多任务学习与低秩结构强化不同特征的描述能力,并从全局角度去除冗余,具有完备的理论体系和较高的可扩展性。深度卷积神经网络方法更加关注图像特征表示的一般性,可以通过深度网络结构学习遥感图像的结构化特征,在该数据集上具有更高的分类准确率。但是,目前深度学习研究并没有形成一套完备的理论体系,模型正确性的验证较为复杂,参数调试一般都是基于经验的,研究的可扩展性不高。就建模思路而言,MJSLR模型所采用的多任务学习与全局低秩结构也可以用于深度卷积网络分类问题中。

    • 图 3所示,横轴表示参数β的值,纵轴表示参数α的值,竖轴是对应参数下图像分类精确度。当β=0时,模型便为MJSR方法,此时正则化项仅有联合稀疏约束。当α=0时,MJSLR模型的正则化约束项仅为低秩约束。在UC merced land use dataset中,随着正则化参数αβ的值的变化,MJSLR模型所得到的图像分类准确率处于一种波动的情况,采用交叉验证的方式选取合适的正则化参数αβ,就可以得到最优的图像分类准确率。

      图  3  参数对分类精度的影响

      Figure 3.  Model Performance Against Parameters

    • 多任务学习是一种有效提取多媒体数据信息的技术,能够有效地利用不同学习系统中任务间的共享信息。本文在多任务学习框架的基础上,基于低秩约束和联合稀疏约束,提出一种MJSLR遥感图像分类模型。实验结果表明多任务学习的分类精度明显高于单任务学习模型。同时,MJSLR方法的分类精度略优于MJSR模型和MKL模型。

      下一步拟采用更多的遥感图像特征验证模型的有效性。同时,本文模型的优化算法采取近似函数对其中的非光滑正则化项作了处理,使优化模型变为求解凸光滑函数项与非光滑正则化项的组合,接下来拟设计一种新的算法,求解更一般形式的凸光滑损失函数与多个非光滑正则化项的组合模型,在模型求解的基础上使收敛速度更快。

      此外,拟结合全局低秩结构与多任务学习训练一种适应高分辨率遥感图像分类的深度卷积网络,进而将其应用于遥感图像的场景分类问题。

参考文献 (27)

目录

    /

    返回文章
    返回