留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

适用于训练样本选择的斜交因子模型研究

虞欣 郑肇葆 李林宜

虞欣, 郑肇葆, 李林宜. 适用于训练样本选择的斜交因子模型研究[J]. 武汉大学学报 ( 信息科学版), 2022, 47(11): 1870-1877. doi: 10.13203/j.whugis20200631
引用本文: 虞欣, 郑肇葆, 李林宜. 适用于训练样本选择的斜交因子模型研究[J]. 武汉大学学报 ( 信息科学版), 2022, 47(11): 1870-1877. doi: 10.13203/j.whugis20200631
YU Xin, ZHENG Zhaobao, LI Linyi. Oblique Factor Model for Selecting Training Samples[J]. Geomatics and Information Science of Wuhan University, 2022, 47(11): 1870-1877. doi: 10.13203/j.whugis20200631
Citation: YU Xin, ZHENG Zhaobao, LI Linyi. Oblique Factor Model for Selecting Training Samples[J]. Geomatics and Information Science of Wuhan University, 2022, 47(11): 1870-1877. doi: 10.13203/j.whugis20200631

适用于训练样本选择的斜交因子模型研究

doi: 10.13203/j.whugis20200631
基金项目: 

国家重点研发计划 2018YFC0407804

详细信息
    作者简介:

    虞欣,博士, 教授, 主要从事摄影测量与遥感、影像解译、人工智能等研究。china_yuxin@163.com

    通讯作者: 李林宜,博士,副教授。lilinyi@whu.edu.cn
  • 中图分类号: P237

Oblique Factor Model for Selecting Training Samples

Funds: 

The National Key Research and Development Program of China 2018YFC0407804

More Information
    Author Bio:

    YU Xin, PhD, professor, specializes in photogrammetry and remote sensing, image interpretation and artificial intelligence. E-mail: china_yuxin@163.com

    Corresponding author: LI Linyi, PhD, associate professor. E-mail: lilinyi@whu.edu.cn
  • 摘要: 训练样本的质量直接影响训练阶段的训练质量(或效果),进而在一定程度上影响测试阶段的分类精度。训练样本的代表性和典型性则反映出训练样本质量的一个重要方面。对于当前非常流行的深度学习模型研究,如何尽可能地减少训练样本的数量,一方面成为一个非常“棘手”的问题,另一方面从实际应用的角度来看,这也上升为一个经济或成本方面的问题。提出了一种适用于训练样本选择的斜交因子模型方法,该方法松弛了Q型因子分析和对应分析对于公因子之间独立的假设条件,并在斜交参考解的基础上提出一种适合训练样本选择的近似求解斜交旋转的方法。实验结果表明,所提方法是可行、有效的。与基于正交因子模型的方法相比,它可以更好地描述或逼近现实的真实情况,可以选择出更合理、更具有代表性的典型训练样本,并且还可以取得满意的分类精度。适用于训练样本选择的斜交因子模型方法优于基于正交因子模型的训练样本的选择方法,被选择的训练样本分布相对更分散、更合理,而且总的分类精度平均提高3%左右。
  • 图  1  每一类中的3幅样本图像

    Figure  1.  Three Samples for Each Class

    图  2  经过Q型因子模型后被选中的具有代表性的典型样本

    Figure  2.  Selected Representative Samples Based on Q-factor Model

    图  3  经过斜交因子模型后被选中的具有代表性的典型样本

    Figure  3.  Selected Representative Samples Based on Oblique Factor Model

    图  4  4种方法的分类精度比较

    Figure  4.  Comparison of Overall Classification Accuracy of

    表  1  4种方法的分类精度比较

    Table  1.   Overall Classification Accuracy of Comparison Based on 4 Methods

    方法 N 均值 标准差
    15 20 25 30 35 40 45 50
    斜交因子 0.91 0.93 0.93 0.93 0.93 0.93 0.93 0.93 0.93 0.005
    正交因子 0.88 0.89 0.88 0.90 0.90 0.90 0.90 0.90 0.90 0.006
    随机选择 0.80 0.82 0.85 0.86 0.87 0.88 0.89 0.91 0.86 0.031
    数据驱动 0.88 0.88 0.88 0.88 0.89 0.88 0.89 0.89 0.88 0.003
    下载: 导出CSV

    表  2  4种方法的错分样本数量比较

    Table  2.   Comparison of Misjudged Samples of 4 Methods

    方法 N
    15 20 25 30 35 40 45 50
    斜交因子 58 47 45 43 45 41 43 43
    正交因子 75 71 73 65 63 61 65 65
    随机选择 128 112 96 86 80 77 69 59
    数据驱动 73 70 75 75 68 70 68 68
    下载: 导出CSV
  • [1] Adeli E, Li X, Kwon D, et al. Logistic Regression Confined by Cardinality-Constrained Sample and Feature Selection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(7): 1713-1728 doi:  10.1109/TPAMI.2019.2901688
    [2] Arnold R B, Wang L, Lopez T, et al. Updating Lead and Copper Rule Sample- Site Selection: Best Practices from an Innovative Pilot Program [J]. Journal of American Water Works Association, 2020, 112(4): 22-31 doi:  10.1002/awwa.1478
    [3] Au J, Youngentob K N, Foley W J, et al. Sample Selection, Calibration and Validation of Models Developed from a Large Dataset of Near Infrared Spectra of Tree Leaves[J]. Journal of Near Infrared Spectroscopy, 2020, 28(4): 096703352090253
    [4] Bellver M, Salvador A, Torres J, et al. Mask-Guided Sample Selection for Semi-supervised Instance Segmentation[J]. Multimedia Tools and Applications, 2020, 79(4): 1-19
    [5] Silva M V B, Carvalho A A P, Jacobs A S, et al. Sample Selection Search to Predict Elephant Flows in IXP Programmable Networks[C]//International Conference on Advanced Information Networking and Applications, Caserta, Italy, 2020
    [6] Fernández M, García J E, Gholizadeh R, et al. Sample Selection Procedure in Daily Trading Volume Processes[J]. Mathematical Methods in the Applied Sciences, 2020, 43(13): 7537-7549 doi:  10.1002/mma.5705
    [7] He Kaixun, Wang Kai, Yan Yayun. Active Training Sample Selection and Updating Strategy for Near-Infrared Model with an Industrial Application [J]. Chinese Journal of Chemical Engineering, 2019, 27(11): 2749-2758 doi:  10.1016/j.cjche.2019.02.018
    [8] Kral J, Gotthans T, Marsalek R, et al. On Feedback Sample Selection Methods Allowing Lightweight Digital Predistorter Adaptation[J]. IEEE Transactions on Circuits and Systems I: Regular Papers, 2020, 67(6): 1976-1988 doi:  10.1109/TCSI.2020.2975532
    [9] Li Huiyong, Bao Weiwei, Hu Jinfeng, et al. A Training Samples Selection Method Based on System Identification for STAP [J]. Signal Processing, 2018, 142: 119-124
    [10] Liu Jing, Zhu Axing, Rossiter D, et al. A Trustworthiness Indicator to Select Sample Points for the Individual Predictive Soil Mapping Method (iPSM) [J]. Geoderma, 2020, 373
    [11] Liu X, Zhu A X, Yang L, et al. A Graded Proportion Method of Training Sample Selection for Updating Conventional Soil Maps[J]. Geoderma, 2020, 357: 113939 doi:  10.1016/j.geoderma.2019.113939
    [12] Lu Qikai, Ma Yong, Xia Guisong. Active Learning for Training Sample Selection in Remote Sensing Image Classification Using Spatial Information [J]. Remote Sensing Letters, 2017, 8(12): 1210-1219 doi:  10.1080/2150704X.2017.1375610
    [13] Lu Wenbo, Ma Chaoqun, Li Peikun. Research on Sample Selection of Urban Rail Transit Passenger Flow Forecasting Based on SCBP Algorithm [J]. IEEE Access, 2020, 8: 89425-89438 doi:  10.1109/ACCESS.2020.2993595
    [14] Lu Yang, Ma Xiaolei, Lu Yinan. A Cluster-Based Sample Selection Strategy for Biological Event Extraction [C] // The 9th International Workshop on Computer Science and Engineering, Hong Kong, China, 2019
    [15] Ma Jing, Hong Dezhi, Wang Hongning. Selective Sampling for Sensor Type Classification in Buildings [C]//The 19th ACM/IEEE International Conference on Information Processing in Sensor Networks, Sydney, Australia, 2020
    [16] Ng W W Y, Jiang X, Tian X, et al. Incremental Hashing with Sample Selection Using Dominant Sets[J]. International Journal of Machine Learning and Cybernetics, 2020, 11(12): 2689-2702 doi:  10.1007/s13042-020-01145-z
    [17] Hamid R. Considering Factors Affecting the Prediction of Time Series by Improving Sine-Cosine Algorithm for Selecting the Best Samples in Neural Network Multiple Training Model [J]. Lecture Notes in Electrical Engineering, 2019, 480: 307-320
    [18] 虞欣, 郑肇葆. 基于Q型因子分析的训练样本的选择[J]. 测绘学报, 2007, 36(1): 67-71

    Yu Xin, Zheng Zhaobao. Selcection of Training Samples Based on R-Q Factor Analysis[J]. Acta Geodaetica et Cartographica Sinica, 2007, 36(1): 67-71
    [19] 虞欣, 郑肇葆. 基于对应分析的训练样本的选择[J]. 测绘学报, 2008, 37(2): 190-195

    Yu Xin, Zheng Zhaobao. Selcection of Training Samples Based on Correspondence Analysis[J]. Acta Geodaetica et Cartographica Sinica, 2008, 37(2): 190-195
    [20] Tang Pengfei, Du Peijun, Lin Cong, et al. A Novel Sample Selection Method for Impervious Surface Area Mapping Using JL1-3B Nighttime Light and Sentinel-2 Imagery [J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2020, 13: 3931-3941
    [21] Tran N, Abramenko O, Jung A. On the Sample Complexity of Graphical Model Selection from Non-stationary Samples[J]. IEEE Transactions on Signal Processing, 2019, 68: 17-32
    [22] Varshavskiy I E, Dmitriev I A, Krasnova A I, et al. Selection of Sampling Rate for Digital Noise Filtering Algorithms[C]//IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering, St. Petersburg and Moscow, Russia, 2020
    [23] Xu Xinzheng, Li Shan, Liang Tianming, et al. Sample Selection-Based Hierarchical Extreme Learning Machine [J]. Neurocomputing, 2020, 377: 95-102
    [24] 於崇文. 数学地质的方法与应用[M]. 北京: 冶金工业出版社, 1980

    Yu Chongwen. Mathematical Geology and Application[M]. Beijing: Metallurgy Industry Press, 1980
    [25] Zhang Chenxiao, Wu Yifeng, Guo Mingming, et al. Training Sample Selection for Space-Time Adaptive Processing Based on Multi-frames[J]. Journal of Engineering, 2019, 20: 6369-6372
    [26] Zhang X, Seyfi T, Ju S, et al. Deep Learning for Interference Identification: Band, Training SNR, and Sample Selection[C]//The 20th International Workshop on Signal Processing Advances in Wireless Communications, Cannes, France, 2019
    [27] 虞欣, 郑肇葆, 汤凌, 等. 基于Naive Bayes Classifiers的航空影像纹理分类[J]. 武汉大学学报∙信息科学版, 2006, 31(2): 108-111 http://ch.whu.edu.cn/article/id/2379

    Yu Xin, Zheng Zhaobao, Tang Ling, et al. Aerial Image Texture Classification Based on Naive Bayes Classifiers[J]. Geomatics and Information Science of Wuhan University, 2006, 31(2): 108-111 http://ch.whu.edu.cn/article/id/2379
    [28] 虞欣, 郑肇葆, 叶志伟, 等. 基于Tree Augmented Naive Bayes Classifier的影像纹理分类[J]. 武汉大学学报∙信息科学版, 2007, 32(4): 287-289 http://ch.whu.edu.cn/article/id/1872

    Yu Xin, Zheng Zhaobao, Ye Zhiwei, et al. Texture Classification Based on Tree Augmented Naive Bayes Classifier[J]. Geomatics and Information Science of Wuhan University, 2007, 32(4): 287-289 http://ch.whu.edu.cn/article/id/1872
    [29] 郑肇葆, 潘励, 郑宏. 图像纹理基元分类的马尔柯夫随机场方法[J]. 武汉大学学报∙信息科学版, 2017, 42(4): 463-467 doi:  10.13203/j.whugis20150615

    Zheng Zhaobao, Pan Li, Zheng Hong. A Method of Image Texture Texton Classification with Markov Random Field[J]. Geomatics and Information Science of Wuhan University, 2017, 42(4): 463-467 doi:  10.13203/j.whugis20150615
    [30] 郑肇葆, 郑宏. 利用数据引力进行图像分类[J]. 武汉大学学报∙信息科学版, 2017, 42(11): 1604-1607 doi:  10.13203/j.whugis20160457

    Zheng Zhaobao, Zheng Hong. Image Classification Based on Data Gravitation[J]. Geomatics and Information Science of Wuhan University, 2017, 42(11): 1604-1607 doi:  10.13203/j.whugis20160457
  • [1] 孙一帆, 余旭初, 谭熊, 刘冰, 高奎亮.  面向小样本高光谱影像分类的轻量化关系网络 . 武汉大学学报 ( 信息科学版), 2022, 47(8): 1336-1348. doi: 10.13203/j.whugis20210157
    [2] 高云龙, 张帆, 屈孝志, 黄先锋, 崔婷婷.  结合样本自动选择与规则性约束的窗户提取方法 . 武汉大学学报 ( 信息科学版), 2018, 43(3): 436-443. doi: 10.13203/j.whugis20150225
    [3] 王春艳, 刘佳新, 徐爱功, 王玉, 隋心.  一种新的高分辨率遥感影像模糊监督分类方法 . 武汉大学学报 ( 信息科学版), 2018, 43(6): 922-929. doi: 10.13203/j.whugis20150726
    [4] 赵波, 苏红军, 蔡悦.  一种切空间协同表示的高光谱遥感影像分类方法 . 武汉大学学报 ( 信息科学版), 2018, 43(4): 555-562, 604. doi: 10.13203/j.whugis20150579
    [5] 贾永红, 谢志伟, 吕臻, 祝梦花, 刘美娟.  一种新的遥感影像变化检测方法 . 武汉大学学报 ( 信息科学版), 2016, 41(8): 1001-1006. doi: 10.13203/j.whugis20150025
    [6] 程诗尧, 梅天灿, 刘国英.  顾及结构特征的多层次马尔科夫随机场模型在影像分类中的应用 . 武汉大学学报 ( 信息科学版), 2015, 40(9): 1180-1187. doi: 10.13203/j .whu g is20130692
    [7] 牛超, 李夕海, 易世华, 卢世坤, 刘代志.  地磁变化场的MEEMD-样本熵-LSSVM预测模型 . 武汉大学学报 ( 信息科学版), 2014, 39(5): 626-630. doi: 10.13203/j.whugis20130261
    [8] 唐韵玮, 张景雄.  遥感影像土地覆盖分类的多点地统计学方法 . 武汉大学学报 ( 信息科学版), 2014, 39(5): 546-550. doi: 10.13203/j.whugis20130023
    [9] 温奇, 夏列钢, 李苓苓, 吴玮.  面向灾害应急土地覆被分类的样本自动选择方法研究 . 武汉大学学报 ( 信息科学版), 2013, 38(7): 799-804.
    [10] 袁理, 陈庆虎, 鄢煜尘, 段柳云.  两因子模型在多姿态人脸识别中的应用 . 武汉大学学报 ( 信息科学版), 2012, 37(5): 546-549.
    [11] 熊彪, 江万寿, 李乐林.  基于高斯混合模型的遥感影像半监督分类 . 武汉大学学报 ( 信息科学版), 2011, 36(1): 108-112.
    [12] 张永红, 张继贤, 郭健, 曹银璇.  全球地图第一版中国土地覆盖产品的生成 . 武汉大学学报 ( 信息科学版), 2009, 34(8): 914-918.
    [13] 黄微, 张良培, 李平湘.  基于地形区域分割的复杂地区遥感影像分类 . 武汉大学学报 ( 信息科学版), 2007, 32(9): 791-795.
    [14] 吴柯, 李平湘, 张良培, 沈焕锋.  基于正则MAP模型的遥感影像亚像元定位 . 武汉大学学报 ( 信息科学版), 2007, 32(7): 593-596.
    [15] 王毅, 张良培, 李平湘.  基于自动搜索和光谱匹配技术的训练样本纯化算法 . 武汉大学学报 ( 信息科学版), 2007, 32(3): 216-219.
    [16] 钟燕飞1 张良培1 龚健雅1 李平湘1.  基于资源限制性人工免疫系统的多光谱遥感影像分类方法 . 武汉大学学报 ( 信息科学版), 2006, 31(1): 47-50.
    [17] 万幼川, 宋杨.  基于高分辨率遥感影像分类的地图更新方法 . 武汉大学学报 ( 信息科学版), 2005, 30(2): 105-109.
    [18] 刘楠, 舒宁.  基于光谱空间密度分析的边缘提取 . 武汉大学学报 ( 信息科学版), 2004, 29(12): 1093-1096.
    [19] 黄桂兰, 郑肇葆.  纹理模型法用于影像纹理分类 . 武汉大学学报 ( 信息科学版), 1998, 23(1): 40-42.
    [20] 刘少创.  草场资源分类专家系统的研究 . 武汉大学学报 ( 信息科学版), 1994, 19(1): 45-51.
  • 加载中
图(4) / 表(2)
计量
  • 文章访问数:  503
  • HTML全文浏览量:  117
  • PDF下载量:  28
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-12-10
  • 刊出日期:  2022-11-05

适用于训练样本选择的斜交因子模型研究

doi: 10.13203/j.whugis20200631
    基金项目:

    国家重点研发计划 2018YFC0407804

    作者简介:

    虞欣,博士, 教授, 主要从事摄影测量与遥感、影像解译、人工智能等研究。china_yuxin@163.com

    通讯作者: 李林宜,博士,副教授。lilinyi@whu.edu.cn
  • 中图分类号: P237

摘要: 训练样本的质量直接影响训练阶段的训练质量(或效果),进而在一定程度上影响测试阶段的分类精度。训练样本的代表性和典型性则反映出训练样本质量的一个重要方面。对于当前非常流行的深度学习模型研究,如何尽可能地减少训练样本的数量,一方面成为一个非常“棘手”的问题,另一方面从实际应用的角度来看,这也上升为一个经济或成本方面的问题。提出了一种适用于训练样本选择的斜交因子模型方法,该方法松弛了Q型因子分析和对应分析对于公因子之间独立的假设条件,并在斜交参考解的基础上提出一种适合训练样本选择的近似求解斜交旋转的方法。实验结果表明,所提方法是可行、有效的。与基于正交因子模型的方法相比,它可以更好地描述或逼近现实的真实情况,可以选择出更合理、更具有代表性的典型训练样本,并且还可以取得满意的分类精度。适用于训练样本选择的斜交因子模型方法优于基于正交因子模型的训练样本的选择方法,被选择的训练样本分布相对更分散、更合理,而且总的分类精度平均提高3%左右。

English Abstract

虞欣, 郑肇葆, 李林宜. 适用于训练样本选择的斜交因子模型研究[J]. 武汉大学学报 ( 信息科学版), 2022, 47(11): 1870-1877. doi: 10.13203/j.whugis20200631
引用本文: 虞欣, 郑肇葆, 李林宜. 适用于训练样本选择的斜交因子模型研究[J]. 武汉大学学报 ( 信息科学版), 2022, 47(11): 1870-1877. doi: 10.13203/j.whugis20200631
YU Xin, ZHENG Zhaobao, LI Linyi. Oblique Factor Model for Selecting Training Samples[J]. Geomatics and Information Science of Wuhan University, 2022, 47(11): 1870-1877. doi: 10.13203/j.whugis20200631
Citation: YU Xin, ZHENG Zhaobao, LI Linyi. Oblique Factor Model for Selecting Training Samples[J]. Geomatics and Information Science of Wuhan University, 2022, 47(11): 1870-1877. doi: 10.13203/j.whugis20200631
  • 训练样本的质量和数量直接影响训练阶段的训练质量(或效果),进而在一定程度上影响测试阶段的分类精度[1-5]。如何选择训练样本一直困扰着影像分类领域的研究工作者。训练样本的典型性或代表性反映出训练样本质量的一个重要方面[6-10]。特别是对于当前非常流行的深度学习模型研究,如何尽可能地减少训练样本的数量,或者说如何才能使得所需的训练样本能够达到“少而精”的目标,这一方面成为一个非常“棘手”的问题,另一方面也上升为一个经济或成本方面的问题[11-17]

    文献[18]提出了一种基于Q型因子分析的训练样本选择方法,它利用Q型因子分析从一批样本中选出少数具有一定典型性的样本作为训练样本,并且与人工随机选择训练样本的方式进行了比较实验,实验结果表明该方法可以获得更好的分类精度。此后,考虑到计算量等问题,文献[19]在文献[18]的基础上提出了一种基于对应分析的训练样本选择方法,以克服Q型因子分析计算量大的缺点。实际上,文献[18]和[19]所采用的因子模型中的公因子都是正交的(称为正交因子模型),而且进行的因子旋转也是正交旋转,这意味着在利用Q型因子分析或者对应分析时必须假设那些公因子(即所选择的代表性或典型性的“公共样本”)是相互独立的,然而现实中对样本(或变量)都发生影响的公因子之间往往是相互联系的,即公因子之间是相关的,称这种相关的公因子为斜交公因子(简称斜交因子),大量实验数据证明了斜交因子是普遍的,而正交因子只是在少数范围内存在,或者作为斜交因子的一种近似[20-26]

    本文提出了一种适用于训练样本选择的斜交因子模型方法,该方法松弛了Q型因子分析和对应分析对于公因子之间独立的假设条件,并在斜交参考解的基础上提出了一种适合训练样本选择的近似求解斜交旋转的方法。实验结果表明,本文所提出的方法是有效、可行的。与基于正交因子模型的方法相比,它可以更好地描述或逼近现实的真实情况,可以选择出更合理、更具有代表性的典型训练样本,并且还可以取得更加满意的分类精度。

    • 正交旋转通常是指在旋转的过程中因子之间互相正交,并且始终保持初始解中因子之间不相关的特性,这种模型称之为正交因子模型。然而,在实际应用中,公因子之间常具有一定相关性。所以,在实际应用中就需考虑通过斜交旋转得到斜交因子解。与正交因子解不同,在斜交因子解中,因子模型的公因子系数就不是变量与因子间的相关系数。由此看来,一个完全的斜交因子解,除因子模型之外,还需要因子之间相关系数的相关矩阵和反映变量与因子间相关系数的因子结构。

    • 对$ n $个样本的$ p $个特征依次进行观测,可以得到一个大小为$ p $×$ n $的原始观测数据矩阵$ \boldsymbol{X} $。对于每个特征通常包括$ n $个样本的观测值,组成如下的随机观测向量$ \boldsymbol{x} $:

      $$ \boldsymbol{x}=[{\boldsymbol{x}}_{1}{\boldsymbol{x}}_{2}\cdots {\boldsymbol{x}}_{n}{]}^{\mathrm{T}} $$ (1)

      式中,变量$ {\boldsymbol{x}}_{i} $$ (i=\mathrm{1, 2}\cdots n) $表示某个特征的第$ i $个样本的观测值。假设可以用少于$ n $个样本(假设$ m $个,$ m < n $)来代表这组观测样本,在这种情况下某些样本可以视为是其他一些样本的线性组合。如此便可以减少样本的观测成本,进而也简化了观测系统。对于正交因子模型,$ {\boldsymbol{x}}_{i} $可表示为:

      $$ {\boldsymbol{x}}_{i}={A}_{i1}{\boldsymbol{F}}_{1}+{A}_{i2}{\boldsymbol{F}}_{2}+\cdots +{A}_{im}{\boldsymbol{F}}_{m}+{\boldsymbol{a}}_{i}{\boldsymbol{\varepsilon }}_{i} $$ (2)

      式中,$ {\boldsymbol{F}}_{j} $$ (j=\mathrm{1, 2}\cdots m) $是公因子,它是每一个样本中都会出现的因子;$ {A}_{ij} $表示公因子$ {\boldsymbol{F}}_{j} $的因子载荷,也称为相对重要性(即权系数);$ {\boldsymbol{\varepsilon }}_{i} $是个别样本所特有的一个特殊因子;$ {\boldsymbol{a}}_{i} $是这一特殊因子的权系数。正交因子模型可表示为:

      $$ \underset{n\times 1}{\boldsymbol{x}}=\underset{n\times m}{\boldsymbol{A}}\times \underset{m\times 1}{\boldsymbol{F}}+\underset{n\times n}{\boldsymbol{a}}\times \underset{n\times 1}{\boldsymbol{\varepsilon }} $$ (3)

      式中,$ \boldsymbol{A} $称为因子载荷矩阵;$ \boldsymbol{a} $为特殊因子载荷;$ \boldsymbol{F} $和$ \boldsymbol{\varepsilon } $分别为公因子和特殊因子。

      因子载荷矩阵$ \boldsymbol{A} $中的元素$ {A}_{ij} $表示第$ i $个样本与第$ j $个公因子的相关系数,依据其绝对值大小就可以判断样本的典型性(或代表性,相对重要性)。该值越大表明被选为典型性或代表性样本的可能性就越大。如果$ \left|{A}_{ij}\right| $的值越大,就表明第$ i $个样本具有较大的载荷,比其他的样本具有更好的典型性或代表性,因此第$ i $个样本就作为公因子$ {\boldsymbol{F}}_{j} $的典型性或代表性样本,这就是进行训练样本选择的理论基础或依据。

    • 如果忽略了特殊因子,而且假设$ \boldsymbol{x} $已经标准化,正交因子模型可以表示为$ \boldsymbol{x}=\boldsymbol{A}\boldsymbol{F} $,其中载荷矩阵$ A $的元素$ {A}_{ij} $刚好为$ {\boldsymbol{x}}_{i} $与$ {\boldsymbol{F}}_{i} $之间的相关系数。然而,如果公因子之间不是正交的,即公因子之间是相关的,斜交公因子将记为$ \boldsymbol{T} $,相应的载荷矩阵用$ \boldsymbol{W} $来表示。当忽略了特殊因子后,斜交因子模型可以写为:

      $$ \boldsymbol{x}=\boldsymbol{W}\boldsymbol{T} $$ (4)

      或者写为:

      $$ {\boldsymbol{x}}_{i}={w}_{i1}{\boldsymbol{T}}_{1}+{w}_{i2}{\boldsymbol{T}}_{2}+\cdots +{w}_{im}{\boldsymbol{T}}_{m} $$ (5)

      式中,$ {\boldsymbol{T}}_{1}, {\boldsymbol{T}}_{2}\cdots {\boldsymbol{T}}_{m} $为斜交公因子,它们可以视为斜交坐标的单位向量;$ {\boldsymbol{x}}_{i} $视为斜交坐标系上的向量$ {\boldsymbol{P}}_{i} $,则$ {w}_{ij} $为$ {\boldsymbol{P}}_{i} $在斜交因子轴$ {\boldsymbol{T}}_{j} $上的坐标,称它为斜交因子载荷。对于正交因子,因子模型就是因子解,这时因子模型和因子结构是一致的。但对于斜交因子,两者是有区别的。

      实际上,斜交因子解是由正交因子解变换而来。

      1)因子变换矩阵,就是从正交因子$ \boldsymbol{F} $变换(旋转)成斜交因子$ \boldsymbol{T} $的变换矩阵。如果把$ {\boldsymbol{T}}_{1}, {\boldsymbol{T}}_{2}\cdots {\boldsymbol{T}}_{m} $看成斜坐标轴系的单位向量(即长度为1),则$ {\boldsymbol{T}}_{j} $在$ m $个正交因子$ {\boldsymbol{F}}_{1}, {\boldsymbol{F}}_{2}\cdots {\boldsymbol{F}}_{m} $方向(正交坐标轴系方向)上的投影$ {t}_{1j}, {t}_{2j}\cdots {t}_{mj} $(即$ {\boldsymbol{T}}_{j} $端点的正交坐标)就是斜坐标轴$ {\boldsymbol{T}}_{j} $相对于正交坐标因子轴$ {\boldsymbol{F}}_{1}, {\boldsymbol{F}}_{2}\cdots {\boldsymbol{F}}_{m} $的夹角余弦,其平方和等于1,即:

      $$ {t}_{ij}=\left|{\boldsymbol{T}}_{j}\right|\mathrm{c}\mathrm{o}\mathrm{s}({\boldsymbol{T}}_{j}, {\boldsymbol{F}}_{i}) $$ (6)
      $$ {\boldsymbol{T}}_{j}=[{t}_{1j}{t}_{2j}\cdots {t}_{mj}{]}^{\mathrm{T}} $$ (7)
      $$ \sum\limits_{i=1}^{m}{t}_{ij}^{2}=1 , j=\mathrm{1, 2}\cdots m $$ (8)

      将式(7)写成矩阵形式$ \boldsymbol{T}=({t}_{ij}{)}_{m\times m} $便是正交因子$ {\boldsymbol{F}}_{1}, {\boldsymbol{F}}_{2}\cdots {\boldsymbol{F}}_{m} $变换成斜交因子的变换矩阵。

      2)斜交因子的相关系数矩阵。$ m $个斜因子轴既然互不独立,则必有相关,就要确定刻画$ m $个斜交因子之间相关性的相关矩阵$ \boldsymbol{L}=\left({l}_{ij}\right) $$ (i, j, =\mathrm{1, 2}\cdots m) $,其中元素$ {l}_{ij} $表示斜因子$ {\boldsymbol{T}}_{i} $与$ {\boldsymbol{T}}_{j} $的相关系数$ {r}_{{\boldsymbol{T}}_{i}{\boldsymbol{T}}_{j}} $,就是$ {\boldsymbol{T}}_{i} $与$ {\boldsymbol{T}}_{j} $之间的夹角余弦。从而斜交因子的相关系数矩阵为:

      $$ \boldsymbol{L}={\boldsymbol{T}}^{\mathrm{T}}\boldsymbol{T} $$ (9)

      3)因子结构矩阵(变量与斜交因子的相关系数矩阵):

      $$ \boldsymbol{S}=\left({s}_{ij}\right) $$ (10)

      式中,元素$ {s}_{ij} $$ (i=\mathrm{1, 2}\cdots n;j=\mathrm{1, 2}\cdots m) $表示第$ i $个变量$ {\boldsymbol{x}}_{i} $在斜因子轴$ {\boldsymbol{T}}_{i} $上的投影。

      因子结构矩阵$ \boldsymbol{S} $可以通过正交因子负荷矩阵$ \boldsymbol{A} $和相对应的因子变换矩阵$ \boldsymbol{T} $得到:

      $$ \boldsymbol{S}=\boldsymbol{A}\boldsymbol{T} $$ (11)

      4)斜交因子载荷矩阵。由式(5)斜交因子模型有:

      $$ {r}_{{\boldsymbol{T}}_{i}{\boldsymbol{T}}_{j}}=E\left({\boldsymbol{x}}_{i}{\boldsymbol{T}}_{j}\right)={w}_{i1}{r}_{{\boldsymbol{T}}_{1}{\boldsymbol{T}}_{j}}+{w}_{i2}{r}_{{\boldsymbol{T}}_{2}{\boldsymbol{T}}_{j}}+\cdots +\\{w}_{im}{r}_{{\boldsymbol{T}}_{m}{\boldsymbol{T}}_{j}} $$ (12)

      由式(9),则有:

      $$ \left[\begin{array}{cccc}{r}_{1{T}_{1}}& {r}_{1{T}_{2}}& \cdots & {r}_{1{T}_{m}}\\ {r}_{2{T}_{1}}& {r}_{2{T}_{2}}& \cdots & {r}_{2{T}_{m}}\\ ⋮& ⋮& & ⋮\\ {r}_{n{T}_{1}}& {r}_{n{T}_{2}}& \cdots & {r}_{n{T}_{m}}\end{array}\right]=\left[\begin{array}{cccc}{w}_{11}& {w}_{12}& \cdots & {w}_{1m}\\ {w}_{21}& {w}_{22}& \cdots & {w}_{2m}\\ ⋮& ⋮& & ⋮\\ {w}_{n1}& {w}_{n2}& \cdots & {w}_{nm}\end{array}\right]\cdot \\ \left[\begin{array}{cccc}{l}_{11}& {l}_{12}& \cdots & {l}_{1m}\\ {l}_{21}& {l}_{22}& \cdots & {l}_{2m}\\ ⋮& ⋮& & ⋮\\ {l}_{m1}& {l}_{m2}& \cdots & {l}_{mm}\end{array}\right] $$ (13)

      写成矩阵形式为:

      $$ \boldsymbol{S}=\boldsymbol{W}\boldsymbol{L} $$ (14)

      把式(9)和式(11)代入式(14)得:

      $$ \boldsymbol{A}\boldsymbol{T}=\boldsymbol{W}\left({\boldsymbol{T}}^{\mathrm{T}}\boldsymbol{T}\right) $$ (15)

      从而有:

      $$ \boldsymbol{W}=\boldsymbol{A}({\boldsymbol{T}}^{\mathrm{T}}{)}^{-1} $$ (16)

      式(16)表示当已求得正交因子负荷(已知$ \boldsymbol{A} $)时,只要知道$ {\boldsymbol{T}}^{\mathrm{T}} $就能求出斜交因子载荷矩阵$ W $。但由于$ \boldsymbol{T} $不是对称矩阵,所以也可以用式(14)求$ \boldsymbol{W} $,即:

      $$ \boldsymbol{S}=\boldsymbol{W}{\boldsymbol{L}}^{-1} $$ (17)

      至此,对于斜交因子解,它涉及到斜交因子的相关系数矩阵$ \boldsymbol{L} $、因子结构矩阵$ \boldsymbol{S} $以及斜交因子载荷矩阵$ \boldsymbol{W} $。无论要求$ \boldsymbol{L} $、$ \boldsymbol{S} $、$ \boldsymbol{W} $中的哪一个都必须求出$ \boldsymbol{T} $,而由$ \boldsymbol{T} $的定义知道,它的第$ j $列是斜交因子轴$ {\boldsymbol{T}}_{j} $在正交因子轴$ {\boldsymbol{F}}_{1}, {\boldsymbol{F}}_{2}\cdots {\boldsymbol{F}}_{m} $的坐标系中的方位余弦。那么如何求出$ \boldsymbol{T} $呢?因此,本文提出用斜交参考解来实现斜交旋转的方法。

    • 在正交因子轴$ {\boldsymbol{F}}_{1}, {\boldsymbol{F}}_{2}\cdots {\boldsymbol{F}}_{m} $构成的坐标系中,斜交因子轴$ {\boldsymbol{T}}_{1}, {\boldsymbol{T}}_{2}\cdots {\boldsymbol{T}}_{m} $是该坐标系中的$ m $个单位向量。在该坐标系中再引入$ m $个单位向量$ {\boldsymbol{\varLambda }}_{1}, {\boldsymbol{\varLambda }}_{2}\cdots {\boldsymbol{\varLambda }}_{m} $,称它们为斜交参考轴。

      如果将$ {\boldsymbol{T}}_{1}, {\boldsymbol{T}}_{2}\cdots {\boldsymbol{T}}_{m} $和$ {\boldsymbol{\varLambda }}_{1}, {\boldsymbol{\varLambda }}_{2}\cdots {\boldsymbol{\varLambda }}_{m} $视为两组斜交因子轴,而$ \boldsymbol{T}=({t}_{ij}{)}_{m\times m} $是正交因子轴$ {\boldsymbol{F}}_{1}, {\boldsymbol{F}}_{2}\cdots {\boldsymbol{F}}_{m} $变换到斜交因子轴$ {\boldsymbol{T}}_{1}, {\boldsymbol{T}}_{2}\cdots {\boldsymbol{T}}_{m} $的变换矩阵,它的元素$ {t}_{ij} $刚好为$ {\boldsymbol{T}}_{i} $与$ {\boldsymbol{F}}_{j} $的夹角余弦。类似地,设$ \boldsymbol{\varLambda }=({\lambda }_{ij}{)}_{m\times m} $是正交因子轴$ {\boldsymbol{F}}_{1}, {\boldsymbol{F}}_{2}\cdots {\boldsymbol{F}}_{m} $变换到斜交参考轴$ {\boldsymbol{\varLambda }}_{1}, {\boldsymbol{\varLambda }}_{2}\cdots {\boldsymbol{\varLambda }}_{m} $的变换矩阵,其中$ {\lambda }_{ij} $是$ {\boldsymbol{\varLambda }}_{i} $与$ {\boldsymbol{F}}_{j} $的夹角余弦。观察$ \boldsymbol{T} $与$ \boldsymbol{\varLambda } $的关系,知道其中一个,如何求另一个?令:

      $$ \boldsymbol{D}={\boldsymbol{T}}^{\mathrm{T}}\boldsymbol{\varLambda }=\left[\begin{array}{c}{\boldsymbol{T}}_{1}^{\mathrm{T}}\\ {\boldsymbol{T}}_{2}^{\mathrm{T}}\\ ⋮\\ {\boldsymbol{T}}_{m}^{\mathrm{T}}\end{array}\right]\left[\begin{array}{cccc}{\boldsymbol{\varLambda }}_{1}& {\boldsymbol{\varLambda }}_{2}& \cdots & {\boldsymbol{\varLambda }}_{m}\end{array}\right]= \\ \left[\begin{array}{cccc}{\boldsymbol{T}}_{1}^{\mathrm{T}}{\boldsymbol{\varLambda }}_{1}& {\boldsymbol{T}}_{1}^{\mathrm{T}}{\boldsymbol{\varLambda }}_{2}& \cdots & {\boldsymbol{T}}_{1}^{\mathrm{T}}{\boldsymbol{\varLambda }}_{m}\\ {\boldsymbol{T}}_{2}^{\mathrm{T}}{\boldsymbol{\varLambda }}_{1}& {\boldsymbol{T}}_{2}^{\mathrm{T}}{\boldsymbol{\varLambda }}_{2}& \cdots & {\boldsymbol{T}}_{2}^{\mathrm{T}}{\boldsymbol{\varLambda }}_{m}\\ ⋮& ⋮& & ⋮\\ {\boldsymbol{T}}_{m}^{\mathrm{T}}{\boldsymbol{\varLambda }}_{1}& {\boldsymbol{T}}_{m}^{\mathrm{T}}{\boldsymbol{\varLambda }}_{2}& \cdots & {\boldsymbol{T}}_{m}^{\mathrm{T}}{\boldsymbol{\varLambda }}_{m}\end{array}\right] $$ (18)

      $ \boldsymbol{D} $是由斜主因子$ {\boldsymbol{T}}_{1}, {\boldsymbol{T}}_{2}\cdots {\boldsymbol{T}}_{m} $与斜参考因子$ {\boldsymbol{\varLambda }}_{1}, {\boldsymbol{\varLambda }}_{2}\cdots {\boldsymbol{\varLambda }}_{m} $的相关系数所组成的矩阵,由于$ {\boldsymbol{T}}_{i} $与$ {\boldsymbol{\varLambda }}_{j} $$ (i\ne j) $相互垂直,因此$ {\boldsymbol{T}}_{i}^{\mathrm{T}}{\boldsymbol{\varLambda }}_{j}=0(i\ne j) $,因而有:

      $$ \boldsymbol{D}=\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}({\boldsymbol{T}}_{1}^{\mathrm{T}}{\boldsymbol{\varLambda }}_{1}, {\boldsymbol{T}}_{2}^{\mathrm{T}}{\boldsymbol{\varLambda }}_{2}\cdots {\boldsymbol{T}}_{m}^{\mathrm{T}}{\boldsymbol{\varLambda }}_{m}) $$ (19)

      设$ {\boldsymbol{\varLambda }}^{-1}=({\mu }_{ij}{)}_{m\times m} $,则:

      $$ {\boldsymbol{T}}^{\mathrm{T}}={\boldsymbol{T}}^{\mathrm{T}}\left(\boldsymbol{\varLambda }{\boldsymbol{\varLambda }}^{-1}\right)=\left({\boldsymbol{T}}^{\mathrm{T}}\boldsymbol{\varLambda }\right){\boldsymbol{\varLambda }}^{-1}=\\ \left[\begin{array}{ccc}{\boldsymbol{T}}_{1}^{\mathrm{T}}{\boldsymbol{\varLambda }}_{1}{\mu }_{11}& \cdots & {\boldsymbol{T}}_{1}^{\mathrm{T}}{\boldsymbol{\varLambda }}_{1}{\mu }_{1m}\\ {\boldsymbol{T}}_{2}^{\mathrm{T}}{\boldsymbol{\varLambda }}_{2}{\mu }_{21}& \cdots & {\boldsymbol{T}}_{2}^{\mathrm{T}}{\boldsymbol{\varLambda }}_{2}{\mu }_{2m}\\ ⋮& & ⋮\\ {\boldsymbol{T}}_{m}^{\mathrm{T}}{\boldsymbol{\varLambda }}_{m}{\mu }_{m1}& \cdots & {\boldsymbol{T}}_{m}^{\mathrm{T}}{\boldsymbol{\varLambda }}_{m}{\mu }_{mm}\end{array}\right] $$ (20)

      因为$ {\boldsymbol{T}}^{\mathrm{T}} $每一行元素平方和应为1,即:

      $$ \left({\boldsymbol{T}}_{i}^{\mathrm{T}}{\boldsymbol{\varLambda }}_{i}{)}^{2}\right({\mu }_{i1}^{2}+{\mu }_{i2}^{2}+\cdots +{\mu }_{im}^{2})=1 $$ (21)

      故:

      $$ {\boldsymbol{T}}_{i}^{\mathrm{T}}{\boldsymbol{\varLambda }}_{i}=\frac{1}{\sqrt{{\mu }_{i1}^{2}+{\mu }_{i2}^{2}+\cdots +{\mu }_{im}^{2}}}=\frac{1}{{\left(\sum\limits_{l=1}^{m}{\mu }_{il}^{2}\right)}^{\frac{1}{2}}} $$ (22)

      由于所作斜交参考轴$ {\boldsymbol{\varLambda }}_{i} $垂直于斜因子轴$ {\boldsymbol{T}}_{l} $$ (i\ne l) $,所以$ \boldsymbol{D} $矩阵是一个对角阵,对角阵上的元素为$ {\boldsymbol{T}}_{i}^{\mathrm{T}}{\boldsymbol{\varLambda }}_{i}=1/{\left(\sum\limits_{l=1}^{m}{\mu }_{il}^{2}\right)}^{\frac{1}{2}} $。由此可以看出$ {\boldsymbol{T}}^{\mathrm{T}} $就等于$ \boldsymbol{\varLambda } $的逆($ {\boldsymbol{\varLambda }}^{-1} $)按行正规化(长度为1)而得到的矩阵。

    • 实际上,斜交旋转是从某一正交因子解出发,经过变换(旋转)最终求出斜主因子解,这个解应包括斜主因子模型、因子结构矩阵和斜交因子相关矩阵。针对影像分类中训练样本选择的具体问题,本文提出了适合于实际应用的基于斜交因子模型的训练样本选择方法,步骤如下:

      设经方差极大旋转后正交因子模型为$ \boldsymbol{A} $,

      1)按文献[18]的方法求出初始载荷矩阵$ \boldsymbol{A} $,再将$ \boldsymbol{A} $按行正规化得矩阵$ {\boldsymbol{A}}^{\mathrm{*}} $。

      2)将$ {\boldsymbol{A}}^{\mathrm{*}} $的各元素绝对值$ k $次幂($ k $为大于2的适当正整数),并保留其原来的符号,得矩阵$ \boldsymbol{H} $。

      3)由已求出的$ {\boldsymbol{A}}^{\mathrm{*}} $和$ \boldsymbol{H} $,建立$ {\boldsymbol{A}}^{\mathrm{*}} $对$ \boldsymbol{H} $的最小二乘拟合,即令:

      $$ {\boldsymbol{A}}^{\mathrm{*}}\boldsymbol{C}=\boldsymbol{H} $$ (23)

      式中,$ \boldsymbol{C} $是$ m $阶方阵。首先用$ {\boldsymbol{A}}^{\mathrm{*}} $去左乘式(23)的两边,然后用$ ({\boldsymbol{A}}^{\mathrm{*}\mathrm{T}}{\boldsymbol{A}}^{\mathrm{*}}{)}^{-1} $左乘所得方程的两边,则可解得:

      $$ \boldsymbol{C}=({\boldsymbol{A}}^{\mathrm{*}\mathrm{T}}{\boldsymbol{A}}^{\mathrm{*}}{)}^{-1}{\boldsymbol{A}}^{\mathrm{*}\mathrm{T}}\boldsymbol{H} $$ (24)

      4)将$ \boldsymbol{C} $按列正规化,得斜交参考矩阵$ \boldsymbol{\varLambda } $。

      5)将$ {\boldsymbol{\varLambda }}^{-1} $按行正规化得斜交变换矩阵$ {\boldsymbol{T}}^{\mathrm{T}} $。

      6)根据式(9)、式(14)、式(16)分别求得斜交因子解的相关系数矩阵$ \boldsymbol{L} $、结构矩阵$ \boldsymbol{S} $以及斜交载荷矩阵$ \boldsymbol{W} $。

      为了使所得的解更加“理想”,可让$ k $为2、3、4$ \cdots $依次进行旋转,比较各次的结果,$ k $值增大到因子相关矩阵相对稳定下来为止。根据经验,较为适当的$ k $值通常在2~4之间。一般来讲,给定的一组变量之间相关关系越复杂,$ k $值也就越大。而$ k $值应取多大,则需要具体问题具体分析。

      7)根据上述的斜交载荷矩阵$ \boldsymbol{W} $,从原始的观测样本中选择出这类地物的代表性样本集序号为:Samples={i$ | $$ \underset{1\le i\le n}{\mathrm{m}\mathrm{a}\mathrm{x}} $$ \left\{\right|{w}_{ij}\left|\right), $j=1,2…m}。$ i $代表原始的观测样本的序号,而$ \left|{w}_{ij}\right| $表示对元素$ {w}_{ij} $取绝对值。

      8)重复步骤1)~7),选出各类地物的代表性样本集,作为每一类的典型训练样本。

      9)用上述方法选出的训练样本进行训练或学习,得到基于Naive Bayes Classifiers的分类器[27-30],把所有采集的样本当作测试样本进行测试,统计总的分类精度。

    • 为了验证本文方法的正确性和有效性,选取了10幅中国某城市的23 cm×23 cm的黑白航空影像和澳大利亚某地区的6幅23 cm×23 cm的黑白航空影像进行实验。根据野外调绘的结果,对这16幅大的航空影像人工分割为小块的694幅小图像,并将它们分成4类:山地(219幅)、水田(154幅)、林区(154幅)和居民地(167幅),其中最小的为16×16像素,最大的为40×40像素。实验中,每一类的样本分为两组,一组是把样本序号在前50的样本作为训练样本,另一组是把被选为训练样本以外的剩下的样本作为测试样本。图 1是每一类的3幅样本。

      图  1  每一类中的3幅样本图像

      Figure 1.  Three Samples for Each Class

    • 以居民地和林区两类为例,为了便于比较与分析,将它们显示在二维主分量特征平面上。每个样本的特征经过主分量变换,得到第一主分量和第二主分量。图 2表示经过正交因子模型后被选中的具有代表性的典型样本,其横坐标表示第一主分量,纵坐标表示第二主分量,红色叉号表示居民地,蓝色的加号表示林区,圆圈表示经过Q型因子模型后被选中的具有代表性的典型样本。图 3表示经过斜交因子模型后被选中的具有代表性的典型样本。

      图  2  经过Q型因子模型后被选中的具有代表性的典型样本

      Figure 2.  Selected Representative Samples Based on Q-factor Model

      图  3  经过斜交因子模型后被选中的具有代表性的典型样本

      Figure 3.  Selected Representative Samples Based on Oblique Factor Model

      图 2图 3中不难发现,通过两种不同的因子模型,被选中具有代表性的典型样本有所不同。比较来看,经过斜交因子模型后被选中的具有代表性的典型样本比经过Q型正交因子模型后被选中的具有代表性的典型样本分布相对分散一些。而在图 2中可以明显地发现,有两处地方,被选中的典型性样本在样本空间中似乎存在着一定的相关性。这很可能是因为正交因子模型忽视了公因子之间是相互独立的原因造成的,或者说由于忽略了现实中对样本(或变量)都发生影响的公因子之间往往是相互联系的(即公因子之间是相关的)这个事实而形成的结果。

    • 基于R型因子的分析方法是针对特征这个维度进行分析的,而基于对应分析的方法由于受到所选训练样本的数量必须小于等于特征提取数量的限制,所以在本文的比较实验中,只选择了基于Q型因子的分析方法与基于斜交因子模型的方法进行比较。图 4是4种方法得到总的分类精度的比较结果,横轴表示被选中训练样本的数量,纵轴表示总的分类精度。图 4中,米字形状代表随机选取样本方法得到的结果,五角星形状代表基于Q型正交因子模型得到的结果,正方形形状代表基于斜交因子模型得到的结果,圆形表示基于数据驱动选择的最优训练样本选择方法,搜索空间巨大。比如,在684个样本中选择15个最优样本,其组合有$ {\mathrm{C}}_{684}^{15} $,所以本文引入了遗传算法进行优化。表 1是4种方法在总的分类精度方面的数值比较,限于篇幅,只列出部分,训练样本数量N从15到50,每增加5个训练样本列出总的分类精度值,最后两列分别是在训练样本数量在15~50之间每一种情况下统计所得总的分类精度的均值和标准差。表 2是4种方法在错分样本数量方面的比较结果。

      图  4  4种方法的分类精度比较

      Figure 4.  Comparison of Overall Classification Accuracy of

      4 Methods

      表 1  4种方法的分类精度比较

      Table 1.  Overall Classification Accuracy of Comparison Based on 4 Methods

      方法 N 均值 标准差
      15 20 25 30 35 40 45 50
      斜交因子 0.91 0.93 0.93 0.93 0.93 0.93 0.93 0.93 0.93 0.005
      正交因子 0.88 0.89 0.88 0.90 0.90 0.90 0.90 0.90 0.90 0.006
      随机选择 0.80 0.82 0.85 0.86 0.87 0.88 0.89 0.91 0.86 0.031
      数据驱动 0.88 0.88 0.88 0.88 0.89 0.88 0.89 0.89 0.88 0.003

      表 2  4种方法的错分样本数量比较

      Table 2.  Comparison of Misjudged Samples of 4 Methods

      方法 N
      15 20 25 30 35 40 45 50
      斜交因子 58 47 45 43 45 41 43 43
      正交因子 75 71 73 65 63 61 65 65
      随机选择 128 112 96 86 80 77 69 59
      数据驱动 73 70 75 75 68 70 68 68

      图 4表 1中可以明显地发现,总体上基于斜交因子模型的结果要好于基于Q型正交因子模型的结果,平均要高出3%左右,而且总的分类精度的波动(即标准差)也从0.006下降到0.005,这表明所选的训练样本更具有典型性和代表性。当被选中的典型训练样本数较少时,两种方法的分类精度偏低,而且波动较大。随着所选典型样本数量的增多,两种方法的分类精度逐步提高,并一致趋向于稳定。这一方面说明,前期随着所选典型样本数量的增加,典型样本发挥着其自身典型性和代表性的作用。一旦达到典型性样本的数量或规模,或者说,这些典型性样本能够足够代表样本空间时,再继续增加样本,其作用或意义显得微乎其微。更为重要的是,由于松弛了Q型正交因子模型中对于公因子之间独立的假设条件,理论上更加符合实际的情况。而对于基于数据驱动的方法,很可能由于巨大的搜索空间更易陷入局部最优解或者受到初始解选择等原因,其结果表现一般。从实验的结果来看,在总的分类精度的波动方面,也可以明显地看到基于斜交因子模型比基于Q型正交因子模型要更好,更稳定一些,这也从侧面反映出基于斜交因子模型所选择出的典型样本比基于Q型正交因子模型所选择的典型样本更合理,而且更具有代表性或典型性。此外,从另外一个方面来看,这也为合理科学地确定训练样本的数量提供了较好的依据或参考。

    • 在基于Q型正交因子模型的训练样本选择方法中,所采用的因子模型中的公因子都是正交的,而且进行的因子旋转也是正交旋转,这意味着在利用正交因子模型时必须假设那些公因子(即所选择的代表性或典型性的公共样本)是相互独立的。然而,在现实中对样本(或变量)都发生影响的公因子之间往往是相互联系的(即公因子之间是相关的)。鉴于此,本文提出了一种适用于训练样本选择的斜交因子模型方法,该方法松弛Q型正交因子模型中对于公因子之间独立的假设条件,并在斜交参考解的基础上提出了一种适合训练样本选择的近似求解斜交旋转的方法。实验结果表明,本文提出的方法是可行的,而且在分类精度方面要好于基于Q型正交因子模型的方法,所选的典型性样本更合理,更具有代表性。此外,本文方法也可以为合理科学地确定训练样本的数量提供较好的依据或参考。

参考文献 (30)

目录

    /

    返回文章
    返回