模式识别技术在物体、人脸、指纹、军事目标识别等领域都发挥着极其重要的作用。传统的模式识别方法通过特征提取算子提取待研究对象的特征，实现识别和分类的目的。在物体识别领域，主要通过提取图像中物体的轮廓及局部特征进行识别^[1-2]；在人脸识别领域，主要有Eigenface^[3]、Fisherface^[4]、LBPH（local binary patterns histograms）^[5]等方法，通过建立人脸的特征集进行识别；在指纹识别领域，主要通过提取指纹的终结点、分叉点、孤立点、分歧点、环点、短纹等图像特征进行识别^[6]。传统方法对专家知识的依赖性较大，而近几年兴起的深度学习技术能实现特征的自动提取与选择，大大减轻了对专家知识的依赖。其中，卷积神经网络(convolutional neural networks, CNN)在物体识别领域取得了显著的成效。基于CNN的图像识别模型在ILSVRC(ImageNet Large Scale Visual Recognition Challenge)竞赛中成绩显著^[7-10]。而在人脸识别、指纹识别领域，基于深度学习的方法在处理高复杂度、大数据量的问题时也具有明显的优势^[11-12]，相关的身份验证技术目前已广泛应用于门禁系统、安全检查、网络支付、自动考勤^[13]等领域。

但是, 目前模式识别技术仅局限于对图像信息的利用，当研究对象的图像特征高度相似时，模式识别的精度较低，无法满足实际应用需求。在图像识别领域，各种应用对图像和真实物体无法进行有效区分。在指纹识别、人脸识别领域, 对于用于伪装的CV Dazzle化妆技术、硅胶人脸面具以及人造指纹膜等欺诈手段，也无有效方法进行防控，造成了极大的安全隐患。此外，在军事领域广泛采用的假目标欺骗技术，其假目标在外形上与真目标基本一致，传统的探测技术无法对其做出有效的识别，可能由于误判而导致较为严重的后果：如使得精确制导武器受到迷惑，消耗战略资源的同时无法有效打击敌方战略目标；同时战场指挥员也会因为假目标的存在而对战场态势以及敌我双方的兵力产生错误的估计，从而影响战场形势。

针对上述问题，本文提出了一种综合图像和光谱信息的物体真假模式识别方法。在吸纳已有的图像识别技术成果的同时，进一步利用高光谱数据进行物体真假的识别。高光谱数据波段窄、波段数多、光谱分辨率高，包含了地物丰富的信息^[14-15]。而真假物体由于材质的不同，其光谱信息存在明显的差异，利用高光谱数据可以很容易地将二者区分开来^[16-20]。本文方法通过分别获取样本的RGB图片和点光谱数据进行物体类别及真假识别。之所以分别获取和处理这两部分数据，是因为现有的通过高光谱影像进行目标识别的技术受限于信噪比，难以同时满足高空间分辨率和高光谱分辨率的需求；而在高光谱影像目标识别领域，光谱属性信息和空间信息均对识别结果有很大贡献，任一部分信息的缺失都会对识别结果产生不利的影响。

本文首先基于经典的VGG16模型建立图像识别模型，根据研究对象的图像特征进行类别识别；然后基于逆传播(back propagation，BP)神经网络建立光谱识别模型，利用研究对象的光谱信息进行真假识别；最后输出包含类别及真假两部分信息的结果。实验结果表明，综合利用图像和光谱信息的方法的识别正确率有显著的上升。

1 实验数据与方法 1.1 实验数据

实验通过对苹果、苹果模型、葡萄、葡萄模型4类物体的识别来验证本文方法的有效性。本文模型分为图像识别与光谱识别两部分，两部分所需数据如下。

1）图像识别模型。通过网络爬虫获取苹果、葡萄的图像各500张，再通过随机的水平镜像、翻转、加高斯噪声等数据增广手段扩充至各1 000张，作为训练集；通过HyScan手持式光谱仪实测采集了苹果、葡萄的图像各200张，通过数据增广手段扩充至各400张，作为测试集；采集时按照真水果、仿真水果模型各占一半的原则，所有的图像在参与网络训练之前均通过预处理将其尺寸调整为224×224×3。

2）光谱识别模型。利用HyScan手持式光谱仪采集4个类别的高光谱数据各100份，高光谱数据波长范围是400~1 000 nm，光谱分辨率为2 nm；每个类别包含颜色、品种等互不相同的5组，每组20个样本；通过预处理保留波长/反射率数据，并按照3:1的比例随机划分为训练集与测试集。

为了从整体上验证本文方法的识别精度，通过HyScan再采集200份数据（以下称为验证数据），每份数据包括一个水果样本的RGB图像和高光谱数据，每个类别样本数一致，每类的样本分为5组，每一组10个样本。

1.2 实验方法与模型

图 1为本文方法的流程图。由图 1可知，光谱识别部分由若干个识别网络组成，对于不同类别分别用单独的一套网络模型来进行真假识别，各个网络模型的结构完全相同，但在训练时用到的是其对应类别物体的光谱数据，每一类物体分别对应一套网络参数。例如本文实验中，负责识别苹果真假的网络只用苹果的光谱数据训练，而识别葡萄真假的网络只用葡萄的光谱数据训练。完成实验数据的采集和预处理后，首先对数据进行分装，分成图像数据（RGB图片）和光谱数据（高光谱反射率数据）两部分，分别进行处理。先把图像数据导入图像识别模型，根据图像本身的一些语义特征（如颜色、纹理、形状等）进行识别，给定研究对象一个类别标签；然后根据类别标签选择对应的光谱识别网络，导入高光谱数据进行真假识别；最后，给定一个真假标签，将同一个样本所对应的类别标签（苹果或葡萄）与真假标签（真或假）合并在一起，生成综合标签（真苹果、假苹果、真葡萄、假葡萄）作为识别结果。

1.2.1 图像识别模型

本文基于VGG16模型建立图像识别模型，根据图像信息识别研究对象的类别。VGG16模型是2014年ILSVRC大赛图片分类项目的亚军^[8]，其设计理念是通过堆叠3×3卷积核组成卷积序列，在实现5×5以及7×7卷积核的特征提取效果的同时大大减少计算量。

本文利用迁移学习的方法^[21]，将VGG16模型在大型数据集上学习到的共性知识迁移到图像识别模型中，以提高时间效率和模型的识别准确率，防止过拟合。具体实现方式为：搭建VGG16模型架构并导入其在ImageNet上训练的参数作为模型的初始化参数，将最后一个全连接层的输出改为n（n为类别数，本文实验中n=2），并用n标签的softmax分类层替代模型原有的softmax分类器；而后冻结前面的层，利用本文的实验数据对最后一个全连接层和softmax分类层进行训练，并对模型参数进行精调优化，在利用了迁移所得的“共性知识”的基础上，使模型适应本文实验的需求。其模型架构如图 2所示，包括13个卷积层、5个池化层和3个全连接层，以ReLU作为激活函数，最后接一个softmax分类器。其中，卷积层主要依靠卷积核与图像进行卷积运算，提取图像语义特征，获得对应尺寸的特征图。池化层用于对输入的特征图进行压缩，一方面使特征图变小，简化网络计算复杂度；另一方面进行特征压缩，提取主要特征，并使得网络模型能够提取不同空间尺度下的特征，提高识别准确率。而全连接层用于将二维的特征图拉平为一维的特征向量，实现图像从高维特征域到图像类别域的映射。softmax分类层则用于将模型输出值归一化至[0, 1]范围内，以表征待研究对象属于每一个类别的概率，为识别结果提供最直接的依据。

1.2.2 光谱识别模型

本文基于BP神经网络结构建立光谱识别模型，根据高光谱数据识别研究对象的真假。模型由n个相同结构的神经网络模型组成，n为研究对象的类别数(本文实验中n=2)。每一个网络模型对应一类物体，需要用该类物体的高光谱数据进行训练。图 3为1个网络的结构示意图，网络包括输入层、隐层和输出层3部分；由于数据的形式为由305个波段对应的反射率值组成的一维数组，因此输入层神经元个数为305；隐层神经元个数设置为18；由于模型任务为识别真假，实质为二分类过程，因此输出层神经元个数为2。在进行光谱识别时，首先根据图像识别模型输出的类别标签选择对应的光谱识别网络，然后将样本的高光谱数据导入该网络识别真假。

1.3 实验过程 1.3.1 基于图像数据的类别识别实验

按照之前划分好的训练集和测试集，将训练集的图像导入搭建好的CNN模型中。首先利用VGG16模型在ImageNet大型数据集上训练好的参数对模型进行初始化，然后固定前面的神经网络层，只对模型的最后一个全连接层进行训练。采用交叉熵作为损失函数，通过反向传播计算，最终训练得到模型的参数值。模型设置学习率为0.001，迭代次数为100，批尺寸为25，使用Adam算法进行优化。

1.3.2 基于光谱数据的真假识别实验

本文实验中，首先对苹果对应的光谱识别网络进行训练，将训练集中苹果的高光谱数据（真苹果、假苹果各占一半）导入网络进行训练, 以均方误差作为训练的损失函数，设置损失函数的终止阈值为0.01，利用LMBP（Levenberg Marquardt back propagation）算法进行反向计算，得到模型的参数值，然后通过测试集检测网络的性能。葡萄对应的光谱识别网络训练方法与苹果相同，替换相应数据即可。

高光谱数据由于波段窄、波段数多、光谱分辨率高，因此蕴含了物体大量的属性信息，为实现精确的识别和分类提供了数据支持；然而，过高的光谱分辨率可能会引入大量冗余信息，从而影响模型训练的时间效率。因此，为了找到最适合该模型训练的数据光谱分辨率，对已有的2 nm光谱分辨率的数据进行下采样处理，设计2组对比实验，对应的采样间隔分别为2和3，得到光谱分辨率分别为4 nm和6 nm的数据，分别导入网络进行训练和测试，并与未进行下采样处理的原始数据进行比较。

1.3.3 精度验证方法

将验证数据按照图 1所示的流程，利用本文方法得到输出结果。本文以正确识别的样本数占总数的比例作为判定精度的标准，测试该方法在验证数据的200个样本上的识别精度。

为了验证将图像与光谱信息结合的必要性，本文在现有验证数据上又进行了两组对比实验。首先测试仅利用图像信息进行识别的效果，具体操作为：改变图像识别网络最后一个全连接层和softmax分类层，使其能进行真苹果、假苹果、真葡萄、假葡萄的4分类；按照4分类的标准重新进行图像训练集标签的标定；将图像训练集导入网络进行训练，导入验证数据里的图像数据进行模型测试和评估。然后测试仅利用光谱信息进行识别的效果，具体操作为：改变BP神经网络的结构，使其能进行4分类；按照4分类的标准重新进行光谱训练集标签的标定；将光谱训练集导入网络进行训练，而后导入验证数据里的高光谱数据进行模型的测试与评估。

2 结果与分析

本文实验数据的预处理以及模型的搭建、训练、测试的过程均通过Python语言实现，硬件环境为：Intel(R) Xeon(R) CPU E5-2620 v4@2.10 GHz 2.10 GHz(2处理器), 256 GB。软件环境为：Python 3.5.3;Pyc-harm Community Edition 2016.2.3; Ten/sorflow 1.12.0;Windows 10 64 bit操作系统。

2.1 基于图像信息的类别识别

图 4为图像识别CNN模型在训练过程中的识别准确率与损失函数值（loss值）随迭代次数变化的曲线。可以看到训练集与测试集的准确率及loss值的变化趋势基本一致，且在迭代100次之后趋于稳定，模型最终在测试集上取得了95.50%的识别准确率。测试集的识别准确率高于训练集，而loss值低于训练集，原因在于该图像识别的任务相对简单，模型的学习效果比较好，因此生成的类别标签可靠度比较高。

2.2 基于光谱信息的真假识别

图 5、图 6分别为苹果、葡萄所对应的光谱识别网络在训练过程中识别率与损失函数值随迭代次数变化的曲线。其中图 5为了更清晰地展示关键节点处的曲线变化情况，只截取了曲线的一部分。图 5(a)中曲线在横坐标300到8 000的y坐标值为1.0；图 5(b)中loss值从28.87开始下降。由图 5、图 6可见，在迭代8 000次以后，模型的识别率以及loss值已经基本趋于稳定，并且在测试集上取得了接近100%的识别率。

由于识别率接近100%，因此需要进一步测试模型的鲁棒性和稳定性。现有真苹果、假苹果、真葡萄、假葡萄4个类别的高光谱数据样本各100个。从每个类别中随机选择75个样本组成训练集，剩余的组成测试集，重新进行4组实验，在4组实验中，有3组的测试集识别准确率达到了100%，有1组为99%（100个样本中仅识别错1个），模型的平均识别率达到99.75%。可见该模型的识别结果相对稳定，模型的鲁棒性较好。分析原因，认为是由于真假目标存在明显的光谱差异，并且实验室采集的数据质量较好，受环境等因素的干扰较小。同时本文针对不同类别采用单独的一套网络进行训练，相当于每一套光谱识别网络实现的是二分类过程，类别数少，准确率也相应较高。实验结果充分证明，根据光谱信息可以有效区分物体的真假。而在人脸识别、指纹识别以及军事目标识别等领域，硅胶脸皮、人造指纹膜等用于伪装的物质与人体皮肤在光谱上同样存在明显的差异；军事假目标由于材质的不同，与真目标在光谱上也存在明显的差异，因此本文的方法可以为人脸识别、指纹识别、军事目标识别等领域的反欺诈提供重要的参考。

本研究还通过下采样的方式改变高光谱数据的光谱分辨率，以验证不同光谱分辨率对模型训练的影响。图 7为3种不同光谱分辨率的数据在训练过程中的识别率随迭代次数变化的曲线。由图 7可见，在不同光谱分辨率的情况下，模型识别率均可收敛于1.0，然而随着光谱分辨率的降低，模型训练的收敛速度会相应变慢。说明相比经过下采样的数据，2 nm光谱分辨率采样间隔的数据更有利于模型训练。原因是2 nm光谱分辨率的数据中包含更多有助于模型学习的信息，虽然可能也包含一定的冗余信息，但是其对时间效率的影响相对较小。不过考虑到3种不同光谱分辨率的数据均能收敛至100%，因此在难以获得高光谱分辨率数据的情况下，可以考虑使用光谱分辨率较低的数据以更长的训练时间换取理想的识别效果。

2.3 精度对比与分析

为了验证本文方法的识别精度，按照1.3.3节所述的步骤进行精度验证。对于验证数据的每一个样本而言，只有该样本的类别及真假两部分信息均识别正确时，才认为该样本识别正确，最终在验证数据上取得了95.00%的识别率。随后进行了两组对比实验，分别只利用图像和光谱进行模型训练，并用相同的验证数据进行识别率的验证。在只利用图像信息进行识别的情况下，识别率仅为38.50%，略高于随机猜测的准确率（25.00%）。这是由于当物体仿真模型的颜色、纹理、形状等图像特征与物体高度相似时，虽然其图像特征与真实物体仍然存在细微差别，但目前的图像识别网络无法在仅利用这部分有限信息的情况下实现较好的识别效果, 这也充分证明了当前模式识别技术仅局限于图像信息所带来的缺陷；而如果只利用高光谱数据，准确率也仅为63.00%，这是由于光谱识别主要取决于物体的材质，当不同类别物体的仿真模型在材质上高度相似时，其高光谱曲线没有明显的差异，并且不同物体之间也存在同物异谱或同谱异物的现象，而光谱识别网络又无法利用物体的形状等图像特征信息，因此在不限定类别的情况下直接进行判别，也难以获得令人满意的识别效果。

本文方法在实验中取得了95.00%的识别率，虽然实验仅涉及两类物体的识别，但图像识别分类方面的技术目前已经成熟，只要提供足够数量和质量的训练样本，就能保证图像识别模型的准确性。光谱识别模型的实验充分证明，在指定类别的情况下，根据高光谱数据能够以接近100%的准确率识别物体真假。由于不同的类别各自对应一套网络模型，模型之间的训练和测试互不干扰，因此类别数的增加不会对识别准确率产生影响。也正是由于图像识别模型与光谱识别模型的训练互不干扰，且产生的结果互为补充，方能为航天侦查载荷的设计提供新的思路。在载荷设计时，可以考虑分别用不同的传感器获得高空间分辨率和高光谱分辨率的数据，然后利用本文的方法综合这两部分数据，获得包含地物类别及真假两部分信息的最终结果。

3 结语

本文提出了一种综合图像和光谱信息的物体真假模式识别方法，以真假苹果和葡萄作为实验对象，以识别物体的类别及真假两部分信息为目标，得到结论如下：

只利用图像信息进行识别时，仅能得到38.50%的识别率，意味着在图像特征高度相似的情况下，现有的模式识别方法难以满足需求；只利用光谱信息进行识别时，仅能得到63.00%的识别率，意味着仅利用光谱识别也难以取得令人满意的识别效果；利用本文方法时，可以得到95.00%的识别率，证明了综合图像与光谱信息的优势。

相比现有的模式识别方法，本文方法提高了真假目标混杂情况下的模式识别准确度，可以为物体识别、指纹识别、人脸识别、军事目标识别等领域提供重要的参考。同时，将图像与光谱数据分开获取、分别处理的思路也为航天侦查载荷的设计提供了理论支撑，载荷设计时可以考虑分别用不同的传感器获取高空间分辨率和高光谱分辨率的数据，从而解决了高光谱影像无法兼顾空间分辨率与光谱分辨率的弊端。