-
超光谱图像在常规的二维图像中加入了光谱维度，具有光谱连续、图谱合一的新特点，为图像的分类、识别等应用提供了更丰富的信息，目前已经在人脸识别、物质鉴定、医学诊断和遥感对地观测等领域有了成功的应用[1-4]。然而，随着数据量的显著增加，实际应用中对这些超光谱图像在储存、传输过程中的速度和质量等方面的要求也越来越高。对于静态灰度图像，目前相应的图像压缩方法已经比较成熟[5]，然而对于超光谱图像，目前的超光谱图像压缩算法主要聚焦在光谱域的特征降维[6, 7]。典型的超光谱图像特征降维包括主成分分析 (principal component analysis,PCA)等线性投影变换[8]。尽管PCA能够有效地降低超光谱图像在光谱维度的数据冗余性，但是却完全没有考虑超光谱图像在两个空间维度的数据冗余性，因为这些算法本质上只能用于处理一系列向量构成的数据集。
最新研究成果表明，计算机视觉与模式识别获取的图像信号往往以张量的数据形式存在，基于定义在多维数组的张量代数，可以直接处理这种高阶信号而无需将其重排列为向量间接分析。本文将超光谱图像视为3阶张量，引入一种张量分解技术将原始观测张量分解为核张量与3个投影矩阵的乘积形式，实现了对超光谱图像的低秩压缩表示。对核张量进行反投影，还可以得到近似重构的低秩超光谱图像。显然，将超光谱图像视为3阶张量的处理方式能够同时考虑数据在空间维度和光谱维度的冗余性，更好地实现超光谱图像的压缩与重构。
-
张量是定义在多维线性代数理论中的多维数组，也是实数、向量和矩阵在多维空间中的广义形式[9]。本文中，张量用空心的大写字母表示，对于3阶张量X∈RL1×L2×L3，Li则表示了该张量第i阶的大小，该张量中的某个元素表示为Xl1,l2,l3 (1≤li≤Li)，其中li表示该元素在数组中第i阶的位置。
张量与矩阵d阶相乘 (dU)是一种重要的张量代数运算，它是基于张量分解算法应用的核心。以张量X∈RL1×L2×L3在第1阶与矩阵U∈RL′1×L1相乘为例，要求张量X在第1阶的大小L1必须与矩阵的列数相等，具体定义为：
$${({X_1} \times U)_{l{\prime _1},{l_2},{l_2}}} = \sum\limits_{{l_1} = 1}^{{L_1}} {\left( {X{l_1},{l_2},{l_3}{U_{l{\prime _1},{l_1}}}} \right)} $$ (1) 本文中，如果张量X依次在第1到3阶上与矩阵Ud (d = 1,2,3)发生d阶相乘，该运算简化为：
$${X_1} \times {U_1}{ \times _2}{U_2}{ \times _3}{U_3} = {\prod _{d = 1}}^3{X_d} \times {U_d}$$ (2) 图 1给出了基于张量分解的超光谱图像压缩与重构方法流程图。本文提出的超光谱图像压缩与重构算法基于塔克张量分解技术[9]。对于原始观测超光谱图像I∈RL1×L2×L3(其中L1和L2分别表示超光谱图像中每一光谱通道上的灰度图像高度和宽度，L3则表示超光谱图像的光谱通道数)，其塔克分解的表达式为：
$$I \approx G{ \times _1}{U_1}{ \times _2}{U_2}{ \times _3}{U_3} = {\prod _{d = 1}}^3{ \times _d}{U_d}$$ (3) 式中，U1∈RL1×L′1、U2∈RL2×L′2、U3∈RL3×L′3是投影矩阵 (通常需要正交)。如果限制每个投影矩阵的列数小于行数，即L′i＜Li (i= 1,2,3)，则张量G∈RL′1×L′2×L′3的大小可以远远小于原始张量I，此时塔克分解能够实现对原始张量的压缩，因此 式(3)中张量也称为原始张量I的核张量。
在式(3)中，由核张量G与多个投影矩阵的张量连乘积形式实际上得到了原始张量数据的重构张量，见图 1。
$${I^\prime } = {\prod _{d = 1}}^3G{ \times _d}{U_d}$$ (4) 
图 1 基于张量分解的超光谱图像压缩与重构方法
Figure 1. Hyper-spectral Image Compression and Reconstruction Based on Tensor Decomposition
在式(3)中，与原始张量I相比，重构张量I′在每一阶上的秩分别从Li降低为L′i (i= 1,2,3)，因此，基于张量分解的超光谱图像压缩实质上是对原始观测张量数据的降秩压缩。为了使重构张量尽可能地接近原始张量，算法必须对投影矩阵进行约束，其目标函数为：
$$\mathop {{\rm{min}}}\limits_{{U_1},{U_2},{U_3}} {\left\| {I - {I^\prime }} \right\|^2} = \mathop {{\rm{min}}}\limits_{{U_1},{U_2},{U_3}} {\left\| {I - {\prod _{d = 1}}^3G{ \times _d}{U_d}} \right\|^2}$$ (5) 目标函数式(5)也称为高阶奇异值分解，该目标函数的优化可以通过迭代投影的方式实现，即每次固定2个投影矩阵同时优化剩下的1个投影矩阵，直至达到收敛条件。本文提出的基于张量分解的超光谱图像压缩的具体过程如下。
算法 1 张量压缩算法(tensor compression,TenC)
输入：观测张量I∈RL1×L2×L3
步骤：
(1) 初始化，U1∈RL1×L′1，U2∈RL2×L′2，U3∈RL3×L′3
(2) 重复：
① Y=I×2U2T×3U3T，将U1设置为第1阶展开后的前L′1个特征向量
② Y=I×1U1T×3U3T，将U2设置为第2阶展开后的前L′2个特征向量
③ Y=I×1U1T×2U2T，将U3设置为第3阶展开后的前L′3个特征向量
直至收敛
(3) G=∏d=13I×dUdT
输出：核张量G∈RL′1×L′2×L′3和投影矩阵Ud (d = 1,2,3)
基于张量分解的超光谱图像压缩算法将大小为I∈RL1×L2×L3的原始观测张量压缩为大小为G∈RL′1×L′2×L′3的核张量，则超光谱图像的压缩率为：
$${{P}_{c}}=\prod\nolimits_{i=1}^{3}{\left( L_{i}^{'}/{{L}_{i}} \right)}$$ (6) 在实验中，用相对误差值来描述重构张量与原始张量的接近程度，定义为：
$${P_e} = {\left\| {I - {I^\prime }} \right\|^2}/{\left\| I \right\|^2}$$ (7) 显然，Pe值越小说明重构张量与原始张量越接近。在理想情况下，如果重构张量与原始张量完全相同，则Pe=0。
-
本文实验所用超光谱数据库来自哥伦比亚大学计算机科学系计算机视觉实验室发布的超光谱图像库。该图像库中的超光谱图像由GAP传感器获取，每幅超光谱图像的空间大小是512×512像素；在光谱域，该传感器能够在波长400 nm~700 nm的范围内以10 nm的光谱分辨率连续成像，因此每幅超光谱图像包含31个光谱通道。这样，用张量表示的原始3阶观测张量大小为512×512×31。
首先，分析名为辣椒的超光谱图像1，图像中分为三列摆放了6个辣椒，其中3个是真辣椒，另外3个则是假的辣椒模型。在实验中，将张量从原始大小[512 512 31]分别设置为[115 115 20]、[186 186 23]、[230 230 25]、[258 258 28]、[282 282 30]，依次得到图 2中所示的5组不同压缩率。同时，以基于主成分分析 (PCA)[8]和最小噪声分离 (maximum noise fraction,MNF)[10]的数据降维方法作为对比，将PCA和MNF的子空间维数分别设置为1、3、5、7、9，同样可以得到图 2中所示的5组不同压缩率。
图 2 不同压缩率下超光谱图像1的重构误差图(显示第31光谱通道)
Figure 2. Reconstruction Error Maps of Hyper-spectral Image 1 (Spectral Channel 31)
在相同的压缩率下，给出PCA、MNF和TenC算法在第31光谱通道的重构误差图，即第31光谱通道的原始图像与重构图像的差值图像(图 2)。在图 2中，颜色深的像素重构误差较大，颜色浅的像素重构误差较小。很明显，随着压缩率的升高，三种算法的重构误差图颜色均变浅，图像的整体重构误差降低。在相同的压缩率下，TenC算法的重构误差图颜色明显浅于PCA和MNF算法的结果，这表明本文提出的TenC算法能够更有效地实现超光谱图像的压缩与重构。
超光谱图像1的定量实验结果如表 1所示。表 1给出了两种算法在上述5组不同压缩率下，整幅超光谱图像的重构相对误差值。显然，在不同的压缩率下，本文提出的方法取得的重构相对误差值均远低于PCA和MNF算法；当对超光谱图像的压缩率仅为0.03时，本文方法仅有0.010 5的相对误差，即此时的重构图像仍然保持了原始超光谱图像约99%的信息。
表 1 超光谱图像1在不同压缩率下的重构相对误差值
Table 1. Reconstruction Relative Errors of Hyper-spectral Image 1 Respect to Various Compression Rates
方法 压缩率 0.03 0.09 0.16 0.22 0.29 PCA 0.338 5 0.086 3 0.047 5 0.025 9 0.012 2 MNF 0.435 2 0.104 7 0.053 6 0.019 9 0.016 6 TenC 0.010 5 0.004 7 0.003 3 0.002 6 0.002 6 为了进一步验证本文提出的超光谱图像的压缩方法的有效性，我们使用更多的超光谱图像进行了进一步实验。实验所用的超光谱图像如图 3所示，其中，图 3(a) (念珠)具有丰富的纹理信息，对于这一类的图像压缩问题，重构的图像往往会出现细节的丢失，导致误差较大。对超光谱图像的具体实验设置与辣椒图像一样，分别采用5组不同的压缩率对应的重构相对误差值来描述三种算法对超光谱图像压缩的性能评价，具体的统计结果如图 4所示。在图 4(a)～图 4(e)的曲线中，越靠近图中左下方的曲线表示算法的性能越好；可以看出，在超光谱图像的压缩与重构实验中，TenC算法在同样压缩率下总是保持比PCA和MNF更低的相对误差，尤其是在压缩率很低的时候，例如Pc=0.03，TenC算法的优势非常显著。同时观察到，在超光谱图像的实验结果中，三种算法对念珠图像的压缩性能最差，这是因为该图像的纹理信息难以在较低压缩率的情况下仍然被完好地保持。在这个图像中，当压缩率仅为0.03时，TenC、PCA和MNF算法的相对误差分别为0.115 4、0.464 1、0.574 1，此时本文的方法仍然保持了原始超光谱图像约90%的信息。
图 3 超光谱图像2～6
Figure 3. Hyper-spectral Images 2-6
图 4 超光谱图像2～6在不同压缩率下的重构相对误差值
Figure 4. Reconstruction Relative Errors of Hyper-spectral Images 2-6 Respect to Various Compression Rates
最后，TenC算法中核张量的大小设置为[90 90 10]，此时超光谱图像的压缩率仅为0.01，即将图像压缩到了原始大小的1%。超光谱图像2～6在第31光谱通道的原始图像和TenC重构图像如图 5所示。可以看到，尽管图像的数据量被极大程度地压缩，但是从目视效果看，重构图像与原始图像的差别并不大。此时，5组超光谱图像的重构相对误差值分别是0.146 5、0.039 1、0.058 3、0.023 9、0.020 2，除了前面指出的念珠图像误差较大以外，其他图像的误差均在0.1以内；对于纹理简单的图像头发和雕像，重构相对误差都能够控制在0.03以内，因此本文提出的超光谱图像压缩算法具有很好的实用价值。
图 5 超光谱图像2～6的原始图像和TenC重构图像(显示第31光谱通道)
Figure 5. Original and Reconstructed Images of Hyper-spectral Images 2-6 (Spectral Channel 31)
-
与常规的超光谱图像特征降维方法不同，本文提出的TenC算法将超光谱图像直接视为3阶张量数据处理而无需将其重排列为向量间接分析，能够同时考虑超光谱图像在光谱维度和两个空间维度的数据冗余性，实现超光谱图像的数据压缩。通过对大量自然场景的超光谱图像压缩与重构的实验表明，与处理向量的PCA等算法相比，TenC算法能够在相同压缩率下大大降低图像的重构相对误差。对于纹理信息复杂的超光谱图像，TenC算法能够在压缩率仅为0.03时保持原始超光谱图像约90%的信息，具有很好的实用价值。
-
摘要: 超光谱图像在常规的二维图像中加入了光谱维度，具有更大的信息量的同时也带来了较大的光谱冗余性，这给图像压缩带来了新的挑战。提出了一种基于张量分解的超光谱图像降秩与压缩方法，将超光谱图像视为三阶张量数据表示，并使用张量分解技术将原始观测张量分解为核张量与多个投影矩阵的乘积形式。这样，超光谱图像被压缩为了低秩张量，它可以通过张量反投影进行图像重构。实验证明张量分解技术能够将超光谱图像压缩到很低的比率，同时保持较低的重构相对误差。Abstract: The hyper-spectral image, which has two spatial dimensions and an additional spectral dimension, brings the greater amount of information than the grey level image but also the heavier spectral redundancy at the same time. Thus, it is a fact that hyper-spectral technology brings new challenges in image compression area. In this paper, we propose a hyper-spectral image compression algorithm based on tensor decomposition, in detail, the hyper-spectral image is represented as a 3-order-tensor, then the tensor decomposition technology is introduced to decompose the observed tensor data into a core tensor multiply by a series of projection matrices. By this way, the given hyper-spectral image is compressed into a low rank tensor, and it could be reconstructed by using the core tensor and the projection matrices. Experiments on real world hyper-spectral image datasets suggests that the proposed approach could reduce the hyper-spectral image to a low rate while keep the low reconstruction error.
-
Key words:
- hyper-spectral /
- image compression /
- tensor decomposition /
- low rank
-
图 1 基于张量分解的超光谱图像压缩与重构方法
Figure 1. Hyper-spectral Image Compression and Reconstruction Based on Tensor Decomposition
图 2 不同压缩率下超光谱图像1的重构误差图(显示第31光谱通道)
Figure 2. Reconstruction Error Maps of Hyper-spectral Image 1 (Spectral Channel 31)
图 4 超光谱图像2～6在不同压缩率下的重构相对误差值
Figure 4. Reconstruction Relative Errors of Hyper-spectral Images 2-6 Respect to Various Compression Rates
图 5 超光谱图像2～6的原始图像和TenC重构图像(显示第31光谱通道)
Figure 5. Original and Reconstructed Images of Hyper-spectral Images 2-6 (Spectral Channel 31)
表 1 超光谱图像1在不同压缩率下的重构相对误差值
Table 1. Reconstruction Relative Errors of Hyper-spectral Image 1 Respect to Various Compression Rates
方法 压缩率 0.03 0.09 0.16 0.22 0.29 PCA 0.338 5 0.086 3 0.047 5 0.025 9 0.012 2 MNF 0.435 2 0.104 7 0.053 6 0.019 9 0.016 6 TenC 0.010 5 0.004 7 0.003 3 0.002 6 0.002 6 
下载: 导出CSV
-
[1] 熊维, 张乐飞, 杜博. 一种基于多维正交判别子空间投影的人脸识别方法[J]. 武汉大学学报·信息科学版, 2015, 40(5):583-587 http://ch.whu.edu.cn/CN/abstract/abstract3249.shtml Xiong Wei, Zhang Lefei, Du Bo. A Multilinear Discriminant Subspace Projection with Orthogonalization for Face Recognition[J]. Geomatics and Information Science of Wuhan University, 2015, 40(5):583-587 http://ch.whu.edu.cn/CN/abstract/abstract3249.shtml [2] Zhang L, Zhang L, Tao D, et al. Compression of Hyperspectral Remote Sensing Images by Tensor Approach[J], Neurocomputing, 2015, 147:358-363 doi: 10.1016/j.neucom.2014.06.052 [3] Guo X, Huang X, Zhang L, et al. Hyperspectral Image Noise Reduction Based on Rank-1 Tensor Decomposition[J].ISPRS Journal of Photogrammetry and Remote Sensing, 2013, 83:50-63 doi: 10.1016/j.isprsjprs.2013.06.001 [4] 张乐飞, 黄昕, 张良培. 高分辨率遥感影像的支持张量机分类方法[J]. 武汉大学学报·信息科学版, 2012, 37(3):314-317 http://ch.whu.edu.cn/CN/abstract/abstract145.shtml Zhang Lefei, Huang Xin, Zhang Liangpei. Classification of High Spatial Resolution Imagery Using Support Tensor Machine[J]. Geomatics and Information Science of Wuhan University, 2012, 37(3):314-317 http://ch.whu.edu.cn/CN/abstract/abstract145.shtml [5] 章毓晋, 图像工程(中册):图像分析(第二版)[M]. 北京:清华大学出版社, 2005 Zhang Yujin. Image Engineering (part Ⅱ):Image analysis[M]. Beijing:Tsinghua University Press, 2005 [6] 杜培军, 王小美, 谭琨, 等. 利用流形学习进行高光谱遥感影像的降维与特征提取[J]. 武汉大学学报·信息科学版, 2011, 36(2):148-152 http://ch.whu.edu.cn/CN/abstract/abstract456.shtml Du Peijun, Wang Xiaomei, Tan Kun, et al. Dimensionality Reduction and Feature Extraction from Hyper-spectral Remote Sensing Imagery Based on Manifold Learning[J]. Geomatics and Information Science of Wuhan University, 2011, 36(2):148-152 http://ch.whu.edu.cn/CN/abstract/abstract456.shtml [7] 黄昕, 张良培, 邵振峰, 等. 基于独立分量分析的纹理特征维数减少[J]. 武汉大学学报·信息科学版, 2006, 31(12):1055-1058 Huang Xin, Zhang Liangpei, Shao Zhenfeng, et al. Dimension Reduction of Texture Features Based upon Independent Component Analysis[J]. Geomatics and Information Science of Wuhan University, 2006, 31(12):1055-1058 [8] Jolliffe I T. Principal Component Analysis[M]. New York, USA:Springer, 2002 [9] Kolda T G, Bader B W. Tensor Decompositions and Applications[J]. SIAM Review, 2009, 51(3):455-500 doi: 10.1137/07070111X [10] Green A A, Berman M, Switzer P, et al. A Transformation for Ordering Multispectral Data in Terms of Image Quality with Implications for Noise Removal[J]. IEEE Transactions on Geoscience and Remote Sensing, 1988, 26(1):65-74 doi: 10.1109/36.3001 -
点击查看大图
计量
- 文章访问数: 1664
- HTML全文浏览量: 92
- PDF下载量: 410
- 被引次数: 0
