基于色匹配函数的卫星影像真彩色合成研究

doi:10.11873/j.issn.1004-0323.2023.5.1092

基于色匹配函数的卫星影像真彩色合成研究

夏米麒^,¹, 丘仲锋^,¹, 胡晨悦¹, 龙艳梅¹, 赵冬至¹, 廖廓², 吴到懋³

1.南京信息工程大学海洋科学学院海洋气象学，江苏南京 210044

2.福建省气象科学研究所，福建福州 350008

3.江苏省宿迁市环境监测中心，江苏宿迁 223800

True Color Synthesis of Satellite Images based on Color Matching Functions

XIA Miqi^,¹, QIU Zhongfeng^,¹, HU Chenyue¹, LONG Yanmei¹, ZHAO Dongzhi¹, Liao KUO², WU Daomao³

1.Marine Meteorology，College of Marine Sciences，Nanjing University of Information Science and Technology，Nanjing 210044，China

2.Fujian Institute of Meteorological Sciences，Fuzhou 350008，China

3.Enviromental Monitoring Center，Suqian 223800，China

通讯作者: 丘仲锋（1979-），男，福建上杭人，教授，硕博士导师，主要从事海洋光信息技术方面的研究。E⁃mail:zhongfeng.qiu@nuist.edu.cn

收稿日期: 2022-07-01 修回日期: 2023-09-01

基金资助:

国家自然科学基金项目“低于2微米海水小颗粒的物理特征及其光散射的响应机制研究”. 41976165

Received: 2022-07-01 Revised: 2023-09-01

作者简介 About authors

夏米麒（1998-），女，浙江金华人，硕士研究生，主要从事光学遥感研究E⁃mail:20201209011@nuist.edu.cn , E-mail：20201209011@nuist.edu.cn

摘要

色匹配函数通过构建地物反射光的光谱分布与颜色三刺激值的关系可将任意波段的信息映射到三原色基准值上，经过色彩空间的转换后重建多光谱遥感影像。针对大多数多光谱传感器在可见光内波段数量有限、波段通道较窄且波段间隔不均匀，直接在相邻波段间插值会使色匹配积分过程出现较大误差的问题，结合遥感数据的模拟和反向传播（Back Propagation，BP）神经网络，以可见光范围内通道设置丰富的近岸高光谱水色成像仪（Hyperspectral Imager for the Coastal Ocean，HICO）经色匹配函数和色彩空间转换后得到的R、G、B三刺激值作为网络输出值，其波段重建后得到的目标传感器的模拟波段作为输入值，训练得到适用于Landsat-8 OLI、Terra MODIS、Himawari-8 AHI传感器的真彩色影像合成模型。计算均值、标准差、平均梯度和信息熵这4类客观评价参数，并结合对真彩色影像和直方图的主观分析，结果表明该方法能丰富和扩展有限的波段信息，提高影像的清晰度、色彩饱和度以及包含的信息量，校正了三波段合成影像存在的色偏，解决了在原始数据波段数受限的情况下通过简单插补波段带入色匹配函数进行积分计算产成误差的问题。

关键词： 色匹配函数 ; 反向传播神经网络 ; 波段重建 ; 真彩色合成 ; 多光谱

Abstract

The color matching function can map the information of any band to the three primary color reference values by constructing the relationship between the spectral distribution of the reflected light of the ground object and the color three stimulus values， and reconstruct the multispectral remote sensing image after the conversion of the color space. In view of the limited number of bands in visible light， narrow band channels and uneven band intervals of most multispectral sensors， direct interpolation between adjacent bands will lead to large errors in the color matching integration process， combined with remote sensing data simulation and back propagation （ BP ） neural network， the R， G and B three stimulation values obtained by the color matching function and color space conversion of the Hyperspectral Imager for the Coastal Ocean （ HICO ） in the visible range channel are used as the output value of the network， and the simulated band of the target sensor after band reconstruction is used as the input value. The true color image synthesis model suitable for Landsat 8 OLI， Terra MODIS and Himawari-8 AHI sensors was trained. By calculating the four objective evaluation parameters of mean， standard deviation， mean gradient and information entropy， and combining with the subjective analysis of true color images and histograms， the results show that the proposed method can enrich and expand the limited band information， improve the clarity， color saturation and the amount of information contained in the image， correct the color deviation existing in the three-band composite image， and solve the problem of integral calculation error by inserting the color matching function into the interpolation band under the condition of limited band number of original data.

Keywords： Color matching functions ; Back propagation neural network ; Band reconstruction ; True color synthesis ; multispectral

PDF (10755KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

夏米麒, 丘仲锋, 胡晨悦, 龙艳梅, 赵冬至, 廖廓, 吴到懋. 基于色匹配函数的卫星影像真彩色合成研究. 遥感技术与应用[J], 2023, 38(5): 1092-1106 doi:10.11873/j.issn.1004-0323.2023.5.1092

XIA Miqi, QIU Zhongfeng, HU Chenyue, LONG Yanmei, ZHAO Dongzhi, Liao KUO, WU Daomao. True Color Synthesis of Satellite Images based on Color Matching Functions. Remote Sensing Technology and Application[J], 2023, 38(5): 1092-1106 doi:10.11873/j.issn.1004-0323.2023.5.1092

1 引言

多光谱遥感影像彩色合成方法主要有真彩色合成和假彩色合成两种。根据彩色合成原理，可选择同一目标的单个多光谱数据合成彩色影像。当合成影像的红、绿、蓝三色通道与多光谱数据的波段相吻合时，合成的图像可再现地物的真实色彩，称为真彩色合成；若参与合成的3个波段与三原色通道不相对应，则合成图像的颜色就不是地物的真实颜色，这种合成称为假彩色合成。真彩色影像可以真实地记录大气和地物的颜色特征和光谱特征，符合人们的认知习惯^［1］。在真彩色图像中海水是深蓝色，土地和沙漠是黄色，云和雪是明亮的白色，雾是有纹理感的灰白色，植被是绿色；而假彩色影像的地物颜色与实际颜色不同，通常水为灰色和蓝色，草、树和庄稼覆盖地区为红色，城市为灰蓝色。

由于真彩色影像与人眼直接观测的结果具有一致性，业务人员可以充分利用色彩信息对遥感影像进行解译判读和信息提取，从而在实际应用中发挥作用，如在天气变化和环境监测领域可以依靠真彩色图像完成对东欧沙尘与积雪、沙尘暴、浒苔爆发、海面溢油、火灾、台风等的监测。鉴于图像的颜色信息可作为图像分析的重要依据，研究能真实反映观察对象本身颜色的颜色校正技术具有重要的现实意义^［2］。除此之外，真彩色合成影像对影像信息的还原程度好，故也可用于检验反演产品的准确性，其应用范围较广^［3］。

目前的三原色合成多依照加色法色彩合成原理，选择遥感影像的红、绿、蓝波段分别赋予红、绿、蓝三原色来合成彩色图像。1931年，国际照明委员会（Commission Internationale de l´Eclairage，CIE）建立了一系列表示可见光谱的颜色空间标准，定义了CIE-RGB基色系统，规定了RGB系统的三原色光波长分别为700 nm、546.1 nm、435.8 nm^［4］。然而多光谱的波段设置为若干个较窄的光谱段，目前用于真彩色合成的光谱波段只能达到与三原色光波长相近，不可能相同。因此在实际的多光谱传感器真彩色影像合成中多选择与三原色波长相近的3个波段用以合成，如韩秀珍等^［3］采用650 nm、550 nm、470 nm 3个可见光波段经过线性拉伸后的地表反射率对应R、G、B 3个通道合成真彩色影像，由于使用的波段并不是CIE规定的三原色波段，合成的真彩色影像并不是最贴近人眼识别的真实地物色彩，容易出现偏色的问题。

为了得到符合人眼视觉效果的真彩色影像，建立相机RGB三原色系统与人眼视觉颜色之间的关系，陈春等^［5］利用色度学原理，通过对可见光内的波段按照波长5 nm的间隔在相邻波段间插补波段来合成MODIS的真彩色遥感影像；吕晓凯等^［6］利用地物色彩真值对使用基于光谱色度测色原理的色彩合成方法重建的真彩色影像进行了校正，建立了高光谱影像真彩色校正模型，但该工作仍通过插补波段进行加权积分来弥补传感器波段数量不够及波段间隔不均匀的问题；黄红莲等^［7］通过在卫星过顶时铺设人工靶标，利用实测的靶标高光谱反射率光谱计算相机三基色体系RGB与人眼视觉颜色体系CIE-XYZ之间的转换矩阵，构建适用于一定大气条件下的真彩色校正模型；张星铭等^［8］利用色匹配函数对航空多光谱图像进行了真彩色还原，并在此基础上结合色彩恒常理论实现对地物色彩的复原和增强，其使用的多光谱相机的分光系统能得到不同波段的图像数据。上述研究未能解决在原始数据波段数受限的情况下通过插补波段带入色匹配函数进行积分计算产生误差的问题。

本文利用可见光区域内波段数量丰富的近岸高光谱水色成像仪HICO（Hyperspectral Imager for the Coastal Ocean）解决波段数量较少、波段分布不均匀、波段设置与CIE三原色不同的多光谱遥感真彩色合成问题。以HICO经色匹配函数计算后的地物三刺激值作为真值，构建不同轨道类型、不同分辨率的传感器的真彩色影像合成模型，得到目标传感器波段信息与三原色基准值之间的关系。该方法可以有效的校正传统三波段合成导致的色偏和失真，利用有限的波段信息达到HICO 70个波段的影像合成效果。

2 数据

色匹配函数中积分式的计算，要求卫星传感器在可见光波段范围内具有一定数量的通道数，本文以近岸高光谱水色成像仪HICO经色匹配函数计算后的颜色三刺激值，作为构建其他波段数不足的传感器的真彩色合成模型的真值。

HICO是由美国海军研究中心研发的首个应用于沿海海洋的星载高光谱成像仪，其观测内容包括水体透明度、海底类型、水深测量和近岸植被分布。HICO于2009年9月发射升空，搭载在国际空间站ISS（International Space Station）上，可获取的成像数据时间范围为2009年9月25日至2014年9月13日。HICO运行轨道高度为343 km，轨道倾角为51.6°，空间分辨率为90 m，重访周期约为3 d，以堆扫方式获取42 km×192 km大小的条带状影像。HICO在360~1 080 nm的波段范围内共设置了128个波段，其中位于可见光区域（380~760 nm）内的有70个波段。相较于绝大多数的光学传感器，HICO丰富的波段设置使其可以较好的带入色匹配函数中加以计算。目前HICO数据可以获得的产品有L1B和L2A级产品，可从NASA Ocean Color网站（https：∥oceancolor.gsfc.nasa.gov/）获取。原始数据（Level 0）包含大气层顶的辐亮度以及各项轨道参数和传感器参数，经光谱定标和辐射校正后得到L1B级产品。L1B产品包含了大气层顶的辐射亮度数据、几何纠正信息、植被指数和质量控制信息。为了有效地存储数据，HICO采用了缩放系数。对于L1B级数据，所有波段的缩放系数为50，因此在使用L1B数据前要先对所有波段数据除以50。L2A为大气纠正后的产品，包括星上反射率、地表反射率、遥感反射比和归一化离水辐射等参数^［9］。

本文从不同空间分辨率、不同轨道类型出发，构建了Landsat-8 OLI、Terra MODIS、葵花-8（Himawari-8） AHI卫星传感器基于色匹配函数的真彩色合成模型。

Terra卫星于1999年12月8日发射升空，是地球观测系统（Earth Observation System，EOS）计划的第一颗卫星，数据可从Level-1 and Atmosphere Archive & Distribution System（LAADS）Distributed Active Archive Center（DAAC）网站（https：∥ladsweb.modaps.eosdis.nasa.gov/）获取。Terra轨道类型为近极地太阳同步轨道，轨道高度为705 km，轨道倾角为98.2°。Terra卫星上共有5种传感器，能同时采集地球大气、陆地、海洋和太阳能量平衡等信息。其上搭载的中分辨率成像光谱仪（Moderate-resolution Imaging Spectroradiometer，MODIS）共设置36个离散光谱波段，从可见光到热红外全光谱覆盖，光谱范围为0.405~14.385 nm，可见光通道内的波段有11个。MODIS的地面空间分辨率为250 m（1~2波段）、500 m（3~7波段）、1 km（8~36波段）。本文使用MOD021KM的数据，该数据为MODIS Level 1B产品，是经过校正的1 km分辨率的对地观测数据，包括250 m和500 m重采样为1 km分辨率的数据。

Landsat 8卫星是美国陆地卫星计划的第八颗卫星，于2013年2月11日发射升空，目前仍在运行，数据从美国地址勘探局官网（http：∥glovis.usgs.gov/，USGS）获取。Landsat 8的轨道设计为与太阳同步的近极地圆形轨道，轨道高度705 km，轨道倾角98.2°。其上携带有两个主要载荷： Operational Land Imager（OLI）陆地成像仪和Thermal Infrared Sensor（TIRS）热红外传感器。OLI陆地成像仪包括9个波段，成像宽幅为185 km×185 km，波段8为15 m分辨率的全色波段，其余波段的空间分辨率均为30 m，其中波段1~4在可见光范围内。Landsat 8 Level-1数据为经过缩放和定标的DN值。USGS有两个相关的数据集Collection 1和Collection 2，相对于Collection 1 Level 1的数据，Collection 2 Level 1数据提高了几何校正和辐射定标的精度，特别是几何校正的精度有了很大提高，采用了新的地面控制点版本（GCPs jPhase4），其融合了Landsat 8和欧空局（European Space Agency，ESA）发布的哨兵2号（Sentinel-2）两者的控制点，很大程度上提高了影像的集合校正精度。因此本文选用Collection 2 Level 1数据。

Himawari-8卫星于2014年10月7日发射升空，是运行在地球赤道上空约35 800 km处的静止气象卫星。Advanced Himawari Imager（AHI）是搭载在Himawari-8卫星上对地球系统进行观测的仪器，是一种多通道光谱成像仪，用于捕捉亚太地区的可见光和红外图像。AHI传感器包括16个波段，可见光波段（0.47 μm、0.51 μm、0.64 μm）一般用于全彩成像，近红外（NIR）波段（0.85 μm、1.6 μm、2.3 μm）提供云物理参数数据，短波红外波段（3.9 μm）用于监测云，雾，野火等现象^［10］。AHI传感器在某些波段上的空间分辨率高达500 m，大部分波段的空间分辨率为2 km，可以提供时间分辨率为10 min的全盘观测图像和时间分辨率为2.5 min的日本地区观测图像，本文使用其L1级netcdf格式数据。

3 方法

3.1　色匹配函数

人眼对电磁波光谱中大约在380~780 nm之间的辐射很敏感，然而，眼睛对可见光区域内的各波长的反应并不相同。通过视网膜，即眼睛后部的感光层，入射光能被转换为信号，由视神经传递到大脑。视网膜由杆状细胞和视锥细胞组成，视杆状体，对低波段的光高度敏感（感知频谱范围约在490 ~495 nm），但是对颜色并不敏感，视锥体则在较高的光学亮度下提供眼睛的颜色敏感度。视网膜中有3种视锥细胞分别吸收波长为440 nm、540 nm、670 nm的短、中、长波，而这些波长恰好接近红光、绿光和蓝色三色光的波长^［11］，因此这3种颜色被称为人类视觉的三原色。

1920年代，Wright^［12］和Guild^［13］独立进行了一系列人类视觉实验。人类最正常的颜色视觉是三色视觉，在如图1所示的颜色匹配实验中，色刺激由一个在视野左侧的光谱可调光源和在右侧的红（R）、绿（G）、蓝（B）光源组成，人眼视场范围在2°左右。调节视野右侧R、G、B 3个光的相对强度，并通过具有“正常颜色视觉”的观察者的眼睛进行观察，来匹配视野左侧单光谱光源辐射功率分布的颜色，使屏幕左右部分显示出相同的颜色。不同待配色光达到匹配时三原色光的分量不同，任意色刺激 $C$ 被表示为：

C \equiv R (R) + G (G) + B (B)

（1）

其中： $R$ 、 $G$ 、 $B$ 代表匹配待配色光所需要的红、绿、蓝的数量， $(R)$ 、 $(G)$ 、 $(B)$ 代表红、绿、蓝三色光的单位量，“ $\equiv$ ”表示视觉上相等。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 颜色匹配实验^［4］

（左侧黄色为光谱可调光源，右侧R、G、B为红、绿、蓝单色光源）

Fig.1 Color matching experiment^［4］

国际照明委员会（CIE）规定红、绿、蓝三原色光的波长分别为700 nm、546.1 nm、435.8 nm，在颜色匹配实验中，当这三原色的相对亮度比例为1.000 0∶5.590 7∶0.060 1时就能匹配出等能白光，所以CIE选取这一比例作为红、绿、蓝三原色的单位量^［14］。

CIE-RGB光谱三刺激值是317位正常视觉者用CIE规定的三原色光对等能光谱色从380~780 nm所进行的专门性颜色混合匹配实验得到的。实验时，匹配光谱每一波长的等能光谱色所对应的三原色数量，称为光谱三刺激值，记为 $\bar{r} (λ)$ 、 $\bar{g} (λ)$ 、 $\bar{b} (λ)$ 。可见光范围内光谱的三刺激值，称为色匹配函数^［15］（Color Matching Functions，CMFs）。

RGB色彩体系是基于人类视觉的三原色，实验发现某些光谱颜色用RGB颜色体系表示时，其光谱三刺激值出现负值，即存在视觉三原色R、G、B无法表示的光谱颜色，且该颜色体系没有对亮度的表示。为了消除负三刺激值，通过假定格拉斯曼（Grassmann）定律成立，构建与RGB三刺激值的线性关系，CIE又推出国际色度学系统CIE1931-XYZ系统^［16］，该色彩空间加上了对亮度的表示，并且与设备无关。新的系统规定光谱三刺激值XYZ均为大于等于0的值， $X$ 和 $Z$ 仅代表亮度， $Y$ 是描述感知明度对波长的变换的亮度函数。两种色彩空间的转换矩阵如式（2）所示^［6］，颜色匹配函数曲线如图2所示。

[\begin{matrix} R \\ G \\ B \end{matrix}] = [\begin{array}{r} 3.240479 & - 1.537150 & - 0.498535 \\ - 0.969256 & 1.875992 & 0.041556 \\ 0.055648 & - 0.204043 & 1.057311 \end{array}] [\begin{matrix} X \\ Y \\ Z \end{matrix}]

（2）

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 CIE1931-RGB色匹配函数曲线和CIE1931-XYZ色匹配函数曲线

Fig.2 CIE1931-RGB color matching function curve and CIE1931-XYZ color matching function curve

3.2　基于色匹配函数的物体色三刺激计算

物体色三刺激值可以从物体的光谱反射、透射或辐射散射中通过下列公式计算得出：

\{\begin{matrix} X = K \int_{λ_{1}}^{λ_{2}} S (λ) \bar{x} (λ) d λ \\ Y = K \int_{λ_{1}}^{λ_{2}} S (λ) \bar{y} (λ) d λ \\ Z = K \int_{λ_{1}}^{λ_{2}} S (λ) \bar{z} (λ) d λ \end{matrix}

（3）

其中： $S (λ)$ 代表地物的光谱特性，例如光谱反射或光谱透射； $\bar{x}$ 、 $\bar{y}$ 、 $\bar{z}$ 是CIE1931-XYZ的光谱三刺激值；波长 $λ$ 的积分范围一般为可见光波段380~780 nm； $K$ 是调整因子，调整 $K$ 的值三刺激值也会发生变化，通常调整 $K$ 使得白光的 $Y$ 值为100，所以令^［8］：

K = 100 / \int_{λ_{1}}^{λ_{2}} S (λ) \bar{z} (λ) d λ

（4）

将HICO可见光波段内地物反射光的光谱分布函数插值至0.5 nm积分计算得到 $X$ 、 $Y$ 、 $Z$ 三刺激值后，带入转换矩阵得到符合人眼识别的 $R$ 、 $G$ 、 $B$ 值。

3.3　基于HICO数据模拟任意光谱响应特性下目标传感器的反射光谱

由于绝大多数的卫星传感器在可见光区域内的波段设置不足以进行积分运算，对个位数的波段数进行插值会导致结果的准确度不高，本文以HICO可见光区域内70个波段的物体色三刺激值作为真值（作为输出值），利用HICO高光谱数据模拟目标传感器的反射光谱（作为输入值），来构建基于目标传感器的真彩色合成模型。

参考贾国瑞等^［17］提出的对任意光谱响应特性下遥感数据的模拟方法，并对其进行一定的优化后提出一种基于HICO数据模拟任意光谱响应特性下目标传感器的反射光谱的方法。首先为了保证原始数据的一致性，将HICO L1b级辐亮度数据转换为反射率数据；其次通过迭代去相关处理，并输出最后一次满足要求的经过插值后的高光谱数据；而后根据目标传感器的光谱响应函数，对上一步输出的高光谱数据进行响应采样，得到模拟传感器的反射光谱，具体的计算步骤如下：

（1）将HICO L1b级辐亮度数据转为反射率数据：

ρ_{λ} = \frac{π L_{λ} d^{2}}{E_{λ} s i n θ}

（5）

其中： $ρ_{λ}$ 为大气层顶反射率； $L_{λ}$ 为卫星载荷通道入瞳处等效辐亮度； $d$ 为日地距离； $E_{λ}$ 为太阳辐照度； $θ$ 为太阳高度角，与太阳天顶角互余。

（2）输入高光谱数据

输入HICO反射光谱 $ρ (λ_{i})$ ， $i = 1,2, \dots, M$ 作为数据源，其中 $M$ 为HICO的波段数。

（3）迭代去相关，输出满足要求的加密高光谱数据。

（a）记当前高光谱数据为 $ρ_{1} (λ_{i})$ ， $i = 1,2, \dots, M$ ；

（b）利用三次样条插值方法，对 $ρ_{1} (λ_{i})$ 进行加密采样，得到采样间隔为0.5 nm的高光谱数据 $ρ_{2} (λ_{i})$ ；

（c）根据HICO的光谱响应特性 $R_{i} (λ)$ 对 $ρ_{2} (λ_{i})$ 进行响应采样，得到响应高光谱数据：

ρ_{3} (λ_{i}) = \frac{\int ρ_{2} (λ) R_{i} (λ) d λ}{\int R_{i} (λ) d λ}, i = 1,2, \dots, M

（6）

（d）判断 $ρ_{3} (λ_{i})$ ， $i = 1,2, \dots, M$ 是否满足下式：

‖ρ (λ_{i}) - ρ_{3} (λ_{i})‖ < c

（7）

其中： $‖\cdot‖$ 表示取范数； $c$ 为一个极小的常数，本文中取值0.02。

若不等式不成立，则跳转至步骤（e）；若不等式成立，则跳转至步骤（f）；

（e）更新当前高光谱数据 $ρ_{1} (λ_{i})$ ， $i = 1,2, \dots, M$ ；

ρ_{1} (λ_{i}) = ρ_{1} (λ_{i}) + ρ (λ_{i}) - ρ_{3} (λ_{i}), i = 1,2, \dots, M

（8）

转至步骤（b）；

（f）输出采样间隔为0.5 nm的高光谱数据 $ρ_{2} (λ_{i})$ 。

（4）响应采样

根据目标传感器的光谱响应特性 $r_{j} (λ)$ ， $j = 1,2, \dots, N$ 对 $ρ_{2} (λ_{i})$ 进行响应采样，得到模拟的目标传感器反射光谱：

ρ^{*} (λ_{j}) = \frac{\int ρ_{2} (λ) r_{j} (λ) d λ}{\int r_{j} (λ) d λ}, j = 1,2, \dots, N

（9）

其中： $N$ 为目标传感器的波段数，实际编写中只模拟目标传感器位于可见光区间内的波段，如模拟Landsat-8 OLI的数据时，只用到1~4波段的光谱响应函数模拟这4个波段的反射率数据。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 基于HICO高光谱数据模拟任意传感器数据的流程图

Fig.3 The flow chart of simulating any sensor data based on HICO hyperspectral data

3.4　反向传播算法

反向传播（Back Propagation，BP）算法是多层神经网络中最常用的算法，从本质上来讲，是一种梯度下降算法。BP神经网络是前馈神经网络，其网络结构如图4所示，网络最左边的称为输入层，最右边的称为输出层，既非输入也非输出的中间层称为隐藏层。由输入到输出的正向传播与计算误差的反向传播两个过程组成。首先将输入通过神经网络进行前向传递输出预测值；其次将输出误差（期望输出与实际输出之差）按原通路反传计算，通过隐藏层反向传播，直至输入层，在反传过程中将误差分摊给各层的各个单元，获得各层各单元的误差信号，并将其作为修正各单元权值的根据，这一计算过程使用梯度下降法完成，在不停地调整各层神经元的权值和阈值后，使误差信号减小到最低限度。算法实现步骤如下：

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 BP神经网络结构图^［18］

Fig.4 Structure diagram of the BP neural network

（1）初始化

用小的随机数给各权值和阈值赋初值。注意不能使网络中各初始权值和阈值完全相等，否则网络不可能从这样的结构运行到一种非等权值结构。

（2）读取网络参数和训练样本集

网络参数包括：训练次数、学习速率、训练目标最小误差、隐藏层的层数以及各隐藏层中神经元的个数、神经元激活函数的种类等。训练样本集按照70%∶15%∶15%的比例划分为训练集、验证集和测试集。训练集用来对神经网络进行调试；验证集用来查看训练效果，但是该训练集被用于人工调参，不能用来最终评判一个模型；测试集用来测试网络的实际学习能力。

（3）归一化处理

对输入的数据做归一化有助于提升模型训练过程中的收敛速度和精度。

（4）对训练集中的每一样本进行计算

（a）前向计算隐藏层、输出层中各神经元的输出；

（b）计算期望输出与网络实际输出的误差；

（c）反向传播计算修正网络各神经元的权值和阈值。

（5）迭代判断

若满足设置的目标误差或其他退出条件，则结束训练，否则转步骤（4）继续。

（6）结果输出与分析

计算网络的各项指标参数如均方误差（Mean-Square Error，MSE）、相关系数等并画图。

3.5　利用HICO数据构建任意遥感数据的真彩色影像合成模型

在本文的研究中，选取了6景不同地物类型的HICO影像数据，随机从每景影像中选取15万个点，而后将HICO经色匹配函数后的R、G、B物体色三刺激值作为BP网络的输出层值，HICO大气层顶反射率经波段转换后得到的目标传感器模拟反射率数据作为输入层的值，调整隐藏层结构的设置以及网络训练参数，训练得到适用于目标传感器的真彩色影像合成模型，算法流程图见图5。

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 基于HICO数据构建任意遥感数据的真彩色影像合成模型流程图

Fig.5 Flow chart of constructing a true color image synthesis model for any sensor sensing data based on HICO data

3.6　真彩色影像质量评价

遥感影像质量评价方法分为主观质量评价方法和客观质量评价方法。主观评价方法根据人的主观经验评价影像质量，是最直接的一种影像质量评价方法，由于影像的最终接收者是人，所以主观评价是较为可靠的^［19］。但主观评价法受到观测者的知识水平、心理、环境因素影响，且没有统一的标准，实用性不强。客观质量评价方法根据人眼的主观视觉系统建立数学模型，并通过具体的公式计算图像的质量，可以很好的避免人为偏差带来的影响。本文结合主观评价方法和客观评价方法对合成的模型进行质量分析。

选取4个常用的客观评价指标，图像的均值、标准差、信息熵和平均梯度，对经模型训练后的图像进行评价。

图像的亮度均值反映了图像整体的明暗程度，均值越大的说明图像越亮。图像太亮或太暗都会导致图像细节模糊不清，影响人们的观感^［20］，因此均值越适中则人眼目视效果越好，其计算公式如下：

A = \frac{1}{M N} \sum_{i = 1}^{M} \sum_{j = 1}^{N} I (i, j)

（10）

其中： $M$ 和 $N$ 分别表示该图像在行列上的像素点个数，下同。

标准差反应图像像素值相对于均值的偏离程度，标准差越大表明影像层次越丰富，影像的合成效果越好，计算公式如下：

S = \sqrt[]{\frac{1}{M N} \sum_{i = 1}^{M} \sum_{j = 1}^{N} {(I (i, j) - A)}^{2}}

（11）

信息熵描述了影像中包含信息量的丰富程度，信息熵越大，则影像的信息量越丰富计算公式如下：

H = - \sum_{i = 0}^{255} p_{i} l o g_{2} p_{i}

（12）

其中： $p_{i}$ 是灰度值为 $i$ 的像素出现的概率。

平均梯度反映了影像的清晰度，平均梯度越大则影像中的细节越丰富、纹理变化特征越明显，清晰度越高，计算公式如下：

\nabla \bar{G} = \frac{1}{M N} \sum_{i = 1}^{M} \sum_{j = 1}^{N} \sqrt[]{\frac{Δ I_{x} {(i, j)}^{2} + Δ I_{y} {(i, j)}^{2}}{2}}

（13）

其中： $Δ I_{x} (i, j)$ 和 $Δ I_{y} (i, j)$ 分别为像素 $(i, j)$ 在 $x$ ， $y$ 方向上的一阶差分值。

4 结果与分析

通过调整BP网络的输入波段组合以及网络各项参数，得到各项参数和人眼目视效果都较好的模型。如图6所示分别是Terra MODIS、Landsat-8 OLI、Himawari-8 AHI的真彩色影像合成模型的均方误差、误差直方图、以及各训练样本集的相关系数。3个模型的均方误差均在10^-7数量级，表明预测输出值和目标输出值的差很小；误差直方图都集中在较小的范围内，表明训练样本不存在离群值；相关系数都在0.99以上，表明实际输出值和期望输出值得偏差较小，模型训练较好。

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 Terra MODIS、Landsat-8 OLI、Himawari-8 AHI的真彩色影像合成模型均方误差随训练次数下降情况、误差直方图和相关系数

Fig.6 Mean square error of true color image synthesis models for Terra MODIS， Landsat-8 OLI and Himawari-8 AHI decreased with training times， error histogram and correlation coefficient

将地物类型分为海水、山林、土地和云，合成得到传统三波段真彩色影像和经本文色匹配模型校正后的真彩色影像。如图7~图10所示，分别是HICO、Terra MODIS、Landsat-8 OLI、Himawari-8 AHI不同地物类型的真彩色影像对比图，图中的红色横线为截取的地物断面。由于Himawari-8 AHI原始数据的亮度较低且除日本范围内的空间分辨率在千米级，所以从卫星影像上看，其山林为分布在土地影像上的深色离散区域，无法单独作为一种地物类型分块取出。

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 HICO各地物类型三波段法与本文CMFs法合成真彩色影像对比

Fig.7 Comparison of synthetic true color image of various land feature types between HICO three-band method and CMFs method in this paper

图8

新窗口打开| 下载原图ZIP| 生成PPT

图8 Terra MODIS各地物类型三波段法与本文CMFs模型合成真彩色影像对比

Fig.8 Comparison of synthetic true color image of various land feature types between Terra MODIS three-band method and CMFs model in this paper

图9

新窗口打开| 下载原图ZIP| 生成PPT

图9 Landsat-8 OLI各地物类型三波段法与本文CMFs模型合成真彩色影像对比

Fig.9 Comparison of synthetic true color image of various land feature types between Landsat-8 OLI three-band method and CMFs model in this paper

图10

新窗口打开| 下载原图ZIP| 生成PPT

图10 Himawari-8 AHI各地物类型三波段法与本文CMFs模型合成真彩色影像对比

Fig.10 Comparison of synthetic true color image of various land feature types between Himawari-8 AHI three-band method and CMFs model in this paper

通过对真彩色影像和直方图的主观判断，可以看出CMFs方法在对可见光区域内的传感器波段进行补充后，在很大程度上丰富了地物颜色，使地物的色彩饱和度增加，如HICO的土地、海水、山林，MODIS的土地以及Landsat 8的海水都较好的再现了地物的原有色彩；HICO云影像存在明显的偏青色，Landsat 8云影像存在明显的偏红色，在经过本文的方法后对色偏有了一定程度的校正；由于MODIS影像在未进行亮度处理时，整体画面偏暗，且使用的数据空间分辨率为1 km，难以找到如HICO般清楚明显的山林特征，但是仍然可以看出其三波段合成的影像在林间发红，经过本文模型处理后的影像为符合人眼目视判别的绿色。

CMFs本质上是一种插补波段并将各波段的地物反射光谱校正到CIE规定的符合人眼观察的三原色波段的方法，通过Terra MODIS和Himawari-8 AHI的影像不难看出，CMFs方法缺乏对地物暗处目标亮度的改善，但从Himawari-8 AHI的海水影像中我们仍能看出，尽管影像很暗，但是经过模型校正后的海水影像比传统三波段法得到的明显偏蓝，在一定程度上校正了由于传感器波段设置导致的地物的颜色偏差，使地物色彩更接近自然真彩色。

将截取的地物断面的R、G、B值分别取出并用箱型图来表示。箱型图可以将所截断面中非同一地物类型的值作为异常值去除，显示该地物类型三波段法与本文CMFs模型合成的R、G、B值的变化情况，并在不同传感器之间进行对比。如图11所示为不同传感器、不同地物类型的两种方法在同一断面上的R、G、B变化情况。可以看出对于云来说，CMFs模型合成影像相较于三波段法合成影像的R、G、B值都减小，且经CMFs处理后的三刺激值中位数更相近；对于海水，除Landsat-8 OLI的R、G波段受亮度增强影响呈现小幅度上升外，其余传感器均存在R、G波段值下降，B波段值上升的规律；对于山林，各传感器均呈现出R、B波段值下降，G波段值上升的特点；对于土地，由于HICO原始真彩色影像亮度高，而RGB色彩模型并不能剔除亮度的影响，因此HICO三波段合成影像虽然并没有呈现出高饱和度的色彩，但是其三刺激值均为高值，CMFs法合成影像在色彩表达上更好，但三刺激值受亮度影响仍呈下降趋势，除HICO外其余传感器的三刺激值均呈现上升趋势，相较G、B波段，R波段的上升幅度最大。

图11

新窗口打开| 下载原图ZIP| 生成PPT

图11 各传感器在不同地物类型所截取断面上的R、G、B变化情况

（R、G、B表示三波段合成三刺激值，R^*、G^*、B^*表示CMFs模型得到三刺激值）

Fig.11 The changes of R， G and B of each sensor on the section intercepted by different ground object types

从同一地物同一断面的三刺激值变化情况可以看出，除受亮度影响较大的Landsat-8 OLI海水影像和HICO土地影像外，其余传感器经CMFs模型计算后的三刺激值较三波段法计算得到的值存在相同的变化趋势，且地物类型的主导色经本文方法计算后会得到增强，如海水的B波段、山林的G波段、土地的R波段，说明本文方法能较好地还原地物的色彩特征。

以静止卫星Himawari-8 AHI为参照，分别画出与同时相的Terra MODIS、 Landsat-8 OLI的三波段合成影像与本文色匹配函数模型合成影像的叠加图，如图12和图13所示。Terra MODIS的数据为“MOD021KM.A2022026.0325.061.2022026154426.hdf”，拍摄于2022-01-26-03：25，与之对应的Himawari-8 AHI的数据为“NC_H08_20220126_0320_R21_FLDK.06001_06001.nc”，拍摄于2022-01-26-03：20；Landsat-8 OLI的数据为“LC08_L1TP_119036_20210522_20210529_02_T1.tar”，拍摄于2021-05-22-02：30，与之对应的Himawari-8 AHI的数据为“NC_H08_20210522_0230_R21_FLDK.02401_02401.nc”，拍摄于2021-05-22-02：30。从图12和图13可以看出，相比三波段合成真彩色影像，本文CMFs模型合成真彩色影像在地物色彩的呈现上更好，对云、海水、土地的色彩进行了校正，处理后Terra MODIS、 Landsat-8 OLI的地物颜色表达都更贴近于Himawari-8 AHI，使不同卫星传感器合成的真彩色影像存在可比性。

图12

新窗口打开| 下载原图ZIP| 生成PPT

图12 Terra MODIS与Himawari-8 AHI同时相三波段合成真彩色影像与CMFs模型合成真彩色影像叠加图对比

Fig.12 Terra MODIS and Himawari-8 AHI simultaneous phase three-band true-color image and CMFs model true-color image overlay comparison

图13

新窗口打开| 下载原图ZIP| 生成PPT

图13 Landsat-8 OLI与Himawari-8 AHI同时相三波段合成真彩色影像与CMFs模型合成真彩色影像叠加图对比

Fig.13 Landsat-8 OLI and Himawari-8 AHI simultaneous phase three-band true-color image and CMFs model true-color image overlay comparison

灰度直方图是灰度级的函数，描述的是图像中各灰度级的概率分布，其能够反映灰度图像的对比度，因此根据直方图的形态可以看出图像质量和视觉效果的好坏。本文的研究内容是真彩色影像的合成，为了更直观地看到各颜色的分布，选取颜色直方图（RGB直方图），即将各颜色通道单独做直方图，来衡量两幅图像在颜色全局分布上的差异。

从图14~图17可以看出，本文模型训练后的影像RGB直方图的灰度级数量相较于三波段合成影像增加，且灰度级更集中，对单一地物来说，认为直方图的峰值收窄是由于对地物色彩的加强，因此本文真彩色影像合成模型可以利用有限的波段信息对地物的颜色进行丰富和增强。其次，从图中可以看出，模型训练后的影像RGB直方图对三原色进行了很好的分离，因此本文模型可以对色偏进行校正，增强地物颜色的色彩对比度，

图14

新窗口打开| 下载原图ZIP| 生成PPT

图14 HICO各地物类型三波段法与本文CMFs法合成真彩色影像RGB直方图对比

Fig.14 Comparison of RGB histograms of true color images of various land feature types synthesized by HICO three-band method and CMFs method in this paper

图15

新窗口打开| 下载原图ZIP| 生成PPT

图15 Terra MODIS各地物类型三波段法与本文CMFs模型合成真彩色影像RGB直方图对比

Fig.15 Comparison of RGB histograms of true color images of various land feature types synthesized by Terra MODIS three-band method and CMFs model in this paper

图16

新窗口打开| 下载原图ZIP| 生成PPT

图16 Landsat-8 OLI各地物类型三波段法与本文模型合成真彩色影像RGB直方图对比

Fig.16 Comparison of RGB histograms of true color images of various land feature types synthesized by Landsat-8 OLI three-band method and CMFs model in this paper

图17

新窗口打开| 下载原图ZIP| 生成PPT

图17 Himawari-8 AHI各地物类型三波段法与本文模型合成真彩色影像RGB直方图对比

Fig.17 Comparison of RGB histograms of true color images of various land feature types synthesized by Himawari-8 AHI three-band method and CMFs model in this paper

各传感器的不同地物类型的图像质量评价指标计算结果见表1，为了更清楚地比较各参数的变化情况，将各传感器的参数值表示为直方图（图18）。

表1 HICO、Terra MODIS、Landsat 8 OLI、Himawari-8 AHI各地物类型图像评价指标

Table 1 Image evaluation index of various land feature types for HICO， Terra MODIS， Landsat 8 OLI， Himawari-8 AHI

传感器	评价指标	方法	土地	山林	海水	云
HICO	均值 ( $A$ )	三波段法	229.838 8	207.877 5	199.544 8	221.904 2
	均值 ( $A$ )	CMFs模型	187.103 4	155.886 6	149.695 7	186.418 8
	标准差 ( $S$ )	三波段法	42.398 2	75.566 7	88.654 3	55.578 5
	标准差 ( $S$ )	CMFs模型	68.770 4	98.602 7	104.674 4	71.014 8
	平均梯度 ( $\nabla \bar{G}$ )	三波段法	2.837 4	1.373 7	1.003 2	2.607 3
	平均梯度 ( $\nabla \bar{G}$ )	CMFs模型	3.501 8	1.764 9	1.451 1	3.665 7
	信息熵 ( $H$ )	三波段法	2.714 8	2.307 2	1.984 1	2.839 4
	信息熵 ( $H$ )	CMFs模型	4.123 6	3.443 4	3.024 7	4.463 1
Terra MODIS	均值 ( $A$ )	三波段法	108.422 5	48.142 3	32.937 7	137.559 1
	均值 ( $A$ )	CMFs模型	127.762 6	46.621 4	28.884 5	164.650 3
	标准差 ( $S$ )	三波段法	76.188 8	34.768 7	15.358 5	33.366 1
	标准差 ( $S$ )	CMFs模型	67.328 8	35.514 4	12.811 3	39.312 5
	平均梯度 ( $\nabla \bar{G}$ )	三波段法	2.783 2	11.174 4	4.260 1	12.077 9
	平均梯度 ( $\nabla \bar{G}$ )	CMFs模型	3.355 4	11.692 3	3.553 0	14.231 6
	信息熵 ( $H$ )	三波段法	5.316 4	6.174 6	5.174 1	7.019 9
	信息熵 ( $H$ )	CMFs模型	5.638 3	6.230 7	4.943 1	7.266 9
Land- sat-8 OLI	均值 ( $A$ )	三波段法	56.913 6	32.624 3	33.107 3	173.934 4
	均值 ( $A$ )	CMFs模型	60.697 2	34.598 8	63.367 4	142.862 4
	标准差 ( $S$ )	三波段法	18.103 5	12.621 0	6.400 1	15.318 3
	标准差 ( $S$ )	CMFs模型	22.385 4	11.593 9	11.193 0	18.573 2
	平均梯度 ( $\nabla \bar{G}$ )	三波段法	7.851 2	3.677 6	0.714 3	5.472 5
	平均梯度 ( $\nabla \bar{G}$ )	CMFs模型	7.259 6	3.119 6	1.169 7	6.625 2
	信息熵 ( $H$ )	三波段法	6.109 2	5.316 7	4.538 0	5.911 1
	信息熵 ( $H$ )	CMFs模型	6.185 5	5.185 6	5.334 5	6.185 9
Hima-wari-8 AHI	均值 ( $A$ )	三波段法	122.029 6	—	34.314 5	159.867 0
	均值 ( $A$ )	CMFs模型	118.909 7	—	29.633 6	161.600 3
	标准差 ( $S$ )	三波段法	101.381 8	—	19.960 1	31.522 3
	标准差 ( $S$ )	CMFs模型	103.631 6	—	17.346 7	43.067 9
	平均梯度 ( $\nabla \bar{G}$ )	三波段法	2.766 4	—	1.707 2	5.347 1
	平均梯度 ( $\nabla \bar{G}$ )	CMFs模型	2.686 2	—	1.658 2	7.412 7
	信息熵 ( $H$ )	三波段法	4.074 3	—	4.232 6	6.732 8
	信息熵 ( $H$ )	CMFs模型	4.178 3	—	3.924 7	6.954 2

新窗口打开| 下载CSV

图18

新窗口打开| 下载原图ZIP| 生成PPT

图18 HICO、Terra MODIS、Landsat-8 OLI、Himawari-8 AHI三波段合成法与本文CMFs模型法合成的不同地物类型真彩色影像的参数对比图

Fig.18 Comparison of the true color image parameters of HICO， Terra MODIS， Landsat-8 OLI and Himawari-8 AHI between various land feature types synthesized by three-band method and CMFs model in this paper

对客观图像评价指标的计算结果进行分析，除原始数据质量不高导致的较暗影像外（如Terra MODIS的海水影像、Himawari-8 AHI的海水影像和Landsat-8 OLI山林影像），本文的方法有效地提高了目标传感器的标准差、平均梯度和信息熵，丰富了地物的颜色特征以及信息量，提高了影像的清晰度。各传感器的模型合成后的影像亮度均值相较三波段合成的影像都减小，与HICO的亮度均值变化趋势相同，这是由于色匹配函数无法对影像亮度进行调整，RGB色彩模型中各颜色分量的值也无法剔除亮度带来的影响。

5 结语

本文研究了一种针对多光谱光感器（以Terra MODIS、Landsat-8 OLI、Himawari-8 AHI为例）传感器的真彩色模型构建算法，该算法基于色匹配函数和神经网络，以多光谱传感器HICO丰富的可见光波段为依托，将其经色匹配函数计算后的地物颜色三刺激值作为BP神经网络的输出值，利用光谱响应函数计算得到的目标传感器的模拟波段为输入值，构建卫星传感器波段与三原色基准之间的关系，把卫星获得的信息映射到真实基准，从而产生失真度小、符合人眼观察的真彩色影像，解决了因卫星传感器波段设置较少、波段设置不满足CIE规定的三原色、波段较窄而导致合成的真彩色图像存在失真、偏色等问题。将各传感器的真彩色影像都校准到同一三原色基准下，也使其合成得到的真彩色影像具有一致性和可比性。

通过对合成的影像进行主观判别以及客观评价参数的计算，本文方法对多光谱可见光波段内的有限通道数据进行了丰富，增强了地物色彩饱和度和影像清晰度，对地物的色偏进行了校正，丰富了影像信息量。由于各卫星传感器入瞳处辐亮度的计算差异，其影像的亮度存在差异，而CMFs方法本身无法对亮度进行调整，导致如Himawari-8影像的亮度仍然很暗，甚至无法明确地区分山林和土地，这说明图像亮度是图像色彩特征表现的一个重要因素，仅靠本文算法无法对暗处目标的色彩进行明显的改善。若要使得到的真彩色影像更方便人眼的观测和满足研究所需，应将下一步工作内容集中在如何在模型构建过程中加上亮度的校正，如加入Retinex等亮度改善算法，使不同传感器获取的卫星影像的真彩色合成图真正具有可比性，利于后续遥感应用开发。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

WANG

Wei

， ZHAOXinwei， LUO

Yiping

， et al.

Method of generating pseudo natural color image from multi-spectral satellite remote sensing data

［J］. Flight Contral & Detection， 2020， 3（1）： 49–55.