面向滨海湿地的全色/多光谱影像融合方法与应用分析——以杭州湾(1999~2018年)为例
1.
2.
3.
Panchromatic / Multispectral Image Fusion Method and Application Analysis for Coastal Wetland: A Case Study of Hangzhou Bay(1999-2018)
1.
2.
3.
通讯作者:
收稿日期: 2020-08-05 修回日期: 2021-03-08 网络出版日期: 2021-07-21
基金资助: |
|
Received: 2020-08-05 Revised: 2021-03-08 Online: 2021-07-21
作者简介 About authors
李佳佳(1996—),女,河南漯河人,硕士研究生,主要从事遥感影像全色/多光谱融合方法研究E⁃mail:
关键词:
Keywords:
本文引用格式
李佳佳, 束进芳, 裘增欢, 符冉迪, 金炜.
Li Jiajia, Shu Jinfang, Qiu Zenghuan, Fu Randi, Jin Wei.
1 引 言
根据算法原理的不同,可将全色/多光谱融合方法分为4类,即基于成分替换的方法、基于多分辨率分析的方法、基于变分优化的方法和基于深度学习的方法[4]。其中,基于成分替换的方法和基于多分辨率分析的方法应用较为广泛,一直以来备受关注。目前为止,基于成分替换和基于多分辨率分析的融合方法经历了狭义理解到广义理解的发展史[5],其中,狭义理解下的成分替换方法需“正变换—成分替换—逆变换”三步处理,即首先将多光谱(Multispectral, MS)图像进行光谱变换,然后用全色(Panchromatic, PAN)图像替换经光谱变换后的MS图像中表示空间结构信息的部分,最后对替换成分后的MS图像进行逆变换得到融合图像。广义理解下的成分替换法首先对MS图像做光谱带线性组合,将PAN图像与重组后MS图像之间的差异作为高空间结构信息,然后通过合适的注入方案将提取出的细节信息集合到重组的MS图像中,从而得到融合图像。狭义理解下的多分辨率分析融合方法通常需“高低频分解—融合—高低频重建”三步处理,即首先通过小波分解、拉普拉斯金字塔等方法,将源图像分解为一系列的带通通道,然后将由PAN、MS图像分解得到的高低频信息进行融合,最后重建得到融合图像。广义理解下的多分辨率分析法旨在保留MS图像的全部信息,将PAN图像与经低通滤波后的PAN图像之间的差异作为高空间结构信息,最后以合适的注入方案添加到MS图像中,得到目标融合图像。
此外,针对滨海湿地的影像融合及其应用,李爱霞等[6]基于Landsat卫星多光谱影像,利用支持向量机分类方法对杭州湾南岸进行了湿地变化分析,但由于多光谱影像空间信息不足,分类结果精度不高。周为峰等[7]基于WorldView-2影像,以浙江省象山港牡蛎养殖区为研究区,对5种全色多光谱融合方法进行评价与分析,结果显示PCA方法是WorldView-2影像进行沿海牡蛎养殖遥感应用时最适合的融合方法。但此方法也仅适用于浮筏识别与提取,并不适合与滨海湿地动态监测。邱晓红等[8]提出了综合各波段图的最佳OIF指数的修正方法,基于Landsat-7卫星多光谱波段图像融合数据,使不同地物的灰度值差异达到最大,便于目视解译和计算机自动处理;该方法仅讨论了单景图像下的实验结果,未做长时间序列的验证。总体而言,滨海湿地区域地物较为复杂多变,且区域内水体、植被地物要素易产生光谱畸变,多数成分替换类和多分辨率分析类融合方法对滨海湿地影像在空间增强和光谱保真方面表现不一,鲁棒性相对较差,难以应用于滨海湿地的长时序动态监测,现有研究中缺乏针对此类应用的全色/多光谱影像融合方法。
为此本研究面向滨海湿地的长时序动态监测需求,提出基于空—谱质量评价反馈的鲁棒性全色/多光谱融合方法,可综合不同全色/多光谱融合方法在空间增强和光谱保真方面的各自优势。以杭州湾南岸滨海湿地作为研究区域,基于Landsat-7、Landsat-8卫星20年全色、多光谱影像数据源,从定性评价、定量指标、NDVI、NDWI滨海湿地典型遥感指数等多个方面,对所提融合方法进行充分验证,并基于1999~2018年长时序融合影像,对杭州湾南岸20年间的地物覆盖类型进行了变化分析。
2 研究方法
研究针对现有成分替换类融合方法和多分辨率分析类融合方法对滨海湿地影像在空间增强和光谱保真方面表现不一,鲁棒性相对较差,难以应用于滨海湿地长时序动态监测的问题,提出一种基于空—谱质量评价的全色/多光谱“二次”融合方法。本方法可以综合不同融合方法的各自优势,从而为滨海湿地区域地物监测分析提供稳健数据源。如图1所示,所提融合方法首先对原始全色、多光谱影像采用不同经典融合方法进行初次融合,得到多个不同方法的初步融合影像,然后基于本实验提出的融合影像空—谱联合质量评价指标(Spatial-Spectral-Quality-Index, SSQI),对上述初步融合影像进行再融合,综合各融合方法的空—谱保真优势,最终得到鲁棒性融合影像。
图1
图1
基于空—谱质量评价的融合算法流程图
Fig.1
Flow chart of fusion algorithm based on space-spectrum quality evaluation
SSQI指标的设计较为关键,在SSQI指标中,目标融合图像的光谱保真度通过原始多光谱图像来衡量,全色图像则用以衡量目标融合图像的空间增强度。具体地,算法将初步融合图像的空间降采样结果与原始多光谱图像间的相对误差,作为初步融合图像的光谱质量分数[9],故初步融合图像空间降采样结果的第x’行,第y’列,第z’波段像元的光谱质量分数为:
其中:Se为光谱质量选择指标,其值越大代表图像光谱质量越高,取值范围为[0,+
算法将初步融合图像与原始全色图像之间的空间相关系数[10],作为初步融合图像的空间质量分数,故初步融合图像的第x行,第y列,第z波段像元的空间质量分数为:
其中:Sa为空间质量选择指标,其最优值为1,取值范围为[0,1]。
为消除评价结果中奇异值对选择指标结果的影响,分别对Se、Sa进行归一化处理,同时将Se上采样至Sa大小。最终的空—谱质量指标(SSQI)表示为:
综上所述,基于空—谱质量评价的全色/多光谱融合算法,主要分为3步。第1步基于典型融合方法得到多个不同融合图像,形成初步融合影像数据集;第2步计算初步融合图像中各像元的SSQI值;第3步逐像元进行最优选择性二次融合。具体步骤如表1所示。
表1 所提融合算法步骤
Table 1
输入:低空间高光谱分辨率的多光谱图像(MS),高空间低光谱分辨率的全色图像(PAN) |
---|
输出:高空间高光谱分辨率的目标融合图像(FUSION)。 |
步骤1:通过典型成分替换类融合方法和多分辨率分析类融合方法得到初步融合结果,本文选取3种成分替换类融合算法,包括IHS、GS、PCA,选取2种多分辨率分析类融合算法,包括MTF_GLP、AWLP。 |
步骤2:设计空—谱联合质量评价指标SSQI,用以评价初步融合结果各像元的空谱质量。 |
(1)通过 (2)通过公式( |
(3)通过 |
步骤3:基于SSQI进行初步融合结果的二次融合,得到最终目标融合图像(FUSION)。 |
3 融合实验
3.1 实验数据
研究数据源为杭州湾滨海湿地区域1999~2018年Landsat系列卫星的全色、多光谱影像,图像内包含植被耕地、水体滩涂、建筑物以及混合地物等。所用数据均以一年为一个时间节点获取,其中,2004 年数据缺损严重无法用于融合实验,故用于研究区域融合实验的有效数据为 19 景,每景数据云雾量均
表2 数据集列表
Table 2
传感器类型 | 获取时间 | 分辨率 | 图像大小 |
---|---|---|---|
ETM | 1999年11月 2000年5月 2001年11月 | 多光谱30 m 全色15 m | 1 000×1 000 2 000×2 000 |
2002年8月 2003年5月 2005年9月 | |||
2006年9月 2007年5月 2008年6月 | |||
2009年5月 2010年5月 2011年9月 | |||
2012年11月 | |||
OLI | 2013年5月 2014年5月 2015年7月 | 多光谱30 m 全色15 m | 1 000×1 000 2 000×2 000 |
2016年2月 2017年9月 2018年1月 |
3.2 评价指标
针对传统融合方法评价思路在应用分析评价方面的考虑不足,本研究从定性评价、定量评价指标以及滨海湿地典型地物光谱指数等常用应用分析指标三方面,对所提方法进行充分验证。其中,定性评价主要通过目视主观判读,观测融合图像的空间增强度和光谱保真度。
SAM是对融合图像与参考图像的光谱向量距离的一种估计,对评价图像的光谱失真效果明显,一般情况下,SAM值越大,谱失真越严重,理想值为0。其表达式为:
其中:I表示融合图像的波段数目,参考图像以及融合图像的光谱向量则由
ERGAS是对融合图像光谱质量的评价,其值越小越好,理想值为0。表达式为:
其中:q表示原全色图像与多光谱图像空间分辨率的比率,n表示融合图像波段数目,RMSE(i)表示参考图像与融合图像第i波段的均方根误差值,u(i)表示参考图像第i波段的图像均值。
其中:
sCC是评价图像空间细节信息相关性的常用指标,其值越接近1说明图像的空间结构越好。
常用处理方法为,首先通过高通滤波器提取融合图像与参考图像的边缘信息,而后计算两者边缘信息之间的相关系数(CC)[10]。
3.3 实验结果与分析
(1)定性评价结果。以2018年研究区数据所得各融合图像为例,分别从全景、典型地物两个角度,对各融合图像进行主观质量评价。如图2所示,从定性的角度分析,可以看出6种融合图像空间分辨率均有所提升,IHS效果最好,SSQI_PANSHARP、AWLP、MTF_GLP次之,光谱保持效果不尽相同。从总体视觉效果来看,GS、PCA、IHS方法存在光谱失真的现象,特别是绿色植被覆盖区域,颜色整体偏淡,且水体光谱失真明显;基于空—谱质量评价和多分辨率分析的方法在光谱信息的保持上都优于基于成分替换的方法,相比之下MTF_GLP方法所得融合图像存在一定程度水体光谱失真,SSQI_PANSHARP、AWLP方法效果基本一致。因此,SSQI_PANSHARP、AWLP两种方法既能较好地保持原多光谱影像的光谱特性,又能较大地增强其空间细节信息,地物特征更明显、纹理更清晰,目视效果更好。
图2
为分析同一融合方法在不同地物上融合效果的差异性,分别选取耕地、水体、滩涂、建筑以及混合地物5类典型地物进行对比分析,图3所示为各地物细节图。SSQI_PANSHARP、AWLP、MTF_GLP方法的融合图像各类地物的光谱恢复情况基本一致,对每一类地物的光谱信息保持都很完整,不存在明显的光谱失真;只有MTF_GLP方法在滩涂光谱保持上效果略差于其他地物。GS、PCA、IHS方法的融合图像存在光谱失真现象;其中GS、IHS融合图像整体色调偏冷,表现为整体色调更浅更淡;PCA融合图像整体色调偏暖,表现为整体色调更深更亮。从空间结构增强的角度来看,各融合图像的空间结构信息均有所提升,其中IHS方法的提升效果最好,SSQI_PANSHARP、AWLP、MTF_GLP方法效果次之;且相比之下,规则性地物的空间结构提升效果更好,对于高亮建筑物的空间结构提升效果不明显。并且不同地物融合结果均不同程度存在伪痕,SSQI_PANSHARP 方法最轻,GS、PCA方法最严重。从图3(e)所示混合地物细节图的对比可以看出,SSQI_PANSHARP方法在空间异质性较强环境下的融合效果依旧保持稳定,光谱保持完整,地物特征明显、区分度高。故所提方法目视效果最好,没有明显失真现象,且整体空间增强效果较好,具体比较要从客观评价指标来评判。
图3
(2)定量评价结果。为印证上述结论的普遍性,将20年数据的融合图像做相同质量评价指标的评价,评价结果如图4所示。从图4(a)~(c)所示3项光谱评价结果可以看出,SSQI_PANSHARP、AWLP融合方法评价结果均接近理想值,说明其融合图像的光谱质量优于其他方法,很好地保留了多光谱波段的光谱信息,且稳定性较高。从图4(d)所示空间评价结果可以看出,SSQI_PANSHARP、AWLP、IHS三种方法的评价结果均更接近于1,说明融入的全色波段高分辨率信息最多,对多光谱图像的空间细节信息的增强更好。且性能平稳,其中SSQI_PANSHARP方法稳定性最高。但是由于IHS方法本身受到融合波段的限制,导致其光谱保真能力相对较弱,故其融合效果不如SSQI_PANSHARP、AWLP方法理想。
图4
从光谱保真度、空间信息增强度以及方法稳定性三个方面综合考虑,所提SSQI_PANSHARP方法效果最佳。
(3)基于信息提取的评价结果。为验证各融合方法在实际应用中的性能优劣,基于研究区植被、水体两大典型地物的信息提取评价结果,如图5所示。从图中可以看出,NDVI与NDWI的相关系数曲线基本一致,说明实验所用全色/多光谱融合方法,对于滨海湿地两大类典型地物光谱特性的还原能力没有较大差别;同一融合方法对于不同地物的融合效果明显不同,对于水体光谱的保真性能比植被光谱更为稳定。不同融合方法差异性较大,就总体情况而言,基于多分辨率分析的方法性能优于基于成分替换的方法;SSQI_PANSHARP、AWLP、MTF_GLP和IHS融合方法的总体稳定性较好,PCA、GS方法波动过大,在水体光谱保持上SSQI_PANSHARP方法表现最优,系数值最高且稳定性最强。
图5
图5
20年融合图像NDVI/NDWI指数相关系数折线图
Fig.5
Line chart of NDVI / NDWI index correlation coefficient for 20 year fused images
但从曲线趋势不难发现,2012年以前,融合方法的稳定性较差,说明同一融合算法,应用于不同传感器数据时,其融合效果也不尽相同。OLI传感器图像融合质量较稳定,而ETM传感器图像融合质量波动很大,这也跟残缺图像的修复有很大关系。
图6
图6
融合前后光谱曲线对比图(2018年)
Fig.6
Comparison of Spectral Curves before and after fusion (2018)
综合以上主观评价结果、定量评价以及基于信息提取的评价结果,可以得出结论:对于本研究所用数据(杭州湾湿地区域Landsat遥感影像),基于空—谱质量评价融合方法(SSQI_PANSHARP)的性能最好,鲁棒性最强,较适合于滨海湿地区域影像的融合及其长时序动态监测的需求。
3.4 滨海湿地长时序变化分析
均匀抽取相近季度3期数据,将研究区内长时间序列土地利用变化较大的杭州湾南岸主要区域单独列出,如图7所示。对比图中原始多光谱与对应SSQI_PANSHARP融合结果,融合后图像空间信息更加丰富,且光谱保持良好,有效提高了区域内地物区分度。结合定量分析结果,所提方法具有较高的鲁棒性,能够正确反映土地利用的变化情况。
图7
图8
根据分类结果,对杭州湾南岸湿地区域内土地覆盖类型的时空变化进行分析,并使用验证样本对分类结果构建混淆矩阵,进行精度评价。以2017年影像分类结果精度评价为例,通过表3可以看出,对影像的总体分类精度为94.53%,Kappa 系数为0.93。其中海水水域的分类精度比较高,这是由于海水水域影像特征比较明显而且边界比较清晰,容易区分。而池塘水田、沼泽和农田绿地的分类精度相对较低,主要原因在部分沼泽地、池塘和水田存在交叉,详细划分有一定的难度,并且 Landsat 影像数据自身混合像元的问题导致其错分漏分现象比较明显。上述分析表明,根据SSQI_PANSHARP融合影像所得湿地信息精度达到了湿地格局变化检测的要求。
表3 影像数据分类结果混淆矩阵(2017年为例)
Table 3
池塘水田 | 海水水域 | 滩涂 | 沼泽 | 农田绿地 | 建筑用地 | 错分误差/% | 使用者精度/% | |
---|---|---|---|---|---|---|---|---|
池塘水田 | 6 607 | 0 | 0 | 54 | 1 226 | 359 | 19.88 | 80.12 |
海水水域 | 0 | 61 108 | 106 | 0 | 0 | 0 | 0.17 | 99.83 |
滩涂 | 0 | 292 | 66 920 | 1 011 | 0 | 0 | 1.91 | 98.09 |
沼泽 | 33 | 0 | 4 735 | 20 938 | 0 | 384 | 19.75 | 80.25 |
农田绿地 | 632 | 0 | 0 | 6 | 13 459 | 1 241 | 12.25 | 87.75 |
建筑用地 | 9 | 0 | 194 | 276 | 335 | 19 170 | 4.07 | 95.93 |
漏分误差/% | 9.26 | 0.48 | 6.99 | 6.04 | 10.39 | 9.38 | ||
生产者精度/% | 90.74 | 99.52 | 93.01 | 93.96 | 89.61 | 90.62 | ||
总体分类精度 =(188202/199095)=94.53% Kappa系数 =0.93 |
从图8可以看出,研究区域内海水水域面积缩减明显,而滩涂、沼泽地、池塘和水田、绿地和建筑用地都出现了明显的涨幅,尤其是滩涂、池塘、水田和建筑用地。在近20年间,杭州湾南岸湿地范围逐渐增大,减少的海水水域大部分变为滩涂,其余通过治理变为池塘或水田、建筑用地等。
由于大规模人工填海造地,一些原始滩涂逐渐变为耕地、建筑等,致使湿地区海岸带不断前移。姜忆湄等[22]在以宁波杭州湾新区为例,研究关于围填海影响下海岸带生态服务价值损益评估时,也明确提到自2005~2015年间,杭州湾新区绝大部分生态系统类型各项服务的总价值以及单项生态系统服务类型的价值量缩减,且2010年后生态系统服务功能衰退速度加快。
综上所述,由于人工造地致使海岸线前移,沿海滩涂面积增大;大面积植被覆盖区面积减少,湿地区整体植被覆盖率降低。另外植被覆盖度的变化也与气候、降水等有密切的关系;但高植被覆盖度减少的主要原因是,城建用地面积的增加,其他用地面积的减少。
此外,需说明的是实验分析结果可能受潮汐影响,其稳定性、准确性有待进一步提高,虽不能详细展示海岸带的变化细节,但也能说明一些问题,为滨海湿地开发工作提供一些思考。
4 讨 论
全色/多光谱融合方法根据算法原理的不同可分为4类:基于成分替换的方法、基于多分辨率分析的方法、基于变分优化的方法和基于深度学习的方法[4]。
(1)基于成分替换的方法和基于多分辨率分析的方法。前者基于简单的光谱带线性组合,后者基于频带变换组合,导致其存在不同程度的光谱失真与空间增强能力不足的缺点。
(2)基于变分优化的方法。通过建立模型将成分替换与多分辨率分析的方法统一于同一框架下,并在光谱保真项、空间增强项和先验项三部分共同作用下,有效提高了融合质量。
(3)基于深度学习的方法。近年来受到广泛关注,这类方法转变原有基于模型的思想,从数据的角度出发,基于热门学习模型充分挖掘数据深层联系。融合结果精度高但却依赖大量数据集的训练与学习,时间成本也更高。
前两者算法原理简单,具有较强的物理意义,但融合精度不高;后两者融合精度高,但算法复杂、时间成本高。对于面向应用的融合环境,难以满足其短时高效的要求。
(4)实验所提基于空—谱质量评价的全色/多光谱“二次”融合方法SSQI_PANSHARP,通过设计SSQI质量指标,对各经典融合算法所得初步融合结果进行逐像元最优筛选,从而得到目标融合图像。 “二次”融合所得高空间分辨率多光谱图像,有效结合了各经典融合算法的互补优势,且长时序融合的稳健性最高,满足滨海湿地长时序遥感监测对融合方法鲁棒性的需求。
然而遥感影像全色/多光谱融合还面临许多挑战,总结为以下3点:①在云污染严重、噪声污染以及影像配准精度不高的情况下,如何提高融合算法的稳健性;②在面向应用的融合任务中,尤其是特定大场景融合,如何提高融合算法的灵活性与针对性,发展以应用为导向的融合方法;③在没有理想参考图像的制约下,对于全色多光谱融合影像无参考质量评价指标的设计。
5 结 论
提出了一种面向滨海湿地的全色/多光谱融合方法,并以杭州湾滨海湿地为研究区,利用研究区1999~2018年20年Landsat卫星遥感图像数据源,进行了相关融合实验与长时序评价分析。研究结果表明,所提SSQI_PANSHARP方法融合后的图像光谱保真度高、空间结构信息增强效果好,且鲁棒性强,较适合于杭州湾滨海湿地区域影像的融合,并满足长时序动态监测的需求。且不同融合方法对同一影像所得融合效果不同;同一融合方法对不同特征地物的融合效果亦不相同;在应用于不同传感器所得影像时,其融合效果也存在差异。
对研究区的长时序动态分析结果表明,由SSQI_PANSHARP融合图像所得出的湿地信息,其精度达到了湿地格局变化检测的要求。杭州湾滨海湿地自2010年起,由于城市规划人工填海造地,致使海岸线前移,海岸带走势改变;南岸湿地区域扩张明显,池塘水田增幅明显,农田绿地比例有所下降。
参考文献
Progress and Prospect of Remote Sensing Data Fusion
[J].
遥感数据融合的进展与前瞻
[J].
Maximum Posterior Fusion of Multi-spectral/Panchromatic Images Based on GradientConsistency Constraints
[J].
基于梯度一致性约束的多光谱/全色影像最大后验融合方法
[J].
Pansharpening of Clustered MS and Pan Images Considering Mixed Pixels
[J].
Review of the Pansharpening Methods for Remote Sensing Images based on the Idea of Meta-analysis:Practical Discussion and Challenges
[J].
A Critical Comparison Among Pansharpening Algorithms
[J].
Analysis of Wetland Change in the South Bank of Hangzhou Bay based on Remote Sensing Images
[J].
基于遥感影像的杭州湾南岸湿地变化分析
[J].
Evaluation of WorldView-2 Image Fusion Method for Coastal Oyster Culture
[J].
沿海牡蛎养殖的WorldView-2影像融合方法评价
[J].
Wetland Monitor for Poyang Lake Ecological Economic Region based on Landsat7 Sensing Data
[C]∥
A Novel Adversarial based Hyperspectral and Multispectral Image Fusion
[J].
A Wavelet Transform Method Tomerge Landsat TM and SPOT Panchromatic Data
[J].
Synthesis of Multispectral Images to High Spatial Resolution:A Critical Review of Fusion Methods based on Remote Sensing
[J].
Review on Different PAN Sharpening Methods
[J].
Hyperspectral Pan-sharpening:A Review
[J].
Variational Fusion Method for Multi-source temporal-spatial-spectral Optical Remote Sensing Images
[D].
多源时—空—谱光学遥感影像的变分融合方法
[D].
Hypercomplex Quality Assessment of Multi/hyperspectral Images
[J].
A Universal Image Quality Index
[J].
An IHS-based Fusion for Color Distortion Reduction and Vegetation Enhancement in IKONOS Imagery
[J].
NDVI-derived Land Cover Classification at a Global Scale
[J].
Simulated Analysis of NDVI Influences of Wheat Farmland Soil Under Different Coverage
[J].
不同覆盖度下小麦农田土壤对NDVI影响模拟分析
[J].
An Adaptive Water Extraction Method from Remote Sensing Image based on NDWI
[J].
Automatic Extraction of Water Boundary of Qinghai Lake based on Landsat-8 OLI Data
[J].
基于 Landsat-8 OLI 数据的青海湖水体边界自动提取
[J].
Benefit and Loss Assessment of Coastal Ecoservice Value Under the Impact of Reclamation: A Case Study of Hangzhou Bay New Area in Ningbo
[J].
围填海影响下海岸带生态服务价值损益评估——以宁波杭州湾新区为例
[J].
/
〈 |
|
〉 |
