基于编码对齐生成对抗网络的异源遥感影像地表覆被变化检测方法

doi:10.11873/j.issn.1004-0323.2023.5.1107

遥感技术与应用

2023, Vol. 38

Issue (5): 1107-1117 DOI: 10.11873/j.issn.1004-0323.2023.5.1107

数据与图像处理

基于编码对齐生成对抗网络的异源遥感影像地表覆被变化检测方法

张成才¹(

),刘威¹,杨峰²,彭凯¹(

),周雪丽³

^1.黄河实验室（郑州大学），河南郑州 450001
^2.河南省出山店水库建设管理局，河南信阳 464000
^3.河南省地图院，河南郑州 450003

Change Detection Method for Surface Cover of Heterogeneous Remote Sensing Image based on Code-Aligned Generative Adversarial Network

Chengcai ZHANG¹(

),Wei LIU¹,Feng YANG²,Kai PENG¹(

),Xueli ZHOU³

^1.Yellow River Laboratory （Zhengzhou University），Zhengzhou 450001，China
^2.Chushandian Reservoir Management Bureau，Henan Province，Xinyang 464000，China
^3.Henan Map Institution，Henan Province，Zhengzhou 450003，China

全文: PDF(5781 KB) HTML

摘要：

相较于同源遥感影像地表覆被变化检测，异源影像能综合不同卫星传感器间数据特征和现势性等优势，更好满足应用需求。针对异源遥感影像变化检测中存在的光谱差异和特征空间不一致问题，研究提出编码对齐生成对抗网络实现异源影像的高精度变化检测。考虑到异源影像间通道和数据类型上存在差异，难保持重构前后影像空间结构的一致性，研究通过添加自编码器和构造编码对齐损失，约束编码器输出特征的空间结构变化，使重构前后影像空间结构一致，有效减少信息丢失；在跨域映射过程中为减少源域与目标域间影像的色彩差异，采用循环一致对抗生成网络在无成对影像情况下进行色彩迁移，实现两时相异源影像的相互跨域映射，生成能与原始影像直接对比的无色偏重构影像；利用设计的变化概率权重使网络在训练过程中自动选择样本，有效提取覆被变化信息。实验结果表明：该方法与CGAN、SCCN等方法相比能更充分提取影像特征，降低跨域映射函数的随机性；在4组公开数据集的检测精度分别达到0.93、0.96、0.97、0.88，精度最高；变化检测结果与参考图的一致性、检测差异图质量均最优。因此，该方法在异源遥感影像中能够进行高精度变化检测。

关键词： 异源遥感影像; 变化检测; 自适应; 跨域映射

Abstract:

Compared to the change detection of homologous remote sensing images， heterogeneous images can integrate the advantages of different satellite sensor data features and temporal relevance， better satisfying application requirements. To address the issues of spectral differences and inconsistent feature spaces in change detection of heterogeneous remote sensing images， this study proposes an aligned generative adversarial network for high-precision change detection of heterogeneous images. Considering the differences in channels and data types between heterogeneous images， it is difficult to maintain the consistency of spatial structures before and after reconstruction. The study incorporates autoencoders and constructs alignment loss to constrain the spatial structure changes of encoder output features， ensuring consistency in spatial structures between the reconstructed images and reducing information loss effectively. In the cross-domain mapping process， to minimize the color differences between source and target domain images， a cycle-consistent adversarial generative network is used for color transfer in the absence of paired images， enabling mutual cross-domain mapping between two temporally distinct heterogeneous images， generating color-preserving reconstructed images that can be directly compared with the original images. By utilizing designed change probability weights， the network automatically selects samples during the training process， effectively extracting land cover change information. Experimental results demonstrate that compared to methods such as CGAN and SCCN， the proposed method can more fully extract image features and reduce the randomness of cross-domain mapping functions. The detection accuracies on four publicly available datasets reach 0.93， 0.96， 0.97， and 0.88， with the highest accuracy achieved. The consistency between the change detection results and the reference maps， as well as the quality of the difference maps， is optimal. This method enables high-precision change detection in heterogeneous remote sensing images.

Key words: Heterogeneous remote sensing images Change detection Adaptive Cross-domain mapping

收稿日期: 2022-08-27 出版日期: 2023-11-07

ZTFLH:

P237

基金资助: 河南省自然科学基金项目“联合主动微波遥感和光学遥感数据的大型灌区土壤水分反演方法研究”(222300420539);河南省水利科技攻关项目“河南省出山店水库流域覆被遥感监测方法”(GG201902);国家自然科学基金重点项目“基于大数据的城市洪涝灾害预报预警理论与方法研究”(51739009)

通讯作者: 彭凯 E-mail: zhangcc2000@163.com;1029127803@qq.com

作者简介: 张成才（1964-），男，河南郸城人，博士，教授，主要从事水利信息技术研究。E?mail: zhangcc2000@163.com

	服务
	把本文推荐给朋友
	加入引用管理器
	E-mail Alert
	RSS
	作者相关文章
	张成才
	刘威
	杨峰
	彭凯
	周雪丽

引用本文:

张成才,刘威,杨峰,彭凯,周雪丽. 基于编码对齐生成对抗网络的异源遥感影像地表覆被变化检测方法[J]. 遥感技术与应用, 2023, 38(5): 1107-1117.

Chengcai ZHANG,Wei LIU,Feng YANG,Kai PENG,Xueli ZHOU. Change Detection Method for Surface Cover of Heterogeneous Remote Sensing Image based on Code-Aligned Generative Adversarial Network. Remote Sensing Technology and Application, 2023, 38(5): 1107-1117.

链接本文:

http://www.rsta.ac.cn/CN/10.11873/j.issn.1004-0323.2023.5.1107 或 http://www.rsta.ac.cn/CN/Y2023/V38/I5/1107

图1 变化检测流程图

图2 CAGAN结构(a)网络结构 (b)影像跨域回构过程

名称	模块	参数设置
编码器生成器	卷积层	$c o n v 3 × 3, s t r i d e = 1, p a d d i n g = 1 L e a k y R e L U s l o p e = 0.3, D r o p o u t p = 0.2 × 4$
编码器生成器	卷积层	$c o n v 3 × 3, s t r i d e = 1, p a d d i n g = 1 t a n h × 1$
判别器	卷积层	$c o n v 3 × 3, s t r i d e = 2, p a d d i n g = 0 L e a k y R e L U s l o p e = 0.3, D r o p o u t p = 0.2 × 3$
判别器	全连接层	$I n p u t = 25, O u t p u t = 1 S i g m o i d × 1$

表1 CAGAN 的参数设置

图3 数据集

图4 数据集变化结果混淆图

图5 数据集差异图

表2 数据集1变化检测精度指标

表3 数据集2变化检测精度指标

表4 数据集3变化检测精度指标

表5 数据集4变化检测精度指标

图6 高斯滤波和阈值分割法评价结果图

表6 高斯滤波和阈值分割精度指标 (impact evaluation accuracy)

1	ZHANG Liangpei， WU Chen.Advance and future development of change detection for multi-temporal remote sensing imagery［J］.Acta Geodaetica et Cartographica Sinica，2017，46（10）：1447-1459.
1	张良培，武辰.多时相遥感影像变化检测的现状与展望［J］.测绘学报， 2017，46（10）：1447-1459.
2	LI H， XIAO P， FENG X， et al. Using land long-term data records to map land cover changes in China over 1981-2010［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2017，PP（4）：1-18. DOI： 10.1109/JSTARS.2016.2645203 doi: 10.1109/JSTARS.2016.2645203
3	ZELINSKI M E， HENDERSON J， SMITH M. Use of Landsat 5 for Change detection at 1998 indian and pakistani nuclear test sites［J］. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing， 2014， 7（8）：3453-3460. DOI： 10.1109/JSTARS.2013.2294322 doi: 10.1109/JSTARS.2013.2294322
4	SHI W， ZHANG M， ZHANG R， et al. Change detection based on artificial intelligence： State-of-the-Art and challenges［J］.Remote Sensing，2020，12（10）：1688. DOI：10.3390/ rs12101688 doi: 10.3390/ rs12101688
5	STORVIK B， STORVIK G， FJORTOFT R.On the combination of multisensor data using meta-gaussian distributions［J］. IEEE Transactions on Geoscience & Remote Sensing，2009，47（7）：2372-2379. DOI：10.1109/TGRS.2009. 2012699 doi: 10.1109/TGRS.2009. 2012699
6	ZHANG P， GONG M， SU L， et al. Change detection based on deep feature representation and mapping transformation for multi-spatial-resolution remote sensing images［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2016， 116：24-41. DOI： 10.1016/j.isprsjprs.2016.02.013 doi: 10.1016/j.isprsjprs.2016.02.013
7	TAO Z， GONG M， JIA L， et al. Iterative feature mapping network for detecting multiple changes in multi- source remote sensing images［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2018， 146：38-51. DOI： 10.1016/j.isprsjprs.2018.09.002 doi: 10.1016/j.isprsjprs.2018.09.002
8	YOU Y， CAO J， ZHOU W. A survey of change detection methods based on remote sensing images for multi-source and multi-objective scenarios［J］. Remote Sensing，2020，12（15）：2460. DOI： 10.3390/rs12152460 doi: 10.3390/rs12152460
9	MERCIER G， MOSER G， SERPICO S B. Conditional copulas for change detection in heterogeneous remote sensing images［J］. IEEE Transactions on Geoence & Remote Sensing，2008，46（5）：1428-1441. DOI：10.1109/TGRS. 2008. 916476 doi: 10.1109/TGRS. 2008. 916476
10	HUSSAIN M， CHEN D M， CHENG A， et al. Change detection from remotely sensed images： From pixel-based to object-based approaches［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2013， 80： 91-106. DOI： 10.1016/j.isprsjprs.2013.03.006 doi: 10.1016/j.isprsjprs.2013.03.006
11	BOVOLO F， BRUZZONE L. A theoretical framework for unsupervised change detection based on change vector analysis in the polar domain［J］. IEEE Transactions on Geoscience and Remote Sensing，2007，45（1）：218-36. DOI：10.1109/TGRS. 2006.885408 doi: 10.1109/TGRS. 2006.885408
12	CELIK T. Unsupervised change detection in satellite images using principal component analysis and k-Means clustering［J］. IEEE Geoscience and Remote Sensing Letters， 2009， 6（4）： 772-6. DOI： 10.1109/LGRS.2009.2025059 doi: 10.1109/LGRS.2009.2025059
13	CANTY M J， NIELSEN A A. Automatic radiometric normalization of multitemporal satellite imagery with the iteratively re-weighted MAD transformation ［J］. Remote Sensing of Environment， 2008， 112（3）： 1025-36. DOI： 10.1016/j.rse.2007.07.013 doi: 10.1016/j.rse.2007.07.013
14	BONTEMPS S， BOGAERT P， TITEUX N， et al. An object-based change detection method accounting for temporal dependences in time series with medium to coarse spatial resolution［J］. Remote Sensing of Environment， 2008， 112（6）：3181-3191.DOI： 10.1016/j.rse.2008.03.013 doi: 10.1016/j.rse.2008.03.013
15	CHEN H， YOKOYA N， CHINI M. Fourier domain structural relationship analysis for unsupervised multimodal change detection［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2023， 198： 99-114.
16	GUO Qing， ZHU Liya， LI An， et al. Landslide identification method based on NDVI change detection［J］. Remote Sensing Technology and Application， 2022， 37（1）： 17-23.
16	郭擎，朱丽娅，李安，等. 基于NDVI变化检测的滑坡遥感精细识别［J］. 遥感技术与应用， 2022， 37（1）： 17-23.
17	SHELHAMER E， LONG J， DARRELL T.Fully convolutional networks for semantic segmentation［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（4）：640-651.DOI：10.1109/TPAMI.2016.2572683 doi: 10.1109/TPAMI.2016.2572683
18	DAUDT R C， LE SAUX B， BOULCH A， et al. Fully Convolutional Siamese Networks for change detection； Proceedings of the 25th IEEE International Conference on Image Processing （ICIP）， Athens， GREECE， F Oct 07-10， 2018 ［C］∥ 2018. DOI： 10.1109/ICIP.2018.8451652 doi: 10.1109/ICIP.2018.8451652
19	SONG A， CHOI J. Fully convolutional networks with multiscale 3D filters and transfer learning for change detection in high spatial resolution satellite images［J］. Remote Sensing， 2020， 12（5）： 799. DOI： 10.3390/rs12050799 doi: 10.3390/rs12050799
20	JIA L， GONG M， KAI Q， et al. A deep convolutional coupling network for change detection based on heterogeneous optical and radar images［J］. IEEE Transactions on Neural Networks and Learning Systems， 2016， PP（99）：1-15. DOI： 10.1109/TNNLS.2016.2636227 doi: 10.1109/TNNLS.2016.2636227
21	GONG M， ZHAO J， LIU J， et al. Change detection in synthetic aperture radar images based on Deep Neural Networks［J］. IEEE Transactions on Neural Networks & Learning Systems，2017，27（1）：125-138. DOI：10.1109/TNNLS. 2015. 2435783 doi: 10.1109/TNNLS. 2015. 2435783
22	NIU X， GONG M， TAO Z， et al. A Conditional Adversarial Network for change detection in heterogeneous images［J］. IEEE Geoscience and Remote Sensing Letters， 2018， PP（1）：1-5. DOI： 10.1109/LGRS.2018.2868704 doi: 10.1109/LGRS.2018.2868704
23	HINTON G E， SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks［J］ Science. 2006 Jul 28；313（5786）：504-7. DOI： 10.1126/science.1127647 doi: 10.1126/science.1127647
24	ZHU J Y， PARK T， ISOLA P， et al. Unpaired image-to-image translation using Cycle-Consistent Adversarial Networks［J］. IEEE International Conference on Computer Vision，2017，pp.2242-2251. DOI：10.48550/arXiv.1703.10593 doi: 10.48550/arXiv.1703.10593
25	KRHENBÜH L， PHILIPP， KOLTUN V. Efficient inference in fully connected CRFs with Gaussian Edge potentials［J］. Curran Associates Inc， 2012：109-117. DOI： 10.48550/arXiv.1210.5644 doi: 10.48550/arXiv.1210.5644
26	OTSU N. A Threshold selection method from gray-level histograms［J］. IEEE Transactions on Systems Man & Cybernetics， 1979， 9（1）：62-66.
27	LUPPINO L T， HANSEN M A， KAMPFFMEYER M， et al. Code-aligned autoencoders for unsupervised change detection in multimodal remote sensing images［J］. arXiv： Computer Vision and Pattern Recognition，2020. DOI： 10.1109/TNNLS.2022.3172183 doi: 10.1109/TNNLS.2022.3172183
28	MACK Y P， ROSENBLATT M. Multivariate k-nearest neighbor density estimates［J］. Journal of Multivariate Analysis， 1979， 9（1）：1-15.
29	LUPPINO L T， KAMPFFMEYER M， BIANCHI F M， et al. Deep image translation with an affinity-based change prior for unsupervised multimodal change detection［J］. IEEE Transactions on Geoscience and Remote Sensing， 2021（99）：1–22. DOI： 10.1109/TGRS.2021.3056196 doi: 10.1109/TGRS.2021.3056196
30	TOUATI R， MIGNOTTE M.An Energy-based model enco-ding nonlocal pairwise pixel interactions for multisensor chan-ge detection［J］. IEEE Transactions on Geoence & Remote Sensing，2017：1-13. DOI：10.1109/TGRS.2017. 2758359 doi: 10.1109/TGRS.2017. 2758359
31	TOUATI R， MIGNOTTE M， DAHMANE M. Multimodal change detection in remote sensing images using an unsupervised pixel pairwise-based Markov Random Field Model［J］. IEEE Transactions on Image Processing， 2019， PP（99）： 757-767. DOI： 10.1109/TIP.2019.2933747 doi: 10.1109/TIP.2019.2933747

[1]	刘鑫,黄进,杨瑛玮,李剑波. 基于CenterNet的改进遥感旋转目标检测[J]. 遥感技术与应用, 2023, 38(5): 1081-1091.
[2]	符龙崇,朱建军,付海强,解清华,韩文涛. 面向双站SAR系统的长波PolInSAR目标自适应分解[J]. 遥感技术与应用, 2023, 38(5): 1017-1027.
[3]	杜绍杰,赵天杰,施建成,马春锋,邹德富,王振,姚盼盼,彭志晴,郑景耀. Sentinel-1和Sentinel-2协同反演地表土壤水分[J]. 遥感技术与应用, 2022, 37(6): 1404-1413.
[4]	张宇卓,李志伟,沈焕锋,彭小元. 激光雷达数据辅助的FY-3D影像阈值自适应云检测方法[J]. 遥感技术与应用, 2022, 37(5): 1109-1118.
[5]	吕开云,侯昭阳,龚循强,杨硕. 一种基于ASR和PAPCNN的NSCT域遥感影像融合方法[J]. 遥感技术与应用, 2022, 37(4): 829-838.
[6]	韦中晖,靳海亮,顾晓鹤,杨英茹,王庚泽,潘瑜春. 基于多时相协同变化检测的耕地撂荒遥感监测[J]. 遥感技术与应用, 2022, 37(3): 539-549.
[7]	马勇,姚武韬,仉淑艳,尚二萍,陈朝霞. 保护性林地砍伐事件空间分布特征及风险评估研究[J]. 遥感技术与应用, 2022, 37(3): 663-671.
[8]	张飞舟,刘华亮,张立福,岑奕,孙雪剑,张红明. 高分辨率光学遥感影像变化检测算法在地震灾情调查中的应用[J]. 遥感技术与应用, 2022, 37(2): 306-318.
[9]	盖一铭,阿里木·赛买提,王伟,吉力力·阿不都外力. 基于样本迁移的干旱区地表覆盖快速更新[J]. 遥感技术与应用, 2022, 37(2): 333-341.
[10]	郭擎,朱丽娅,李安,顾铃燕. 基于NDVI变化检测的滑坡遥感精细识别[J]. 遥感技术与应用, 2022, 37(1): 17-23.
[11]	李晓东,闫守刚,宋开山. 遥感监测东北地区典型湖泊湿地变化的方法研究[J]. 遥感技术与应用, 2021, 36(4): 728-741.
[12]	陈康明,朱旭东. 基于Google Earth Engine的南方滨海盐沼植被时空演变特征分析[J]. 遥感技术与应用, 2021, 36(4): 751-759.
[13]	胡宜娜,安如,艾泽天,都伟冰. 基于无人机高光谱影像的三江源草种精细识别研究[J]. 遥感技术与应用, 2021, 36(4): 926-935.
[14]	王崇阳,田昕. 基于GF⁃1 PMS数据的森林覆盖变化检测[J]. 遥感技术与应用, 2021, 36(1): 208-216.
[15]	雷华锦,李弘毅,王建,郝晓华,赵宏宇,张娟. 基于环境信息和回归模型的青藏高原MODIS积雪面积比例产品制备[J]. 遥感技术与应用, 2020, 35(6): 1303-1311.

Viewed

Full text

Abstract

Cited

Shared

Discussed