基于神经网络注意力架构搜索的光学遥感图像场景分类

doi:10.11873/j.issn.1004-0323.2023.4.0913

遥感技术与应用

2023, Vol. 38

Issue (4): 913-923 DOI: 10.11873/j.issn.1004-0323.2023.4.0913

数据与图像处理

基于神经网络注意力架构搜索的光学遥感图像场景分类

曹斌¹(

),郑恩让¹(

),沈钧戈²

^1.陕西科技大学电气与控制工程学院，陕西西安 710021
^2.西北工业大学无人系统技术研究院，陕西西安 710072

Neural Network Attention Architecture Search for Optical Remote Sensing Image Scene Classification

Bin CAO¹(

),Enrang ZHENG¹(

),Junge SHEN²

^1.School of Electrical and Control Engineering，Shaanxi University of Science and Technology，Xi’an 710021，China
^2.Unmanned System Research Institute，Northwestern Polytechnical University，Xi’an 710072，China

全文: PDF(9994 KB) HTML

摘要：

针对光学遥感图像场景分类存在类别变化、样本数量变化，场景图像中背景与重要物体变换大、尺度变化多的问题，提出基于神经网络注意力架构搜索的光学遥感图像场景分类方法，由算法自适应在神经网络中搜索卷积、池化、注意力等操作，构建能完成光学遥感图像场景分类任务的神经网络。为保证搜索神经网络过程稳定性，提出两段式贪婪策略网络搜索方法，分阶段丢弃无用操作，减少搜索算法负担、提高搜索速度。最后为了关注各物体与场景关联信息，提出自上而下的网络连接策略，充分复用各阶段多尺度特征图的语义。实验结果证明：该方法相较于手工设计的经典深度学习方法具有更好的性能。在AID、NWPU、PATTERNET 3个遥感图像标准数据集上总体精度均超过经典方法。在AID数据集上准确率达到94.04%；在PATTERNET数据集上准确率达到99.62%；在NWPU数据集上达到95.49%。

关键词： 遥感; 场景分类; 神经网络架构搜索; 贪婪算法; 网络连接策略

Abstract:

With majority problems in image scene of optical remote， changing category in classification， variational size in sample， diverse changing of scale between backgrounds and essential objectives， for instance， new Classification Algorithm for scene classification of optical remote sensing image base on attention architecture search of neural network is proposed in this paper. This algorithm can search convolution， pooling， attention and other operations in the neural network， adaptively； and complete the construction task of scene classification for optical remote sensing images in neural network. Two-stage greedy algorithms network search is mentioned in order to ensure the stability of neural search network. This method abandons useless operations in stage which can reduce algorithm burden and improve speed of search. Furthermore， a top-bottom connection strategy of network， which can fully reuse the semantics of multi-scale feature maps in each stage， is proposed to merge information between each object and scene. The experimental results proved that the method proposed in this paper has better performance than the classical deep learning method designed by hand. Overall， the accuracy of this method in all three remote sensing image-standard data sets （AID， NWPU and PatterNet） is exceeding the classic method. The accuracy rate of AID data set， PatterNet data set， and NWPU data set are 94.04%， 99.62%， and 95.49%， respectively.

Key words: Remote sensing Scene classification Neural network architecture search Greedy algorithms Network connection strategy

收稿日期: 2021-04-15 出版日期: 2023-09-11

ZTFLH:

TP751

基金资助: 国家自然科学基金项目(61603233);河南省水下重点实验室开放基金项目(D5204200587)

通讯作者: 郑恩让 E-mail: caobnas@163.com;zhenger@sust.edu.cn

作者简介: 曹斌（1997-），男，河南新郑人，硕士研究生，主要从事深度学习、计算机视觉、遥感图像分析研究。E?mail:caobnas@163.com

	服务
	把本文推荐给朋友
	加入引用管理器
	E-mail Alert
	RSS
	作者相关文章
	曹斌
	郑恩让
	沈钧戈

引用本文:

曹斌,郑恩让,沈钧戈. 基于神经网络注意力架构搜索的光学遥感图像场景分类[J]. 遥感技术与应用, 2023, 38(4): 913-923.

Bin CAO,Enrang ZHENG,Junge SHEN. Neural Network Attention Architecture Search for Optical Remote Sensing Image Scene Classification. Remote Sensing Technology and Application, 2023, 38(4): 913-923.

链接本文:

http://www.rsta.ac.cn/CN/10.11873/j.issn.1004-0323.2023.4.0913 或 http://www.rsta.ac.cn/CN/Y2023/V38/I4/913

图1 神经网络架构搜索技术流程

表1 注意力搜索空间操作及尺寸

图2 通道注意力机制

图3 松弛化操作超图和构成神经网络

图4 自上而下式网络连接策略

表2 自上而下网络架构设置

图5 两段式网络搜索策略

表3 标准数据集信息

表4 3个标准数据集上的实验设置

表5 不同单元层数网络分类总体精度

图6 AID数据集搜索单元结果

表 6 单元图操作对照表

表7 网络搜索策略总体精度

表8 在AID数据集上总体精度

图7 AID数据集50%训练样本混淆矩阵

表9 在PatternNet数据集上总体精度

图8 PatternNet数据集搜索基础单元和下采样单元结果

图9 PatternNet数据集50%训练样本混淆矩阵

表10 在NWPU数据集上总体精度

图10 NWPU数据集搜索基础单元和下采样单元结果

图11 NWPU数据集60%训练样本混淆矩阵

1	TONG Qingxi， ZHANG Bing， ZHANG Lifu. Advance in hyperspectral remote sensing in China ［J］. Acta Remotica Sinica， 2016，20（5）：689-707.
1	童庆禧，张兵，张立福.中国高光谱遥感的前沿进展［J］.遥感学报，2016，20（5）：689-707.
2	GONG Peng， LI Xia， XU Bing. Some problems in the theory and application of high resolution image interpretation ［J］. Acta Remotica Sinica， 2006，10（1）：1-5.
2	宫鹏，黎夏，徐冰.高分辨率影像解译理论与应用方法中的一些研究问题［J］.遥感学报，2006，10（1）：1-5.
3	CHENG G， YANG C， YAO X， et al. When deep learning meets metric learning： Remote sensing image scene classification via learning discriminative CNNs［J］. IEEE Transactions on Geoscience and Remote Sensing，2018，56（5）：2811-2821.
4	HAN X， ZHONG Y， CAO L， et al. Pre-trained alexnet architecture with pyramid pooling and supervision for high spatial resolution remote sensing image scene classification［J］. Remote Sensing， 2017， 9（8）： 848.DOI：10.3390/rs9080848 doi: 10.3390/rs9080848
5	ELSKEN T， METZEN J H， HUTTER F.Neural architecture search：A survey［J］.arXiv preprint arXiv：，2018.
6	XU R， TAO Y， LU Z， et al. Attention-mechanism-containing neural networks for high-resolution remote sensing image classification［J］. Remote Sensing， 2018， 10（10）： 1602.DOI：10.3390/rs10101602 doi: 10.3390/rs10101602
7	WANG Q， LIU S， CHANUSSOT J， et al. Scene classification with recurrent attention of VHR remote sensing images［J］. IEEE Transactions on Geoscience and Remote Sensing， 2018， 57（2）： 1155-1167. DOI：10.1109/tgrs.2018.2864987 doi: 10.1109/tgrs.2018.2864987
8	YE L， WANG L， SUN Y， et al. Parallel multi-stage features fusion of deep convolutional neural networks for aerial scene classification［J］. Remote Sensing Letters， 2018， 9（3）： 294-303. DOI： 10.1080/2150704x.2017.1415477 doi: 10.1080/2150704x.2017.1415477
9	KAUL A， MAHESHWARY S， PUDI V. Autolearn—automated feature generation and selection［C］∥ 2017 IEEE International Conference on Data Mining （ICDM）. IEEE，2017：217-226.
10	VILALTA R， DRISSI Y. A perspective view and survey of meta-learning［J］.Artificial Intelligence Review，2002，18（2）：77-95.
11	ELSKEN T， METZEN J H， HUTTER F. Neural architecture search： A survey［J］. arXiv preprint arXiv：，2018.
12	REAL E， AGGARWAL A， HUANG Y， et al. Aging evolution for image classifier architecture search［C］∥ AAAI Conference on Artificial Intelligence， 2019.
13	ZOPH B， LE Q V. Neural architecture search with reinforcement learning［J］. arXiv preprint arXiv：， 2016.
14	LIU H， SIMONYAN K， YANG Y. Darts： Differentiable architecture search［J］. arXiv preprint arXiv：， 2018.
15	XU Y， XIE L， ZHANG X， et al. PC-DARTS： Partial channel connections for memory-efficient architecture search［J］. arXiv preprint arXiv：， 2019.
16	LIANG H， ZHANG S， SUN J， et al. Darts+： Improved differentiable architecture search with early stopping［J］. arXiv preprint arXiv：， 2019.
17	HU J， SHEN L， SUN G. Squeeze-and-excitation networks［C］∥ Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2018：7132-7141.DOI：10.1109/cvpr. 2018.00745 doi: 10.1109/cvpr. 2018.00745
18	XIA G S， HU J， HU F， et al. AID： A benchmark data set for performance evaluation of aerial scene classification［J］. IEEE Transactions on Geoscience and Remote Sensing，2017，55（7）：3965-3981. DOI：10.1109/tgrs.2017.2685945 doi: 10.1109/tgrs.2017.2685945
19	CHENG G， HAN J， LU X. Remote sensing image scene classification： Benchmark and state of the art［J］. Proceedings of the IEEE， 2017，105（10）：1865-1883.
20	ZHOU W， NEWSAM S， LI C，et al.PatternNet：a benchmark dataset for performance evaluation of remote sensing image retrieval［J］.ISPRS Journal of Photogrammetry and Remote Sen-sing，2018，145：197-209. DOI：10.1016/j.isprsjprs.2018. 01.004 doi: 10.1016/j.isprsjprs.2018. 01.004
21	KINGMA D P， BA J. Adam： a method for stochastic optimization［J］. arXiv preprint arXiv：，2014.
22	SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［J］. arXiv preprint arXiv：， 2014.
23	HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition［C］∥ Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2016： 770-778.
24	SZEGEDY C， LIU W， JIA Y， et al. Going deeper with convolutions［C］∥ Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2015：1-9.

[1]	胡腾云,解鹏飞,温亚楠,慕号伟. 基于不同深度学习模型提取建筑轮廓的方法研究[J]. 遥感技术与应用, 2023, 38(4): 892-902.
[2]	张先冉,占文凤,缪诗祺,杜惠琳,王晨光,江斯达. 基于温度日内循环模型的全球主要城市地表热岛面积时空格局遥感研究[J]. 遥感技术与应用, 2023, 38(4): 842-854.
[3]	黄仲良,何敬,刘刚,李政. 面向GEE平台的遥感影像分析与应用研究进展[J]. 遥感技术与应用, 2023, 38(3): 527-534.
[4]	蒙继华,郑贺刚,王松雪,叶金. 基于卫星遥感预测作物真菌毒素的可行性分析[J]. 遥感技术与应用, 2023, 38(3): 535-543.
[5]	齐文栋,何黎明,王安鹏,顾晓鹤,周艳兵. 低温冷害胁迫下的多熟水稻产量遥感监测[J]. 遥感技术与应用, 2023, 38(3): 558-565.
[6]	齐文栋,郑学昌,何黎明,卢珍,顾晓鹤,周艳兵. 基于多时相Sentinel-2影像的棉花雹灾时序变化遥感监测[J]. 遥感技术与应用, 2023, 38(3): 566-577.
[7]	张娟娟,谢一敏,董萍,孟圣博,司海平,王晓平,马新明. 基于深度学习的遥感影像时空融合及冬小麦种植面积提取[J]. 遥感技术与应用, 2023, 38(3): 578-587.
[8]	张文志,杜梦豪,丁来中,杨森. 非洲Munyaka地区铁皮屋顶时空变化规律研究[J]. 遥感技术与应用, 2023, 38(3): 729-738.
[9]	张丽坤,潘一凡,赵楚雯,邱国梁,周佩,陈翔,汪洋. 基于随机森林算法的华北平原灰霾区域识别研究[J]. 遥感技术与应用, 2023, 38(3): 752-766.
[10]	米军,张肖,刘良云. 1985~2020年上海市不透水面时空特征演化分析[J]. 遥感技术与应用, 2023, 38(2): 297-307.
[11]	董世英,吴田军,焦思佳. 地块级航空高光谱遥感土地覆盖制图及其精度评估[J]. 遥感技术与应用, 2023, 38(2): 353-361.
[12]	协子昂,张超,冯绍元,张富仓,蔡焕杰,唐敏,孔纪迎. 植被物候遥感监测研究进展[J]. 遥感技术与应用, 2023, 38(1): 1-14.
[13]	赵会芹,于博,陈方,王雷. 基于高分辨率卫星遥感影像滑坡提取方法研究现状[J]. 遥感技术与应用, 2023, 38(1): 108-115.
[14]	邴芳飞,金永涛,张文豪,徐娜,余涛,张丽丽,裴莹莹. 基于机器学习的遥感影像云检测研究进展[J]. 遥感技术与应用, 2023, 38(1): 129-142.
[15]	张妮娜,张珂,李运平,李曦,刘涛. 中国南方典型湿润山区植被类型的无人机多光谱遥感机器学习分类研究[J]. 遥感技术与应用, 2023, 38(1): 163-172.

Viewed

Full text

Abstract

Cited

Shared

Discussed