基于CenterNet的改进遥感旋转目标检测

doi:10.11873/j.issn.1004-0323.2023.5.1081

遥感技术与应用

2023, Vol. 38

Issue (5): 1081-1091 DOI: 10.11873/j.issn.1004-0323.2023.5.1081

数据与图像处理

基于CenterNet的改进遥感旋转目标检测

刘鑫¹(

),黄进¹(

),杨瑛玮¹,李剑波²

^1.西南交通大学电气工程学院，四川成都 611756
^2.西南交通大学计算机与人工智能学院，四川成都 611756

Improved Remote Sensing Rotating Object Detection based on CenterNet

Xin LIU¹(

),Jin HUANG¹(

),Yingwei YANG¹,Jianbo LI²

^1.School of Electrical Engineering，Southwest Jiaotong University，Chengdu，Sichuan 611756，China
^2.School of Computer and Artificial Intelligence，Southwest Jiaotong University，Chengdu，Sichuan 611756，China

全文: PDF(5362 KB) HTML

摘要：

遥感影像由于目标角度各异且普遍密集、小目标占比高、背景复杂等特点，检测精度低。针对水平框算法不再适用于遥感旋转目标，以及主流五参数法存在角度回归的周期性与边缘互换性问题，提出VR-CenterNet，采用向量表示法来进行旋转目标的检测与损失设计，规避角度回归的根本性问题，优化细长目标的偏移高敏问题；针对浅层特征融合的高冗余问题，引入自适应通道激活过滤杂质信息，为强化关键点信息，在主干输出部分引入改进后的全局上下文自适应层激活注意力块。首先在HRSC2016与UCAS-AOU数据集上进行不同算法的性能比较；再在两数据集上进行方法消融实验，以验证各改进方法的有效性。实验结果表明：在HRSC2016与UCAS-AOU数据集上分别取得的了88.48%与90.35%的精度。改进算法能够提升遥感旋转目标的检测精度，为遥感旋转目标的准确检测提供了另外一种解题思路。

关键词： 遥感影像; 目标检测; 自适应激活; 注意力机制; Anchor-free

Abstract:

Remote sensing images have low detection accuracy due to the characteristics of different object angles， generally arranged densely， high proportion of small objects and complex background. In view of the inapplicability of the horizontal detection algorithm for remote sensing rotating object detection， and the periodicity and edge interchangeability of angle in the mainstream five-parameter method， a VR-CenterNet is proposed， which used the vector representation to detect the rotating box and design the loss function to avoid the problem of angle regression， and to optimize the high displacement sensitive problem of slender objects. For the high redundancy problem of shallow feature fusion， self-adaptive channel activation is introduced to automatically filter impurity information. In order to strengthen the key point information， an improved global contextual self-adaptive layer activation attention block is introduced in the output of backbone. First， the performance of different algorithms is compared on HRSC2016 and UCAS-AOD data sets. Then， the module ablation experiment is conducted on the two data sets to verify the effectiveness of each improved method. Experimental results show that： 88.48% and 90.35% accuracy are obtained on HRSC2016 and UCAS-AOD data sets respectively. The improved algorithm can improve the detection accuracy of remote sensing rotating objects， and provide another problem-solving idea for the accurate detection of remote sensing rotating objects.

Key words: Remote sensing image Object detection Adaptive activation Attention mechanism Anchor-free

收稿日期: 2020-02-16 出版日期: 2023-11-07

ZTFLH:

TP75

基金资助: 国家自然科学基金项目(61733015);高铁联合基金(U1934204);四川省重点研发计划(2020YFQ0057);四川省自然资源科研项目(KYL202106-0099)

通讯作者: 黄进 E-mail: 1252054823@qq.com;396341096@qq.com

作者简介: 刘鑫（1997-），女，四川成都人，硕士研究生，主要从事深度学习在图像处理方面的应用研究。E?mail: 1252054823@qq.com

	服务
	把本文推荐给朋友
	加入引用管理器
	E-mail Alert
	RSS
	作者相关文章
	刘鑫
	黄进
	杨瑛玮
	李剑波

引用本文:

刘鑫,黄进,杨瑛玮,李剑波. 基于CenterNet的改进遥感旋转目标检测[J]. 遥感技术与应用, 2023, 38(5): 1081-1091.

Xin LIU,Jin HUANG,Yingwei YANG,Jianbo LI. Improved Remote Sensing Rotating Object Detection based on CenterNet. Remote Sensing Technology and Application, 2023, 38(5): 1081-1091.

链接本文:

http://www.rsta.ac.cn/CN/10.11873/j.issn.1004-0323.2023.5.1081 或 http://www.rsta.ac.cn/CN/Y2023/V38/I5/1081

图1 遥感目标检测示例图

图2 DLA结构图

图3 网络总体结构图

图4 β对激活的影响

图5 基础模块对比图（a）原始基础模块结构图（b）SAB结构图

图6 向量表示法（a）向量表示法原理图（b）边界特殊情况示例

表1 不同模型在HRSC2016数据测试集上精度评估结果

表2 不同模型在UCAS-AOD数据集上精度评估结果

表3 细长目标权重损失控制量在HRSC2016数据集的消融实验结果

图7 细长目标权重控制量的消融实验检测对比图

表4 VR-CenterNet算法各冗余优化模块在UCAS-AOD数据集上的消融实验结果

图8 消融实验样例

图9 冗余优化模块的消融实验主干输出特征图

图10 HRSC2016（上）与UCAS-AOD（中、下）数据集的检测结果图

1	GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation［C］∥ Proceedings of the IEEE conference on computer vision and pattern recognition， 2014： 580-587.
2	GIRSHICK R. Fast R-CNN［C］∥ Proceedings of the IEEE International Conference on Computer Vision， 2015： 1440-1448.
3	REN S， HE K， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks ［S］. Advances in Neural Information Processing Systems， 2015， 28.
4	Redmon J， Divvala S， Girshick R， et al. You only look once： Unified， real-time object detection［C］∥ Proceedings of the IEEE Conference On Computer Vision and Pattern Recognition. 2016： 779-788.
5	REDMON J， FARHADI A. YOLO9000： better， faster， stronger［C］∥ Proceedings of the IEEE Conference On Computer Vision and Pattern Recognition. 2017： 7263-7271.
6	REDMON J， FARHADI A. Yolov3： An incremental improvement［J］. arXiv preprint arXiv：， 2018.
7	HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition［C］∥ Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016： 770-778.
8	ZHANG H， WU C， ZHANG Z，et al.Resnest： Split-attention networks［C］∥ Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022： 2736-2746.
9	LAW H， DENG J. Cornernet： Detecting objects as paired keypoints［C］∥ Proceedings of the European Conference on Computer Vision （ECCV）. 2018： 734-750.
10	ZHOU X， ZHUO J， KRAHENBUHL P. Bottom-up object detection by grouping extreme and center points［C］∥ Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019： 850-859.
11	ZHOU X， WANG D， KRÄHENBÜHL P. Objects as points ［S］. arXiv preprint arXiv：， 2019.
12	YANG X， YAN J， FENG Z， et al. R3det： Refined single-stage detector with feature refinement for rotating object［C］∥ Proceedings of the AAAI Conference On Artificial Intelligence. 2021， 35（4）： 3163-3171.
13	YANG X， YANG J， YAN J， et al. Scrdet： Towards more robust detection for small，cluttered and rotated objects［C］∥ Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019： 8232-8241.
14	DING J， XUE N， LONG Y， et al. Learning roi transformer for oriented object detection in aerial images［C］∥ Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019： 2849-2858.
15	IANG Y， ZHU X， WANG X， et al. R2CNN： Rotational region CNN for orientation robust scene text detection ［S］. arXiv preprint arXiv：， 2017.
16	LIU Z， HU J， WENG L， et al. Rotated region based CNN for ship detection［C］∥ 2017 IEEE International Conference on Image Processing （ICIP）. IEEE， 2017： 900-904.
17	AZIMI S M，VIG E， BAHMANYAR R，et al. Towards multi-class object detection in unconstrained remote sensing imagery［C］∥ Computer Vision-ACCV 2018： 14th Asian Conference on Computer Vision，Perth，Australia， December 2-6， 2018 ， Revised Selected Papers， Part III. Cham： Springer International Publishing， 2019： 150-165.
18	YANG X， YAN J， LIAO W， et al. Scrdet++： Detecting small， cluttered and rotated objects via instance-level feature denoising and rotation loss smoothing［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2022， 45（2）： 2384-2399.
19	YANG X， YAN J. On the arbitrary-oriented object detection： Classification based approaches revisited［J］. International Journal of Computer Vision， 2022， 130（5）： 1340-1365.
20	YANG X， HOU L， ZHOU Y， et al. Dense label encoding for boundary discontinuity free rotation detection［C］∥ Proceedings of the IEEE/CVF Conference On Computer Vision and pattern recognition. 2021： 15819-15829.
21	LU J， LI T， MA J，et al.SAR：Single-stage anchor-free rotating object detection［J］. IEEE Access，2020，8：205902-205912.
22	HE X， MA S， HE L， et al. Learning rotated inscribed ellipse for oriented object detection in remote sensing images［J］. Remote Sensing， 2021， 13（18）： 3622.
23	SONG WENGLONG， TANG RUI， YANG KUN， et al. An annotation method of arbitrary-oriented rectangle b-box and analysis of its application in remote sensing object detection［J］.Journal of China Institute Water Resources and Hydropower Research，2021，19（1）：165172.宋文龙，唐锐，杨昆，等.一种倾斜矩形范围框标注方式及遥感目标检测应用分析［J］.中国水利水电科学研究院学报， 2021，19（1）：165-172.
24	LIN T Y， DOLLÁR P， GIRSHICK R， et al. Feature pyramid networks for object detection［C］∥ Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017： 2117-2125.
25	YANG X， SUN H， SUN X， et al. Position detection and direction prediction for arbitrary-oriented ships via multitask rotation region convolutional neural network［J］. IEEE Access， 2018， 6： 50839-50849.
26	WANG J， DING J， GUO H， et al. Mask OBB： A semantic attention-based mask oriented bounding box representation for multi-category object detection in aerial images［J］. Remote Sensing， 2019， 11（24）： 2930.
27	FU Y， WU F， ZHAO J. Context-aware and depthwise-based detection on orbit for remote sensing image［C］∥ 2018 24th International Conference on Pattern Recognition （ICPR）. IEEE， 2018： 1725-1730.
28	HAN K， WANG Y， TIAN Q， et al. Ghostnet： More features from cheap operations［C］∥ Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020： 1580-1589.
29	MA N， ZHANG X， LIU M， et al. Activate or not： Learning customized activation［C］∥ Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021： 8032-8042.
30	CAO Y， XU J， LIN S， et al. Gcnet： Non-local networks meet squeeze-excitation networks and beyond［C］∥ Proceedings of the IEEE/CVF International Conference on Computer Vision Workshops. 2019： 0-0.
31	LIN T Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection［C］∥ Proceedings of the IEEE International Conference on Computer Vision. 2017： 2980-2988.
32	CHEN Z， CHEN K， LIN W， et al. Piou loss： Towards accurate oriented object detection in complex environments［C］∥ Computer Vision-ECCV 2020： 16th European Conference， Glasgow， UK， August 23-28， 2020， Proceedings， Part V 16. Springer International Publishing， 2020： 195-211.
33	ZHU H， CHEN X， DAI W， et al. Orientation robust object detection in aerial images using deep convolutional neural network［C］∥ 2015 IEEE International Conference on Image Processing （ICIP）. IEEE， 2015： 3735-3739.
34	MING Q， MIAO L， ZHOU Z，et al.Optimization for arbitrary-oriented object detection via representation invariance loss［J］. IEEE Geoscience and Remote Sensing Letters，2021，19：1-5.
35	LIN Y， FENG P， GUAN J， et al. IENet： Interacting embranchment one stage anchor free detector for orientation aerial object detection ［S］. arXiv preprint arXiv：， 2019.
36	XIAO Z， QIAN L， SHAO W， et al. Axis learning for orientated objects detection in aerial images［J］. Remote Sensing， 2020， 12（6）： 908.

[1]	胡腾云,解鹏飞,温亚楠,慕号伟. 基于不同深度学习模型提取建筑轮廓的方法研究[J]. 遥感技术与应用, 2023, 38(4): 892-902.
[2]	徐丹,林文鹏,马帅. 基于机器学习的棚户区识别应用——以上海棚户区为例[J]. 遥感技术与应用, 2023, 38(4): 990-1002.
[3]	黄仲良,何敬,刘刚,李政. 面向GEE平台的遥感影像分析与应用研究进展[J]. 遥感技术与应用, 2023, 38(3): 527-534.
[4]	赵会芹,于博,陈方,王雷. 基于高分辨率卫星遥感影像滑坡提取方法研究现状[J]. 遥感技术与应用, 2023, 38(1): 108-115.
[5]	邴芳飞,金永涛,张文豪,徐娜,余涛,张丽丽,裴莹莹. 基于机器学习的遥感影像云检测研究进展[J]. 遥感技术与应用, 2023, 38(1): 129-142.
[6]	吕开云,侯昭阳,龚循强,杨硕. 一种基于ASR和PAPCNN的NSCT域遥感影像融合方法[J]. 遥感技术与应用, 2022, 37(4): 829-838.
[7]	史佳睿,申茜,彭红春,李利伟,姚月,汪明秀,王茹. 基于三种高分辨率影像样本迁移学习的城市水体提取研究[J]. 遥感技术与应用, 2022, 37(3): 731-738.
[8]	付涵,范湘涛,严珍珍,杜小平. 基于深度学习的遥感图像目标检测技术研究进展[J]. 遥感技术与应用, 2022, 37(2): 290-305.
[9]	王修成,张黎明. 一种基于同态公钥加密的遥感影像数字指纹方案[J]. 遥感技术与应用, 2022, 37(2): 532-538.
[10]	黄耀欢,熊标,杨海军,伍程斌,朱海涛. 入河排污口遥感排查进展评述[J]. 遥感技术与应用, 2022, 37(1): 24-33.
[11]	陈思翔,张云华,杨杰芳. 一种TDM-MIMO FMCW车载毫米波雷达目标检测方法[J]. 遥感技术与应用, 2021, 36(4): 803-809.
[12]	吴欢欢,国巧真,臧金龙,乔悦,朱丽,何云海. 基于Landsat 8与实测数据的水质参数反演研究[J]. 遥感技术与应用, 2021, 36(4): 898-907.
[13]	高子为,孙伟伟,程朋根,杨刚,孟祥超. 融合高分辨率遥感影像和POI数据的多特征潜在语义信息用于识别城市功能区[J]. 遥感技术与应用, 2021, 36(3): 618-626.
[14]	陈敏,潘佳威,李江杰,徐璐,刘加敏,韩健,陈奕云. 结合VGGNet与Mask R-CNN的高分辨率遥感影像建设用地检测[J]. 遥感技术与应用, 2021, 36(2): 256-264.
[15]	林娜,冯丽蓉,张小青. 基于优化Faster-RCNN的遥感影像飞机检测[J]. 遥感技术与应用, 2021, 36(2): 275-284.

Viewed

Full text

Abstract

Cited

Shared

Discussed