img

官方微信

遥感技术与应用, 2020, 35(3): 673-684 doi: 10.11873/j.issn.1004-0323.2020.3.0673

数据与图像处理

基于改进DenseNet网络的多源遥感影像露天开采区智能提取方法

张峰极,1, 吴艳兰,1,2, 姚雪东1, 梁泽毓1

1.安徽大学资源与环境工程学院,安徽 合肥 230601

2.安徽省地理信息智能技术工程研究中心,安徽 合肥 230000

Opencast Mining Area Intelligent Extraction Method for Multi-source Remote Sensing Image based on Improved DenseNet

Zhang Fengji,1, Wu Yanlan,1,2, Yao Xuedong1, Liang Zeyu1

1.School of Resources and Environmental Engineering, Anhui University, Hefei 230601, China

2.Anhui Geographic Information Intelligent Technology Engineering Research Center, Hefei 230000, China

通讯作者: 吴艳兰(1973-),女,贵州凯里人,博士,教授,硕士生导师,主要从事遥感大数据智能技术研究。E⁃mail:wuyanlan@ahu.edu.cn

收稿日期: 2019-01-18   修回日期: 2020-05-16   网络出版日期: 2020-07-03

基金资助: 国家自然科学基金项目.  41271445
安徽省自然科学基金项目.  1308085MD52

Received: 2019-01-18   Revised: 2020-05-16   Online: 2020-07-03

作者简介 About authors

张峰极(1993-),男,安徽合肥人,硕士研究生,主要从事深度学习遥感影像信息提取方面的研究E⁃mail:546598151@qq.com , E-mail:546598151@qq.com

摘要

利用遥感技术对露天开采区进行信息提取和监测已成为解决矿山自然环境问题的重要手段。通过改进带密集连接的全卷积神经网络,构建露天开采区样本库,并训练了针对多源遥感数据的露天开采区提取模型,最终实现对铜陵地区露天开采区的全自动提取。与传统分类方法和深度学习方法相比,该方法在基于像元和基于对象的评价方面具有较好的精度,其中像元精度PA:0.977,交并比IoU:0.721,综合评价指标F1:0.838,Kappa系数:0.825,召回率:0.913,漏警率:0.087,虚警率:0.533。同时,该模型对于匀色较差的GoogleEarth影像也有较好的提取效果,表现出较强的泛化性和适用性,在多源遥感影像露天开采区提取方面具有较强的应用价值。

关键词: 深度学习 ; 全卷积神经网络 ; DenseNet ; 露天开采区提取 ; 全自动化

Abstract

The use of remote sensing technology for information extraction and monitoring of open-pit mining areas has become an important means to solve the natural environment problems of mines. Firstly, this paper improves the fully convolutional neural network with dense block. Then, the opencast mining area sample library is constructed, and the open-pit mining area extraction model for multi-source remote sensing data is trained. Finally, the automatic extraction of the opencast mining area is realized in Tongling. The results show that compared with traditional classification methods and deep learning methods, the proposed method has better accuracy in pixel-based and object-based evaluation. Specifically, the Pixel Accuracy (PA), Intersection over Union (IoU), F1, Kappa Coefficient, Recall, Missing Alarm and False Alarm is 0.977, 0.721, 0.838, 0.825, 0.913, 0.087 and 0.533, respectively. The model also has a great extraction effect for Google-Earth images with poor homogeneity, showing strong generalization and applicability. Therefore, the proposed model of this paper has wide application value in the extraction of opencast mining area by using multi-source remote sensing images.

Keywords: Deep learning ; Fully-Convolutional Neural Network ; DenseNet ; Opencast mining extraction ; Fully automation

PDF (6688KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

张峰极, 吴艳兰, 姚雪东, 梁泽毓. 基于改进DenseNet网络的多源遥感影像露天开采区智能提取方法. 遥感技术与应用[J], 2020, 35(3): 673-684 doi:10.11873/j.issn.1004-0323.2020.3.0673

Zhang Fengji, Wu Yanlan, Yao Xuedong, Liang Zeyu. Opencast Mining Area Intelligent Extraction Method for Multi-source Remote Sensing Image based on Improved DenseNet. Remote Sensing Technology and Application[J], 2020, 35(3): 673-684 doi:10.11873/j.issn.1004-0323.2020.3.0673

1 引 言

矿产资源是我国社会经济发展的重要物质基础,如何做到快速、准确、实时的监测矿山开发成为解决矿山自然环境问题的重中之重。由于遥感具有范围广、信息量大、获取信息快、效益高等技术优势,已经成为区域露天开采区信息提取和监测的重要手段。

目前,现有遥感影像露天开采区提取方法主要分为人工方法和传统遥感自动提取方法。人工方法主要采用遥感目视解译对露天开采区进行信息提取和监测[1,2,3]。目视解译方法能够精确地提取露天开采区边界,但需要解译人员具有一定的遥感判读经验,主观性较强,且工作效率低。传统遥感自动分类的露天开采区提取方法主要分为基于像元分类的提取方法和面向对象分类的提取方法。基于像元分类的露天开采区提取的常用方法包括最大似然法[4]、决策树分类法[5]、支持向量机分类法[6]以及神经网络分类法[7],这些方法因主要利用遥感影像不同波段所携带的光谱信息,没有考虑对象的空间、纹理等信息[8],无法从整体上解译影像的特征,导致这些方法对于露天开采区的提取效果并不理想,并会产生信息冗余和大量的“椒盐”现象[9,10]。针对这些问题,许多研究者提出了运用面向对象的分类方法对露天开采区进行提取[11,12],该分类方法综合利用遥感影像的光谱特征和形状特征,可以避免常规基于像元分类方法导致的“椒盐”现象,获得更高的精度。但是面向对象的方法需要人为确定分类规则,对于边界比较模糊的露天开采区,提取结果很大程度上取决于分类规则的准确性,受人的主观因素影响较大[13],人机交互工作量大;另一方面,该方法应用于不同传感器、不同分辨率的多源遥感影像往往需要设定不同的分类规则,很难获得不同类型的露天开采区特征,这使得面向对象的分类方法通用性不强,泛化性较差,很难适应于不同来源的遥感影像露天开采区提取[14]

近年来,将人工智能深度学习应用于遥感图像信息提取成为新的技术趋势[15,16,17],深度学习提供了一种从训练集中自动学习有效特征的方法[18]。它能够从非常大的原始图像数据集中进行无监督的特征学习[19]。王雪等[20]利用带密集连接的全卷积神经网络,实现了对遥感影像水体提取,并与传统的基于影像光谱特征的阈值法和基于图论的GrabCut算法进行比较,证明全卷积神经网络水体提取模型具有更好的稳健性和泛化性。斐亮等[21]为实现对资源三号卫星云区的检测和提取,改进了vgg16网络结构,结果表明,改进后的网络结构在云区检测精度和速度上均优于传统云区检测方法。Xu等[22]提出了一种遥感城市建筑物提取Res-U-Net网络模型,在数据预处理阶段使用边缘增强,并引进导向滤波,优化了分类结果并去除了“椒盐”类噪声。Fu等[23]在全卷积神经网络基础上,引入了Atrous卷积和跳层结构,并使用条件随机场(CRF)细化输出类映射,该模型对于多分辨率影像(高分二号和IKONOS真彩色影像)的分类具有很强的适用性和准确性。

综上所述,现有露天开采区传统遥感自动提取方法存在精度低、泛化性差、效率和自动化程度低等问题,深度学习是当前促进遥感自动提取方法走向实用化的有效途径,但目前遥感影像露天开采区深度学习提取方法研究不多。

针对多源遥感影像特点,利用改进的密集连接(DenseBlock)全卷积神经网络,加强对不同类型遥感影像露天开采区的特征提取,并通过样本制作和模型训练,实现了一种适用于多源遥感影像的露天开采区边界智能提取模型,并形成一套遥感影像分割、影像拼接、露天开采区边界提取、边界动态变化分析的全自动化流程。

2 模型结构

2.1 全卷积神经网络

全卷积神经网络是深度学习模型在二维特征提取上的核心,它采用卷积层替代全连接层,通过反卷积对最后一个卷积层特征图进行上采样,恢复到与输入图像相同的大小,从而可以对每个像素产生概率预测,最后在反卷积特征图上比较每个类别的概率,从而逐像素进行分类[24]。全卷积神经网络有效利用图像底层特征,加强了图像的深度特征提取,从而提高了网络效率和识别精度,基于全卷积神经网络的遥感图像信息提取模型已经成为当前遥感图像深度学习信息提取的主流方法[25,26,27,28,29,30,31]

2.2 密集连接块

为了有效保持前馈性质、最大程度地传递全卷积神经网络中两个层之间的信息流,Simon等[32]提出了密集连接块(DenseBlock)的概念,它不是在特征传递到层之前通过求和来组合特征,而是通过密度连接的方式将每个前面层的自身特征叠加映射传递给所有后续层,以实现将所有前面层直接连接、获取组合特征。这种密集的连接模式就称为密集连接块,其公式表达为:

Xl=H1X0,X1,,Xl-1

其中:Xll层的输出特征图,[X0,X1,,Xl-1]指l层的所有前面层的特征映射的拼接。由于池化层将改变特征图的空间分辨率,密度连接不能在不同尺度的特征图之间进行传递,因此,为了有效地保证信息传递,将网络划分为不同的密度连接块。其中,每个密集连接块中的特征图大小相等、尺度大小相同,每个密集连接块之间通过转换层(TransitionLayer)连接,主要是实现卷积和池化作用。

2.3 改进的带密集连接全卷积神经网络

将密集连接的思想引入全卷积神经网络,就称为密集连接全神经网络(DenseNet),它缓解了梯度消失的问题,并加强了特征传播、大大减少了参数的数量,由于它具有强大的特征抽取和复用能力,DenseNet网络被认为非常适用于遥感影像的信息提取[33,34]

DenseNet网络主要由编码部分和解码部分组成。其中,编码部分主要是利用密集连接块思想从输入图像中提取多个级别的组合特征。编码器由卷积层、非线性层和下采样操作组成。解码器放大由编码器提取的特征图,以产生具有与输入图像相同的分辨率的最终分割图。解码器由卷积层,非线性层和上采样操作组成。解码器通过反卷积层等网络层逐步恢复目标的细节和相应的空间维度。

本文对DenseNet网络的主要改进是:在编码器和解码器中包括10个密集连接块和48个卷积层,如图1所示。在进入第一个密集连接块之前,用一个步长为2,卷积核大小为7×7的卷积层来生成128×128×16的初始特征图。在编码器中,所使用的转换层(Transition Layer)包括一个1×1的卷积层,1个防止过拟合的drop_out层和1个2×2的均值池化层。在解码器中,使用3×3的反卷积层(transposed_convolutions)进行上采样。在网络的末端,利用SoftMax分类器的卷积层来输出最终预测。最终输出256×256×3的特征图。

图1

图1   改进后的DenseNet网络

Fig.1   Improved DenseNet


3 数据与实验

3.1 数据源及预处理

为了使露天开采区边界提取模型对于多源遥感影像具有更好的泛化能力,本文选用不同传感器的铜陵地区卫星遥感影像作为数据源制作样本,主要类型包括国产高分一号、国产高分二号卫星、Google Earth卫星遥感影像数据(参数见表1)。

表1   不同传感器卫星遥感影像参数

Table 1  Different sensor satellite remote sensing image parameters

卫星遥感影像数据分辨率/m传感器时间/年数量/景用途
全色多光谱
高分一号28WFV/PMS2013~201412样本制作
高分二号14PMS20156样本制作
1模型测试
GoogleEarth影像/2CCD2014~201710样本制作
2015、20172模型测试

新窗口打开| 下载CSV


具体选用2015年7月29日国产高分二号遥感影像来测试本文方法的性能,测试区域位于安徽省铜陵市辖区内,覆盖在30°47′~30°52′ N和117°46′~117°52′ E范围内,面积约90 km2,像元数量为10 000×10 000。

本文对遥感影像的预处理主要利用ArcMap 10.2软件平台、ENVI 5.3软件平台开展。数据空间参考系选用1984西安坐标系和通用墨卡托投影。为了提高高分一号和高分二号的影像分辨率,采用NNDiffuse Pan Sharpening数据融合算法,将多光谱影像和全色影像进行融合,融合后高分一号影像分辨率为2 m,高分二号影像分辨率为1 m。遥感数据融合可以使多光谱和全色优势互补,提高影像空间分辨率,使得影像更加清晰、信息细节更加丰富,更好地显示露天开采区的纹理信息,提高信息提取的精度。

3.2 样本库构建

选用了不同年限、不同季节的高分一号影像12景,高分二号影像6景和Google Earth影像10景。考虑到开采区边界的模糊性,将样本数据分为露天开采区、疑似露天开采区和背景3类,疑似开采区样本可以减少类似地物对露天开采区提取结果的影响。由于遥感影像数据量大,难以直接将整幅遥感影像输入到网络中进行训练,因此,需要对遥感影像进行多尺度分割。此外,多尺度分割还有利于增加训练样本的数量和多样性,以防止模型的过拟合问题。针对样本制作的需要,本文利用Python语言,设计并开发了一套自动化的遥感影像训练样本库制作工具。按照文献[35]中“露天采掘场”遥感目视解译要求采集样本(即遥感影像和与之匹配的露天开采区矢量数据)作为数据输入,该工具可全自动化地将目视解译样本转换为模型训练所需的样本格式(即栅格标签样本格式,如图2)。

图2

图2   露天开采区样本库及栅格标签样本格式

Fig.2   Opencast mining area sample bank and grid label sample format


利用该样本工具,本文将28景遥感影像及其标签数据切分成256×256、320×320、448×448共3种不同的尺度构建了模型训练样本。为验证模型的有效性,将所有样本数据按3∶1的比例随机分为训练集和测试集两部分,经过样本检查并剔除少数无效样本,最终训练样本为15 577张,测试样本有4 808张,比例接近3∶1。

3.3 模型训练

由于本文模型网络入口尺寸固定(256×256),因此在样本进入模型训练之前,需要将320×320和448×448两种尺寸的样本都Resize成256×256大小,再进入网络训练。本文选用在Tensorflow框架下进行网络模型的训练。使用Adam优化器训练模型,初始学习率learning rate为0.001,之后根据训练轮数epoch对学习率进行自动调整,以兼顾模型的快速和精细收敛。

将每一轮的训练批次设置为3 000次,batch size设置为10(即每迭代一次进模型10张图片),正则化系数为10-3,轮数为200轮。训练所用的计算机配置了NVIDIA GTX 1070TI显卡和四核Inter Core i7-7700K CPU,开发平台选用JetBrains PyCharm 2016,开发语言为Python。

模型训练过程中的精度主要包括训练精度和测试精度,训练精度反映了模型对训练样本的特征拟合程度,测试精度反映了模型的泛化能力。损失主要评估模型的预测值与真实值的偏差程度,损失越小,表示模型的鲁棒性越好。本文采用soft-max loss损失函数,其计算公式如下:

E=-1Nn=1Nlg (pi,ln)

其中:N为输出神经元个数,l为对应的目标输出,即类别标签;pi为第i个神经元经soft-max loss层后输出的概率。

本文模型的训练测试精度和损失变化曲线如图3所示,在模型训练20轮之前,训练和测试的精度迅速上升,损失快速下降,在20轮时,学习率缩小10倍,精度和损失产生了显著变化,在20轮到150轮之间,训练和测试精度上升明显,损失逐渐减少并收敛,在150轮之后,精度和损失变化缓慢,因此在192轮时终止了训练。在训练结束时,训练精度为0.974,训练损失为0.117,测试精度为0.919,测试损失为0.321,说明本文模型在训练和测试阶段都表现良好。

图3

图3   训练测试精度和损失变化曲线图

Fig.3   Training test accuracy and loss change graph


3.4 精度评价方法

对于深度学习模型影像信息提取精度的评价,目前主要基于像元的评价方法[23,36]和基于对象的评价[37,38,39]方法两个方面进行。基于像元的评价方法是通过评估提取目标的像素数量,反映提取结果在几何精度和形状相似性方面的吻合程度[40],但可能存在因提取结果与地表真值之间像元未严格匹配而产生偏差的问题,严重影响精度评价的准确性[41]。基于对象的评价方法避免了像元偏差误差,量化了提取目标的数量,评价结果可以与提取目标重要的参数相互关联,从而可以分析目标错误提取的潜在原因[42],但其受人为主观影响较大,使得漏警率和虚警率的准确性较差,同时也无法反映提取结果的整体性、几何精度和形状相似性。

由于遥感影像露天开采区边界较模糊,内部构成比较复杂,使用单一精度评价方法难以准确评价模型精度,因此需要综合考虑现有评价方法特点。现有的基于对象的评价方法通常适用于图像二分类识别,例如用于计算召回率(Recall)的参数,TP表示被正确识别的正样本个数,FN是被正确识别的负样本个数,将此直接应用于影像目标提取,由于无法统计背景个数,即无法得到被正确识别的负样本个数FN。因此,需要将召回率(Recall)重新定义为正确提取个数(TP)与真实目标个数(TP+FN)的比值。本文采用的精度评价指标及其含义详见表2。(注:本文只将提取结果与地表真值的重叠面积达到50%以上的目标统计为正确提取数目[39,43])。

表2   本文采用的精度评价指标

Table 2  Accuracy evaluation index used in this paper

评价指标公式意义参数说明

①像元精度 (Pixel Accuracy)PA=i=0kpiji=0kj=0kpij值越大表示预测与真实值的像元匹配程度越高pii:正确提取的像元数量;pij和pji:错误提取的像元数量
②交并比(IoU)IoU=i=0kpijj=0kpij+j=0kpji-pii评估模型性能的标准指标
③综合评价指标(F1)

F1=2*precision*recallprecision+recall

precision=tptp+fp,recall=tptp+fn

衡量二分类模型精度的一种指标,它的最大值是1,最小值是0

tp:正确提取的像元个数;fn:漏提的像元个数

fp:错误提取的像元个数

④Kappa系数Kappa=p0-pe1-pe表示提取结果和真实值之间的吻合程度po和pc:分别代表每一类正确和错误提取的样本数量之和除以总样本数量
基于对象的评价方式⑤召回率(Recall)Recall=TPTP+FN正确提取个数(TP)与真实目标个数(TP+FN)的比值

TP:正确提取的个数;FN:漏提的个数;

FP:错误提取的个数

⑥漏警率 (MissingAlarm)MissingAlarm=FNTP+FN漏提出来的目标个数(TP)与真实目标个数(TP+FN)的比值
⑦虚警率 (FalseAlarm)FalseAlarm=FPTP+FP错误提取的个数(FP)与提取目标总个数(TP+FP)的比值

新窗口打开| 下载CSV


4 结果与分析

4.1 实验结果

利用改进的带密集连接的全卷积神经网络露天开采区提取模型,实现了露天开采区的全自动提取(结果仅输出关注的露天开采区,省略掉疑似露天开采区和背景)。为开展与传统方法的对比,本文实现了最大似然法、支持向量机、决策树分类法遥感影像露天开采区提取,同时为了验证本文模型相比于其他深度学习模型在露天开采区提取上的优势,分别与Deeplab、U-Net和SegNet 3种常见的网络进行了对比,这些方法都是在相同的数据集、相同的环境下进行训练和测试。为了使提取结果整体性更强,对分类过程中产生的面积很小的斑块进行剔除和重新分类,对7种分类结果都进行了后处理,主要包括Majority分析、聚类分析和过滤分析。

图4所示,整体上最大似然法和支持向量机的提取结果完整性更好,但主要受到其他反射率较高的地物如裸地、建筑物、道路等影响较大,容易产生误分。决策树提取结果受背景干扰较少,但对于露天开采区比较集中和明显的区域,该方法提取的结果破碎化严重、完整性较差,精度较低。相对于这3种方法,本文方法的提取结果在破碎度、边界精度、完整性方面都具有更好的性能。

图4

图4   不同方法提取结果比较(铜陵地区露天开采区)

Fig.4   Comparison of extraction results of different methods (opencast mining area in Tongling)


图5所示,DeepLab对于露天开采区的提取并不理想,对于面积较大的露天开采区缺失严重。相比于DeepLab,U-Net的表现要好很多,但U-Net存在很严重的误分问题,不能很好地区分道路和水体。对于本文数据集,SegNet也展现出了很好的表现,与本文方法相比,SegNet受到水体和建筑物的影响较小,误分更少,但对于面积较大的露天开采区,部分区域没有本文方法完整,同时SegNet不能很好地提取一些面积较小的露天开采区,存在一定数量的漏检。

图5

图5   不同深度学习模型提取结果比较(铜陵地区露天开采区)

Fig.5   Comparison of extraction results of different deep learning model(opencast mining area in Tongling)


4.2 精度及效率分析

利用前文描述的精度评价方法,对本文方法、3种传统提取方法以及其他深度学习模型的提取结果做了量化评价,其中基于像元的精度评价结果如表3,基于对象的精度评价结果如表4所示。

表3   基于像元的精度评价

Table 3  Pixel-based accuracy evaluation result

像元精度(PA)交并比(IoU)综合评价指标(F1)Kappa系数
本文方法0.9770.7210.8380.825
最大似然法0.9450.5410.7020.673
支持向量机0.9620.5560.7150.695
决策树分类0.9540.3670.5370.518
DeepLab0.9670.5680.7250.708
U-Net0.9630.6150.7610.742
SegNet0.9790.7190.8370.826

新窗口打开| 下载CSV


表4   基于对象的精度评价

Table 4  Object-based accuracy evaluation result

真实个数

(TP+FN)

提取个数

(TP+FP)

正确数(TP)漏警数(FN)虚警数(FP)

召回率

(Recall)

漏警率 (MissingAlarm)虚警率 (FalseAlarm)
本文方法2345212240.9130.0870.533
最大似然法2379203590.8700.1300.747
支持向量机2345176280.7390.2610.622
决策树分类2316617100.2610.7390.625
DeepLab2335176180.7390.2610.514
U-Net2364203440.8700.1300.687
SegNet232618580.7830.2170.308

新窗口打开| 下载CSV


表3可得,在基于像元的评价方面,对于3种传统提取方法,支持向量机的结果最好,像元精度(PA)为0.962,交并比(IoU)为0.556,综合评价指标(F1)为0.715,Kappa系数为0.695,最大似然法的像元精度(PA)最低,只有0.945 4,决策树分类的交并比(IoU)、综合评价指标(F1)、Kappa系数最差,分别为0.367、0.537和0.518。而深度学习的提取方法中,U-Net的像元精度(PA)最低,为0.963,DeepLab的交并比(IoU)、综合评价指标(F1)、Kappa系数是最差的,分别为0.568、0.725和0.708,但深度学习方法中精度指标最低的值都比传统方法最高的值高,说明相比于传统方法,深度学习对于露天开采区的提取更具优势。本文方法在交并比(IoU)和综合评价指标(F1)两个精度指标方面最高,分别为0.721和0.838,SegNet的像元精度(PA) 为0.979、Kappa系数为0.826,分别比本文方法高出0.002和0.000 4,略为优势。

表4可得,在基于对象的评价方面,决策树分类结果召回率和漏警率最差,分别只有0.261和0.739,说明该方法不能很好地提取露天开采区,最大似然法的虚警率最高,说明最大似然法的错误提取很多。在4种深度学习提取方法中,本文方法的召回率(Recall)和漏警率(MissingAlarm)最好,分别为0.913和0.087,在虚警率(FalseAlarm)方面,SegNet表现更好,为0.308,比本文方法低了0.225。

综上所述,对于遥感影像露天开采区的提取,深度学习的提取方法在精度和效果上更优于传统的提取方法,具体而言,SegNet的像元精度(PA) 、Kappa系数和虚警率(FalseAlarm)的值最好,本文方法在交并比(IoU)、综合评价指标(F1)、召回率(Recall)和漏警率(MissingAlarm)上更优,说明本文方法和SegNet对于露天开采区都具有较好的效果,SegNet的误检更少,但是相比于SegNet,本文方法漏检较少,提取的完整度更高,所以本文方法更适用于遥感影像露天开采区的提取。

此外,本文还从模型的效率和自动化程度方面进行了对比和评价,对于空间分辨率为1m的高分二号遥感影像,模型运行效率良好,详细评价结果如表5所示。

表5   效率和自动化对比

Table 5  Efficiency and automation comparison

本文方法最大似然法支持向量机决策树分类
效率3 min10 min超过2 h超过2 h
自动化程度自动化程度高,不需要人工干预需要人工选取样本需要人工选取样本需要人工建树,确定分类规则

新窗口打开| 下载CSV


表5可以看出,与传统的3种方法相比,本文提出的全卷积神经网络提取露天开采区的方法具有更高的效率,对于未知的影像,只需调用参数模型即可完成对露天开采区的提取,实现了全自动化提取。因此,本文在训练模型的基础上,结合JetBrains PyCharm 2016开发平台,运用Python中arcpy、GDAL、PyQt5等功能库,完成露天开采区智能检测一体化工具的制作,构建了包括遥感影像加载、露天开采区自动边界提取、露天开采区边界自动提取、多时序露天开采区变化分析等于一体的自动化平台(图12)。

综上所述,传统的提取方法只考虑到遥感影像地物的光谱信息,没有考虑到对象的空间关系和纹理特征,由于露天开采区边界比较模糊,内部构成较复杂,难以准确确定光谱分类规则,导致传统方法不能很好地提取露天开采区,具有较低的精度。此外,传统方法在露天开采区提取过程中均需要人工选择样本,效率低,难以实现全自动化。本文通过改进带密集连接的全卷积神经,提升了模型的特征提取能力,通过对大量露天开采区影像样本特征的不断深度抽取,使得模型学习到较为丰富和完善的露天开采区特征,对更细节更复杂的露天开采区具有更好的提取效果,同时,该方法实现了对露天开采区的全自动提取,不需要重新选择样本,效率更高。

4.3 模型对于GoogleEarth影像的适用性

GoogleEarth影像作为一种最易于获取的高分辨遥感影像,具有下载方便、大众使用便捷的特点,也是生态环境保护、地质调查等工作经常使用的一类补充数据源。在增加GoogleEarth影像露天开采区样本的基础上,实现了模型对于铜陵地区GoogleEarth影像的迁移学习,该模型表现如图6所示。整体上,该模型能有效提取GoogleEarth影像的露天开采区边界,特别地,对于未匀色的区域(图6区域A)也能取得较好的提取结果。

图6

图6   GoogleEarth遥感影像露天开采区提取结果

Fig.6   GoogleEarth remote sensing image extraction results in opencast mining area


4.4 存在问题

整体上,本文方法在精度、泛化性、效率和自动化程度上表现良好;但是还存在受到水体和建筑物影响的问题(图7),这可能是由于遥感影像上存在带波纹水体,它们具有较高的反射率和光谱值,使得水体的颜色和纹理与露天开采区相似;对于建筑物的干扰,主要是因为部分露天开采区样本中本身就包括水体、建筑物等地物,从而造成了模型的错误识别。对此,将在后续工作中通过优化训练样本和模型,来达到更好的提取结果。

图7

图7   导致露天开采区提取产生误检的可能因素分析

Fig.7   Analysis of possible factors leading to mis-extraction in opencast mining area


5 结 语

本文针对传统方法对遥感影像露天开采区提取精度低、效率差、自动化程度低等问题,利用深度学习全卷积神经网络,提出了一种基于改进DenseNet网络的多源遥感影像露天开采区智能提取方法,主要工作如下:

(1)设计了露天开采区深度学习样本自动化批量制作流程,并构建一套包含高分一号、高分二号和GoogleEarth影像的多源、多尺度遥感露天开采区样本库。

(2)利用改进的带密集连接全卷积神经网络,构建和训练了适应多源遥感影像的露天开采区提取模型,实现对露天开采区的全自动提取,加强了对不同数据源露天开采区特征的抽取。实验证明,模型在精度、泛化性、自动化和效率方面皆优于传统方法,与其他深度学习模型相比,该方法比DeepLab、U-Net和SegNet更适用于露天开采区的提取。

(3)由于露天开采区影像特征复杂,该方法还存在一些不足,例如受水体波纹的干扰较大,对于具有相似颜色、纹理的工厂,也会有一定程度的误分。后期将不断增加样本的数量和多样性,通过在实际应用中不断进行模型的增量学习来进一步提高模型精度。

参考文献

Xue Weining.

Monitoring and Application of Remote Sensing Technology in Mine Environmental Improvement and Restoration Project in Taishan Region

[J]. Shandong Land and Resources, 2019,35(10):59-63.

[本文引用: 1]

薛卫宁.

遥感技术在泰山区域矿山环境治理修复工程的监测应用

[J]. 山东国土资源, 2019,35(10):59-63.

[本文引用: 1]

Wang Jie, Yin Yaqiu, Yu Hang, et al.

Remote Sensing Monitoring of Mine Geological Environment in Zhejiang Province based on RS and GIS

[J]. Remote Sensing for Land & Resources, 2020,32(1):232-236.

[本文引用: 1]

汪洁, 殷亚秋, 于航,.

基于RS和GIS的浙江省矿山地质环境遥感监测

[J]. 国土资源遥感, 2020,32(1):232-236.

[本文引用: 1]

Xiang Jie, Chen JianPing, Li Shi, et al.

Research on Application of Unmanned Aerial Vehicle Technology to Dynamic Monitoring of Reserves in the Shouyun Iron Mine, Beijing

[J]. Remote Sensing for Land and Resources, 2018, 30(3) : 224-229.

[本文引用: 1]

向杰,陈建平,李诗,.

无人机遥感技术在北京首云铁矿储量动态监测中的应用

[J].国土资源遥感,2018,30(3): 224-229.

[本文引用: 1]

Hu Yihong.

Research of Remote Sensing Image in Rare Earth Mining by Satellite Remote Sensing Image

[J]. Geology of Fujian, 2018, 37(1): 44-50.

[本文引用: 1]

胡一鸿.

卫星遥感影像在稀土矿山动态监测研究

[J].福建地质,2018,37(1):44-50.

[本文引用: 1]

Yu Hairuo, Yan Qin, Dong Chun, et al.

Extraction of Features based on The Decision Tree Classification and Analysis of Pollution in Datun Count

[J]. Geomatics and Spatial Information Technology, 2016, 39(4): 67-69, 72.

[本文引用: 1]

于海若,燕琴,董春,.

基于决策树分类的大屯矿区地物信息提取及矿区污染分析

[J].测绘与空间地理信息,2016,39(4):67-69, 72.

[本文引用: 1]

Wang Lina, Chen Lu.

Application Research of Support Vector Machine (SVM) Combined with Object-oriented Method in Information Extraction of Open-pit Mining Areas

[C]∥ Academic Exchange Meeting of Surveying and Mapping Society of Six Provinces and One City in East China and Cross-Strait Surveying and Mapping Technology Exchange and Symposium, 2017:208-213.

[本文引用: 1]

王莉娜,程璐.

支持向量机(SVM)结合面向对象法在露天矿区信息提取中的应用研究

[C]//华东六省一市测绘学会学术交流会暨海峡两岸测绘技术交流与学术研讨会, 2017:208-213.

[本文引用: 1]

Li Shiping, Wu Wenbo.

Artificial Neural Network and Its Application in Remote Sensing Image Processing

[J]. Mine Surveying, 2007(3) : 28-30.

[本文引用: 1]

李世平,武文波.

人工神经网络及其在遥感图像处理中的应用

[J].矿山测量,2007(3):28-30.

[本文引用: 1]

Xie Jing, Wang Zongming, Mao Dehua, et al

. Remote Sensing Classification of Wetlands Using Object-oriented Method and Multi-season HJ-1 Images: A Case Study in The Sanjiang Plain North of The Wandashan Mountain

[J]. Wetland Science, 2012, 10(4) : 429-438.

[本文引用: 1]

谢静,王宗明,毛德华,.

基于面向对象方法和多时相HJ-1影像的湿地遥感分类——以完达山以北三江平原为例

[J].湿地科学,2012,10(4):429-438.

[本文引用: 1]

Chen G, Hay G J, Carvalho L M T, et al.

Object-based Change Detection

[J]. International Journal of Remote Sensing, 2012, 33(14) : 4434-4457.

[本文引用: 1]

Desclée B, Bogaert P, Defourny P.

Forest Change Detection by Statistical Object-based Method

[J]. Remote Sensing of Environment,2006,102(1-2):1-11. doi:10.1016/j.rse. 2006. 01.013.

[本文引用: 1]

Zu Qi, Yuan Xiping, Mo Yuanfu, et al.

Surface Features' Information Extraction from SPOT Images with Object-oriented Classification Method

[J]. Carsologica Sinica, 2011, 30(2) : 227-232.

[本文引用: 1]

祖琪,袁希平,莫源富,.

基于面向对象分类方法在SPOT影像中的地物信息提取

[J].中国岩溶,2011,30(2):227-232.

[本文引用: 1]

Dai Jingjing, Wu Ya'nan, Wang Denghong, et al.

Object-oriented Classification for The Extraction of Remote Sensing Information in Rare Earth Mining Areas

[J]. Acta Geoscientica Sinica, 2018,39(1):111-118.

[本文引用: 1]

代晶晶, 吴亚楠, 王登红,.

基于面向对象分类的稀土开采区遥感信息提取方法研究

[J]. 地球学报, 2018,39(1):111-118.

[本文引用: 1]

Huang B, Zhao B, Song Y.

Urban Land-Use Mapping Using a Deep Convolutional Neural Network with High Spatial Resolution Multispectral Remote Sensing Imagery

[J]. Remote Sensing of Environment,2018,214:73-86.doi:https:

URL     [本文引用: 1]

Zhang C, Sargent I, Pan X, et al.

An Object-based Convolutional Neural Network (OCNN) for Urban Land Use Classification

[J]. Remote Sensing of Environment, 2018,216: 57-70.doi:10.1016/j.rse.2018.06.034.

[本文引用: 1]

Xu G, Zhu X,Tapper N.

Using Convolutional Neural Networks Incorporating Hierarchical Active Learning for Target-searching in Large-scale Remote Sensing Images

[J]. International Journal of Remote Sensing,2020, 41(11): 4057-4079. doi:10.1080/01431161.2020.1714774.

[本文引用: 1]

Mehra A, Jain N, Srivastava H S.

A Novel Approach to Use Semantic Segmentation based Deep Learning Networks to Classify Multi-Temporal SAR Data

[C]∥ Geocarto International, 2020:1-16. doi:10.1080/10106049.2019.1704072.

[本文引用: 1]

Wang Y, Li H, Jia P, et al.

Multi-Scale DenseNets-based Aircraft Detection from Remote Sensing Images

[J]. Sensors2019, 19, 5270. doi:10.3390/s19235270.

[本文引用: 1]

Zhang L, Zhang L, Du B.

Deep Learning for Remote Sensing Data: A Technical Tutorial on the State of the Art

[J]. IEEE Geoscience and Remote Sensing Magazine, 2016, 4: 22-40. doi:10.1109/MGRS.2016.2540798.

[本文引用: 1]

Chen X, Xiang S, Liu C, et al.

Vehicle Detection in Satellite Images by Hybrid Deep Convolutional Neural Networks

[J]. IEEE Geoscience and Remote Sensing Letters2014, 11: 1797-1801. doi:10.1109/LGRS.2014.2309695.

[本文引用: 1]

Wang Xue, Lichun Sui, Zhong Mianqing, et al.

Fully Convolution Neural Networks for Water Extraction of Remote Sensing Images

[J]. Bulletin of Surveying and Mapping, 2018(6): 41-45.

王雪

,隋立春,钟棉卿,.

全卷积神经网络用于遥感影像水体提取

[J].测绘通报,2018(6):41-45.

[本文引用: 1]

Pei Liang, Liu Yang, Tan Hai, et al.

Cloud Detection based on Improved Fully Convolutional Networks of ZY-3 Satellite Remote Sensing Images

[J]. Laser and Optoelectronics Progress2019568):052801.doi:10.3788/LOP56.052801.

[本文引用: 1]

[裴亮,刘阳,谭海,.

基于改进的全卷积神经网络的资源三号遥感影像云检测

[J].激光与光电子学进展,2019568):052801.doi:10.3788/LOP56.052801.

[本文引用: 1]

Xu Y Y, Wu L, Xie Z, et al.

Building Extraction in Very High Resolution Remote Sensing Imagery Using Deep Learning and Guided Filters

[J]. Remote Sensing, 2018, 10, 144. doi:10.3390/rs10010144.

[本文引用: 1]

Fu G, Liu C J, Zhou R, et al.

Classification for High Resolution Remote Sensing Imagery Using a Fully Convolutional Network

[J]. Remote Sensing, 2017, 9489. doi:10.3390/rs9050498.

[本文引用: 2]

Fang Xu, Wang Guanghui, Yang Huachao, et al.

High Resolution Remote Sensing Image Classification Combining with Mean-Shift Segmentation and Fully Convolution Neural Network

[J]. Laser and Optoelectronics Progress, 2018,55(2):446-454.

[本文引用: 1]

方旭,王光辉,杨化超,.

结合均值漂移分割与全卷积神经网络的高分辨遥感影像分类

[J].激光与光电子学进展, 2018,55(2):446-454.

[本文引用: 1]

Wang S, Yang H, Wu Q, et al.

An Improved Method for Road Extraction from High-resolution Remote Sensing Images that Enhances Boundary Information

[J]. Sensors, 2020, 20: 2064. doi:10.3390/s20072064.

[本文引用: 1]

Venugopal N.

Automatic Semantic Segmentation with DeepLab Dilated Learning Network for Change Detection in Remote Sensing Images

[J]. Neural Processing Letters, doi:10.1007/s11063-019-10174-x.

[本文引用: 1]

Xiong W, Xiong Z, Cui Y, et al.

Deep Multi-feature Fusion Network for Remote Sensing Images

[J]. Remote Sensing Letters, 2020,11(6):563-571. doi:10.1080/2150704X.2020. 1743376.

[本文引用: 1]

Marmanis D, Schindler K, Wegner J D, et al.

Classification with an Edge: Improving Semantic with Boundary Detection

[J]. ISPRS Journal of Photogrammetry and Remote Sensing2018, 135: 158-172. doi:10.1016/j.isprsjprs.2017.11.009.

[本文引用: 1]

Audebert N, Le Saux B,Lefevre S, et al.

Very High Resolution Urban Remote Sensing with Multimodal Deep Networks

[J]. ISPRS Journal of Photogrammetry and Remote Sensing,2018, 140: 20-32. doi:10.1016/j.isprsjprs.2017.11.011.

[本文引用: 1]

Li L, Liang J, Weng M, et al.

A Multiple-feature Reuse Network to Extract Buildings from Remote Sensing Imagery

[J]. Remote Sensing, 2018, 10: 1350. doi:10.3390/rs10091350.

[本文引用: 1]

Huang G L, van der Maaten Z, Weinberger L, et al.

Densely Connected Convolutional Network

[R]. CoRR 2016, abs/1608.06993.

doi:10.1109/CVPR.2017.243

.

[本文引用: 1]

Simon Jégou M D, David V, Adriana R, et al.

In The One Hundred Layers Tiramisu: Fully Convolutional Densenets for Semantic Segmentation

[C]∥ IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, Hawaii, USA, 2017; 1175-1183. doi:10.1109/CVPRW. 2017.156.

[本文引用: 1]

Xu Y Y, Xie Z, Feng Y X, et al.

Road Extraction from High-Resolution Remote Sensing Imagery Using Deep Learning

[J]. Remote Sensing, 2018, 10: 1461. doi:10.3390/rs10091461.

[本文引用: 1]

Yang H, Wu P H, Yao X D, et al.

Building Extraction in Very High Resolution Remote Sensing Imagery by Dense-Attention Networks

[J]. Remote Sensing, 2018, 10(11):1768. doi:10.3390/rs10111768.

[本文引用: 1]

The First National Geographic Survey of the National Geographic Survey of the State Council.The First National Geographic Survey of National Conditional and Surveys of Geographical Conditions and Indicatiors[S].Beijing:Surveying and Mapping Press,2013.

[本文引用: 1]

国务院第一次全国地理国情普查领导小组办公室.第一次全国地理国情普查地理国情普查内容与指标[S].北京:测绘出版社,2013.

[本文引用: 1]

Lee D H, Lee K M, Lee S U.

Fusion of LiDAR and Imagery for Reliable Building Extraction

[J]. Photogrammetric Engineering & Remote Sensing, 2008, 74(2):215-225. doi:10.14358/PERS.74.2.215.

[本文引用: 1]

Gavankar N L, Ghosh S K.

Automatic Building Footprint Extraction from High-resolution Satellite Image Using Mathematical Morphology

[J]. European Journal of Remote Sensing, 2018, 51(1):182-193. doi:10.1080/22797254. 2017.1416676.

[本文引用: 1]

Zhan Q M, Molenaar M, Tempfli K, et al.

Quality Assessment for Geo-spatial Objects Derived from Remotely Sensed Data

[J]. International Journal of Remote Sensing, 2005, 26(14):22. doi:10.1080/01431160500057764.

[本文引用: 1]

Rottensteiner F, Trinder J, Clode S, et al.

Using the Dempster–Shafer Method for The Fusion of LiDAR Data and Multi-Spectral Images for Building Detection

[J]. Information Fusion, 2005, 6(4):283-300.

[本文引用: 2]

Song W, Haithcoat T L.

Development of Comprehensive Accuracy Assessment Indexes for Building Footprint Extraction

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2005, 43(2):402-404. doi:10.1109/tgrs.2004.838418.

[本文引用: 1]

Foody G M.

Status of Land Cover Classification Accuracy Assessment

[J]. Remote Sensing of Environment, 2002, 80(1):185-201. doi:10.1016/s0034-4257(01)00295-4.

[本文引用: 1]

Rutzinger M, Rottensteiner F, Pfeifer N.

A Comparison of Evaluation Techniques for Building Extraction from Airborne Laser Scanning

[J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing, 2009, 2(1):11-20. doi:10.1109/jstars.2009.2012488.

[本文引用: 1]

Awrangjeb M, Fraser C S.

An Automatic and Threshold-free Performance Evaluation System for Building Extraction Techniques from Airborne LiDAR Data

[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2014, 7(10):4184-4198. doi:10.1109/JSTARS. 2014.2318694.

[本文引用: 1]

/