遥感技术与应用, 2022, 37(6): 1328-1338 doi: 10.11873/j.issn.1004-0323.2022.6.1328

冰雪遥感专栏

基于分形维数和角二阶矩辅助的卷积神经网络云雪识别研究

朱博,, 钟方洁, 赵军锁

中国科学院软件研究所 天基综合信息系统重点实验室，北京 100190

Fractal Dimension and Angular Second Moment-assisted Convolutional Neural Network for Cloud and Snow Recognition

Zhu Bo,, Zhong Fangjie, Zhao Junsuo

Science & Technology on Integrated Information System Laboratory，Institute of Software，Chinese Academy of Sciences，Beijing 100190，China

收稿日期: 2021-11-05   修回日期: 2022-09-27  

基金资助: 国家自然科学基金项目.  62027801

Received: 2021-11-05   Revised: 2022-09-27  

作者简介 About authors

朱博（1983-），男，江苏徐州人，硕士，工程师，主要从事遥感图像智能感知、遥感图像质量评价研究E⁃mail:zhubo@iscas.ac.cn , E-mail：zhubo@iscas.ac.cn

摘要

对于天基对地观测成像任务，遥感影像中的云量往往决定了数据是否可用。然而云雪光谱特征近似，使得二者较难区分。云雪识别研究的目的是提高数据有效性判断的能力，具有实际应用价值，是遥感数据应用中的重要环节。研究提出一种提高局部特征信息提取能力的小块结构并构建了轻量化卷积神经网络模型作为骨干网络用于区分类云（云、雪、亮地物）与其他地物，通过分形维数与角二阶矩分析云、雪、地物的纹理及灰度特征形成二叉树辅助网络对类云进行精细化识别，网络权重层只有6层（4个卷积层，两个全连接层）。通过对天智1号、SPOT4/5/6、Pleiades等不同几何分辨率的数据进行训练与分析，并与随机森林、SVM、传统方法等进行对比，在云、雪、云雪共存等场景下，该方法能够较好地识别云、雪、（亮）地物，识别准确率达89%。方法适用于全色、多光谱、高光谱等遥感数据云雪识别，同时结构简洁、参数量少。

关键词： 光学遥感 ; 云雪识别 ; 分形维数 ; 角二阶矩 ; 卷积神经网络 ; 二叉树辅助网络

Abstract

For space-based earth observation imaging missions， the cloud cover contained in an remote sensing image often determines whether the data is available. However， the spectral characteristics of cloud and snow are similar， which makes it difficult to distinguish them. The purpose of the research on cloud and snow recognition is to improve the ability to judge the validity data. So an novel method is designed to solve it. Firstly， an improved lightweight convolutional neural network， which is built based on the proposed DCP （Double Convolution Parallel） structure， is used as the backbone to classify the quasi-cloud （cloud， snow and highly reflective ground objects） and other ground objects. Secondly， the textures and gray features of cloud and snow and ground objects are analyzed by a binary tree network formed by fractal dimension and angular second moment for fine recognition in further. The network weight layers are only six （four convolutional layers and two full connection layers）. The proposed method is trained on the data sets containing cloud， snow and cloud-snow with different ground sample resolutions from Tianzhi-1 and SPOT4/5/6 and Pleiades. When compared on the accuracy with reference methods， such as random forest， SVM， traditional methods and binary tree methods， our method provide an increasing accuracy to 89.08%. The experimental results shows： （1） The comparative experiment between network structures shows that the DCP could effectively improve the model ability of feature information extraction and promote faster convergence； （2） Texture features analysis of remote sensing images makes the recognition process not completely dependent on convolutional neural network， so as to reduce the network depth and weight parameters； （3） The combination of traditional remote sensing analysis method and neural network is better than one of them alone， which can improve the accuracy of cloud and snow recognition. The proposed method is suitable for cloud and snow recognition on panchromatic， multispectral and hyperspectral remote sensing imagery.

Keywords： Optical remote sensing ; Cloud and snow recognition ; Fractal dimension ; Angular second moment ; Convolutional neural network ; Binary tree

PDF (9604KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

朱博, 钟方洁, 赵军锁. 基于分形维数和角二阶矩辅助的卷积神经网络云雪识别研究. 遥感技术与应用[J], 2022, 37(6): 1328-1338 doi:10.11873/j.issn.1004-0323.2022.6.1328

Zhu Bo, Zhong Fangjie, Zhao Junsuo. Fractal Dimension and Angular Second Moment-assisted Convolutional Neural Network for Cloud and Snow Recognition. Remote Sensing Technology and Application[J], 2022, 37(6): 1328-1338 doi:10.11873/j.issn.1004-0323.2022.6.1328

1 引 言

地球近1/3—1/2的区域被云覆盖［1］，使得许多光学遥感图像不能被充分使用甚至是成为无效数据。近些年，高分辨率全色影像发展迅猛，其在军事和科研领域的应用越来越广泛。但在缺少短波红外数据的情况下，下垫面的雪与地物亮目标在可见光光谱特征上与云近似，导致准确识别云雪成为一个难题。随着高分辨率卫星越来越多，所获取的海量数据占用了更多星上资源并增加了数传压力。因此有效数据的获取和传输显得尤为重要。随着智能卫星的发展，基于神经网络的数据有效性智能判别逐渐移植于卫星平台。但现有神经网络模型复杂、权重参数量大，有限的星上计算资源无法满足实时计算且不易部署和更新。因此面向智能化的云雪识别算法研究是有较大应用价值和必要性的。

云雪识别算法主要分为3类：

（1）基于光谱信息的云雪识别［2］。ISCCP、APOLLO、CLAVR等［3-6］方法利用高/多光谱信息来探测云。王权等［7］人利用可见光、近红外波段的光谱差异改进了基于先验地表反射率数据库支持的动态阈值云检测算法（UDTCDA），整体云识别精度大于85%，但方法对地表反射率变化明显或具有崎岖复杂地形的地区适用性低，而且因数据间的配准误差容易产生误判现象。向培素［8］提出对MODIS数据使用Otsu法确定云和非云集合，但无法区分雪。Hu等［9］提出云检测阈值自动生成（CDAG）算法，使用预先确定云和晴空像元的AVIRIS高光谱数据模拟出不同传感器的云和晴空像元数据，据此生成云检测阈值。该方法在薄云和碎云条件下，识别精度低于较厚的云。Liu等［10］提出一种基于高光谱和近红外数据的云检测算法，对陆地和海上云识别准确率达到88%和95%。但该方法对数据要求较高，不便于星上数据汇集和实时计算。王永吉等［11］改进LCCD算法 （Land Cover-based Cloud Detection），以FROM-GLC10作为先验数据，考虑不同地表类型反射率的变化，在每种地表类型上分别采用不同的方法设置阈值，平均云正确率达到88.7%。但方法对薄云存在一定的漏检、误检现象，且不同地表的经验阈值是根据标准地物反射率所得，因此结果受太阳高度角、季节等因素影响。

（2）基于纹理特征的云雪识别［12］。刘军等［13］提出了基于连通区域的闭形式抠图的自动精细云检测方法，阈值计算复杂且易受噪声影响。钟静等［14］提出一种基于自适应阈值和形态学综合的云检测算法，该方法仅针对云而且最高和最低亮度阈值受无云和含云样本影响较大。Kittler等［15］提出了基于纹理测度的海面云识别方法、Mandelbrot［16］建立了分形理论、Christodoulou等［17］提出利用气象卫星数据进行云纹理特征空间分析，这些思想被曹琼等［18-21］发展利用纹理和灰度共生矩阵检测云和地物，同时将图像分成更小的子块，并将复杂的云检测转化为更简单的云分类。但方法在区分云与下垫面以及云、雪识别时使用较多阈值，导致算法建立在较多阈值基础上，因而不具有较强的泛化能力。翁理国等［22］改进多粒度级联森林（gcForest）算法对HJ-1A/1B卫星图像进行预测，缩短了云雪检测时间。但该方法对云雪共存数据检测效果一般。

（3）综合分析法［23］。Simpson等［24］较早应用人工神经网络（ANN）技术来检测地物取得一定效果，但精度不足。高军等［25］基于风云四号的可见光、近红外图像进行分析，提出了一种基于归一化动云指数的动态阈值法用于初步云检测，并进一步提出基于BP神经网络的云检测算法。但算法训练所需参数较多，需赋予每一个点大量的附加信息（各通道的测量值、各通道相较于上一次测量的变化值、卫星高度角等），不便于快速、实时处理。瞿建华等［26］使用深度全卷积神经网络作为核心结构，基于EOS/MODIS云检测原理选择合适的通道作为特性向量参数，针对不同的场景进行分类和网络模型的训练，但该方法在雪或地面亮目标存在时精度较低。曹辉等［27］提出密集连接空洞卷积神经网络进行云雪卫星图像识别研究，提升卫星云雪图像的检测效果，但是其对于雪的误检还有待降低。Qiao等［28］基于FY-4A AGRI数据的优点和云层的流动特性，改进一种最大亮温图像合成算法，使用气象地面观测数据集和MOD10A1数据对该方法进行评估，总体云识别精度分别达到94.11%和98.55%，但该方法也难以区分云和雪。针对Landsat图像，Xu等［29］提出基于注意力机制的生成对抗去云算法。在与传统和神经网络方法对比中，表现较好。但该方法网络较复杂，需简化网络提高方法的实际应用。Xiang等［30］研制了一种基于地表云图的云识别系统，用于天气预报。

云雪识别研究呈现出不同方向：针对云雪具有高反射或吸收率的光谱分析，导致无法适用于全色或部分多光谱数据；采用神经网络提取云雪特征，但云雪特征相近，为了获得云雪的特征差别，网络结构复杂、深度增加、参数量增大，不利于星上模型更新和部署。此外，现有方法大多针对云分析，而雪、亮地物与云在光谱特征上近似较难区分，往往需要多种数据或时序数据或不同手段进行联合分析，因此降低了数据分析的时效性。针对这些不足，结合神经网络强大的分析和计算能力以及云雪的纹理、灰度特征设计了一种基于分形维数和角二阶矩辅助的轻量化神经网络模型用于云雪识别。

2 数据集

数据来自于天智1号、SPOT4/5/6、Pleiades等：云量从较少到较多、雪覆盖从较薄到较厚、地物种类多样（山脉、城市、水体、植被等）、分辨率从1.5 m至10 m，涵盖了云、雪、地物在不同分辨率及场景下的基本特点。图像数据按照64×64像素大小进行分块，并通过平移、旋转、镜像等操作对数据进行扩充。训练集、验证集、测试集比例为2∶2∶1。数据及信息如图1和表1所示。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1   数据集中部分云、雪、其他下垫面图

Fig.1   Parts of samples of cloud， snow and underlying surfaces in the different datasets


表1   实验数据信息

Table 1  Information of data sets

数据集

名称

载荷

大小

/像素

数据量

（幅/景）

分辨率

/m

天智-1全色2 560×2 048606
SPOT4全色/多光谱2 000×2 0483010/20
SPOT5全色/多光谱2 000×2 000202.5/10
SPOT6全色/多光谱2 500×2 500301.5/6
Pleiades多光谱3 500×2 500202

新窗口打开| 下载CSV


3 云雪识别算法

人工神经网络具有海量数据计算快速、泛化能力强以及分布式计算等特点，是智能化算法发展的方向之一。研究提出一种DCP（Double Convolution Parallel）小块结构并结合人工神经网络设计一种轻量化卷积神经网络作为骨干网络。该骨干网络主要对遥感影像进行大类的区分：类云（云、雪、亮地物）、其他下垫面。然后，根据云、雪的分形维数特征进行类云的再区分：类云（云、亮地物）、类雪（雪、亮地物）；最后根据云、雪、亮地物的灰度特征矩阵、角二阶矩特征进行精细化的云、雪、地物识别。网络模型如图2所示。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2   基于分形维数和角二阶矩的卷积神经网络模型

Fig.2   Fractal dimension and angular second moment-assisted convolutional neural network


3.1　骨干网络

骨干网络是基于BP（Back-Propagation）神经网络构建，旨在通过一种轻量级神经网络实现对类云和其他下垫面的分类。网络模型为类似于VGG式的网络，如图2（a）所示。

研究提出一种DCP小块结构（如图2（b））并使用该结构对原网络结构进行调整。DCP小块结构是由双卷积并联以及激活函数构成。小块结构的新颖之处体现在训练和推理过程的不同：①在训练过程中，采用双卷积并联，即多分支方式进行。当上一层的输入数据经过DCP结构时，分别经过两个卷积处理，其输出特征图在彼此对应通道上按照对应像素位置进行加运算，而非通道并联，即经过加运算后两个特征图合并为一个而通道数量保持不变。该方式使特征图信息得到一定增强，也在一定程度上降低了过拟合现象出现。②在推理过程中，将并联卷积的权重参数进行合并，即参数重置，表现为并联的两个卷积合并为一个。这种方式保持了原有网络结构不变，使得权重参数量并未因局部结构横向变宽而增加。同时，在训练次数和训练超参数不变的情况下，其信息提取能力优于传统神经网络训练方法。卷积权重参数重置在数学上满足矩阵乘法分配率，令DCP结构中两个卷积的权重参数分别为 W1 和 W2，偏置分别为 b1 和 b2，各自的特征图输出为 Yout1， Yout2，“⊗”代表卷积操作，则有：

Yout1=X⊗W1+b1,Yout2=X⊗W2+b2

特征图相加后的输出为 Yout = Yout1 + Yout2，于是：

Yout=(X⊗W1+b1)+(X⊗W2+b2)

通过参数合并可得：

Yout=X⊗(W1+W2)+(b1+b2)，
Yout=X⊗W+B

其中：W为重置后的权重参数， B 为重置后的偏置。此时，可将并联的两个卷积转化为一个全新的卷积。需要说明的是：①这种小块结构并非仅支持两个并联卷积，可根据实际需要设置更多并联分支，参数整合方式不变。②此种整合需要卷积核大小、通道数、卷积数量、卷积移动步长相同。

骨干网络中具有权重参数的函数共计6个：两个卷积层（conv）、一个DCP结构（含两个卷积）、两个全连接层（FC）。BN［31］ （Batch Normalization）层的目的是正则化特征图，但该层未被采用以求最小化网络结构产生最少的权重参数。输入层连接第一个卷积，所得输出结果经过激活函数ReLU［32］后输入最大池化层［33］；池化层将结果直接输入DCP小块结构，经过DCP中的两个卷积以及ReLU处理后，再将结果输入第四个卷积；经过ReLU后，其结果输入最大池化层进行下采样；下采样结果连接第一个FC并经过ReLU层和第一个Dropou［34］层以降低活跃神经元数量增强网络张力和鲁棒性；上一步结果再次经过第二个FC层，其输出结果直接连接第二个Dropout层不再经过激活函数ReLU；第二个Dropout层的输出结果被输入Softmax［35］层进行类别判别，即输出某类的可能概率。最终的输出结果为两类：云、地物。虽然仅为两类，但地物是多种类型，如：山脉、水体、城市、植被等，其实是“一对多”的分类结果。

神经网络中各函数的参数如表2所示。每次随机输入100幅像素大小为64×64带有标签的小块图像，共计训练20个周期。骨干网络仅对云和地物进行训练，训练中不包含雪的相关数据。图像小块中的云（雪）像素占比不低于1/3则认为该小块含云（雪）。图3展示了原始网络与加入DCP结构改进后的模型训练与测试准确率。改进网络并未对原始网络进行较大幅度的结构修改，仅将其自身具有的两个卷积组合为本文提出的小块结构，且卷积数量和卷积核大小也未改变，其他部分依照原网络。改进后的网络模型训练与测试过程表现更稳定，最终的训练与测试准确率分别为93.2%和91.2%。原始网络的训练与测试准确率分别为97.4%和89.7%。由此可见，改进后的网络更稳定且测试结果要优于原始网络。图4（原始数据为全色图像，为便于显示不同分类结果，故将数据进行“热图”处理：黄色小块为正确分类、红色小块为错误分类）展示了改进前后模型对天智1号数据的云与地物识别结果。从图4可以看出，原始网络将部分下垫面亮目标分类为云（图4红色小块），而改进后网络模型能够较好区分云与地物，即提高了网络对地物特征的分析能力。因此本文以改进后的网络作为云雪识别算法中用于区分类云与下垫面的骨干网络。神经网络对图像数据进行大类区分后，则需要针对类云数据进行精细分析，从而确定类云数据的具体类别，如：云、雪、（亮）地物。

表2   骨干网络参数

Table 2  Backbone parameters

函数大小通道数量
Conv13,3116
Conv23,3132
Conv33,3132
Conv43,3164
Max Pooling 12,2/p:1/s:1——
Max Pooling 22,2/p:1/s:1——
FC 164,16,16—50
FC 250—2
Learning rate0.01
Activation FunctionReLU
Initialized weightHe
Parameters updatingSGD[36]
Dropout1 ratio0.5
Dropout2 ratio0.5

新窗口打开| 下载CSV


图3

新窗口打开| 下载原图ZIP| 生成PPT

图3   基于分形维数和角二阶矩的卷积神经网络模型原始网络与改进网络训练与测试对比

Fig.3   Comparison of training and testing accuracy between the plain and improved convolutional neural network


图4

新窗口打开| 下载原图ZIP| 生成PPT

图4   改进前后的神经网络对验证数据识别结果比较

Fig.4   Comparison between the plain and improved CNN on validation dataset


3.2　二叉树辅助网络

二叉树辅助网络用于对类云进行精细识别，其结构如图2（c）所示。二叉树辅助网络由分形维数和角二阶矩两个传统地物纹理特征分析法构成。基于纹理特征的云检测方法一般利用物体局部与整体的自相似性，通过提取目标场景的空间统计特性进行区分。分形维数用于描述复杂不规则图形的自相似性，可较好地表征纹理的粗糙程度，并且对尺度的变化不敏感，这与人类视觉系统（HVS）有相似之处［37］，适合对不同类型物体进行分类。角二阶矩是图像纹理均一规则性的度量。结合灰度共生矩阵，角二阶矩能够反映图像灰度分布均匀程度和纹理粗细程度，适合于识别大面积的同类物体［38］。二者具有互补性，因此可用于云、雪、地物识别。

针对实验所使用的数据进行分形维数特征分析，所得结果按升序排列并绘图，如图5所示。图5显示云的分形维数整体比雪的小。云分形维数范围为［1.862 1，2.311 6］。雪分形维数范围为［1.923 4，2.669 3］。而地物分形维数是介于云和雪之间［1.860 7，2.660 9］。进一步对云、雪分形维数进行分析，分形维数不大于2.15的云图像占总数的94.7%；分形维数大于2.15的雪图像占总数的94.3%，如图6（a）所示。因此可设定区分云、雪分形维数阈值FD0 为2.15。部分雪的分形维数小于2.15，是因为雪较厚且平整导致纹理及灰度特征几乎与云一致。与云相比，地物的灰度或纹理则相对复杂，尤其是亮地物分形维数与云接近。那么在分形维数上，云要小于雪，而地物分形维数则覆盖了云、雪，如图6（b）所示。因此需要先区分类云与其他下垫面，而这也是骨干网络的作用——去除大部分地物干扰。对于少部分地物有可能被归类为类云，此时仅凭借分形维数已无法区分，那么可通过角二阶矩进行细分。角二阶矩是基于灰度共生矩阵进行统计分析。灰度共生矩阵通过计算图像中特定方向和特定距离的两像元间从某一灰度过渡到另一灰度的概率，可反映图像在方向、间隔、变化幅度及快慢的综合信息。一般来说，云纹理简单、均匀，角二阶矩值大、能量高；地物纹理复杂，角二阶矩值小、能量低；雪的纹理介于云和地物之间，角二阶矩应高于地物。对数据集进行角二阶矩计算，其值接近于零且小于0.000 5的地物占全部数量的88%。而角二阶矩大于等于0.000 5的云、雪占比分别为87.7%和85.2%，如图7所示。据此可将（亮）地物与云雪进行区分（如图8（b）所示）。而云、雪之间纹理和灰度特征相近，角二阶矩值相近（如图8（a）所示），但可通过分形维数区分。因此设定地物与云、雪的角二阶矩分界阈值ASM0为0.000 5。云、雪的分形维数和角二阶矩阈值的确定首先各自独立统计获得阈值范围，然后确认在各自阈值范围内何种组合能够最大限度区分云、雪，最终确定二者阈值。

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5   云、雪、其他下垫面分形维数

Fig.5   Fractal dimension values of cloud， snow and underlying surfaces


图6

新窗口打开| 下载原图ZIP| 生成PPT

图6   云、雪、地物分形维数比较

Fig.6   Comparison of fractal dimension between cloud， snow and underlying surfaces


图7

新窗口打开| 下载原图ZIP| 生成PPT

图7   云、雪、地物角二阶矩图

Fig.7   ASMs of cloud， snow and underlying surfaces


图8

新窗口打开| 下载原图ZIP| 生成PPT

图8   云、雪、地物角二阶矩比较

Fig.8   Comparison of ASMs between cloud， snow and underlying surfaces


根据分形维数和角二阶矩可构建二叉树辅助网络对类云进行精细化识别，如图9所示。骨干网络区分了类云和其他下垫面后，类云继续被细分：①通过分形维数确定是类云或者类雪：计算得到的分形维数FD小于等于FD0则判为类云，FD大于FD0则判为类雪；②根据角二阶矩区分云与亮地物、雪与亮地物：对于类云分支，计算得到的角二阶矩ASM大于等于ASM0则判为云，ASM小于ASM0则判为（亮）地物；对于类雪分支与类云分支相同。

图9

新窗口打开| 下载原图ZIP| 生成PPT

图9   二叉树辅助网络判读结果示意图

Fig.9   Recognition of some cloud， snow and underlying surfaces by binary tree network


4 结果与分析

文献［21］利用分形维数和角二阶矩对云、雪进行识别，因此选取该方法作为对比算法。同时选取仅二叉树网络（BT）作为另一种对比分析方法，以比较骨干网络存在与否之差异。此外，选择随机森林（RF）以及SVM［39］两种非BP神经网络的机器学习方法作为对比算法。采用上述4种方法以及本文方法对实验数据进行识别。

实验数据包含代表性的四类场景数据：部分被雪覆盖、全部被雪覆盖、较多云、少云。图10显示的是几种方法的识别率（含虚警），图11显示的是几种方法的虚警率。结合图10和图11，本文方法在几种参考方法中虚警率最低、识别准确率最高。

图10

新窗口打开| 下载原图ZIP| 生成PPT

图10   5种算法的云、雪、地物识别效果

Fig.10   Effect of the five methods on different data


图11

新窗口打开| 下载原图ZIP| 生成PPT

图11   5种算法的云、雪、地物识别结果比较

Fig.11   Comparison of the five methods


4.1　雪识别结果分析

图10（a）显示地表被部分雪覆盖。Ding、二叉树、SVM方法对地面亮目标（图10（a）中红色框所示）识别较差，而且虚警率较高也体现了方法对雪与未被雪覆盖的地面目标区分不理想（如图11所示）。虽然随机森林方法虚警率较低，但识别率不高。对于传统纹理分析方法（Ding）、二分类机器学习方法（SVM）、统计方法（随机森林），多依赖先验特征。若地物间特征差别较大则能够较好区分，反之则无法较好分别。而这也是神经网络的主要特点，其能够自主学习目标纹理、灰度以及更深层次特征，从而去除干扰地物。

图10（b）显示地表几乎被雪覆盖，SVM对其识别率较低。因为覆盖地表的薄雪显露出一定的地物特征并形成干扰。Ding、二叉树、随机森林识别率优于SVM，因为方法利用多特征（分形、熵、均值等）分析，在一定程度上克服了单一特征的局限性。但特征主要依赖先验知识，这也导致实际应用的不稳定。而神经网络首先去除地物省去了传统方法中地物阈值的出现，减少了阈值的依赖。

4.2　云识别结果分析

图10（c）显示了灰度较低、覆盖较广、纹理复杂的云图。Ding、二叉树云识别率较高，但存在较高虚警率。这是因为部分地物特征与较暗的云接近，使得方法无法较好区分。而虚警率和识别率优于随机森林的SVM也受到低灰度的影响。几种参考方法均受到灰度较低导致纹理细节不清晰易产生误判的影响。但本文方法表现最好，也验证了神经网络与传统特征分析方法结合要优于单一技术途径。

图10（d）显示了覆盖较少、灰度较高的云图。Ding与二叉树方法虚警率较高且出现了误检，说明方法受地物影响较大（如图10（d1））。虽然随机森林和SVM虚警率低，但是识别率同样较低。二者能够对具有较多像素的云识别，但对像素较少的云识别效果较差（存在混合场景/像元）。

对于不同灰度、不同分布的云识别实验，本文方法表现最佳，也说明了神经网络与传统方法相结合可以提高识别准确率且具有很大的应用潜力。

4.3　综合分析

从图10和图11可以看出，本文方法所得识别结果与云雪实际覆盖情况最为接近（图10（a5）—（d5））；Ding的方法更适合大面积的积雪覆盖，其他情况虚警率较高（图10（a1）—（d1））；去掉骨干网络的二叉树辅助网络（图10（a2）—（d2））会出现较亮地物以及表面平整且纹理简单的地物判读为云或雪的情况，说明分形维数和角二阶矩无法完全区分云—地、雪—地，这也验证了骨干网络存在的意义；随机森林表现优于SVM。对于随机森林（图10（a3）—（d3）），仅通过分形维数和角二阶矩两种纹理特征无法构建具有更多有效特征的决策树，使得“树”的种类和数量不足导致部分云、雪、亮地物无法区分且对于不同分辨率目标识别准确性不稳定，需要增加更多云、雪的其他特征，但这也增加了算法复杂度。对于基于核函数的SVM（图10（a4）—（d4）），受限于云雪灰度、纹理等近似特征，无法形成有效的特征分离超平面，使得区分结果不理想。特征近似会影响传统方法识别效果，而这体现了卷积神经网络的优势。

总体来看，本文方法首先通过骨干网络去除大部分地物，再通过二叉树辅助网络对云/雪进行精细识别取得了较好效果。针对全部数据，采用文中5种方法进行了识别对比分析，分析结果验证了本文方法识别结果更准确，如表3所示（识别准确率：识别所得云（雪）像元个数/云（雪）像元总个数）。

表3   识别结果统计

Table 3  Statistics of recognition results

DingBTRFSVMOurs
天智1号80.679.476.681.790.6
SPOT486.384.585.983.689.7
SPOT582.578.675.479.889.2
SPOT677.275.573.278.487.3
Pleiades82.481.380.38088.6
平均准确率80.1484.379.376.8689

新窗口打开| 下载CSV


5 讨 论

图12展示了本文方法对更多云、雪、地物的识别效果，包括云、雪、云雪共存、不同地物等情况。从实验可以看出本文方法对大部分云、雪、地物可以较准确区分，但依然存在误检。针对问题数据分析得到以下3点原因：

图12

新窗口打开| 下载原图ZIP| 生成PPT

图12   云、雪、地物识别结果

Fig.12   Recognition on cloud， snow and underlying surfaces


（1）部分地物灰度或纹理特征与云、雪接近，误将其识别为云或雪；厚雪的纹理特征近似于较厚且平整的云使得此种情况下云雪较难区分。均值、灰度、纹理、光谱等特征近似是限制识别的主要问题。因此，基于单一技术手段，无法较好实现复杂场景下的精细化识别。本文采用神经网络与二叉树辅助网络相结合的方式虽然也受限于此，但整体识别准确率高于其他参考方法。这也说明神经网络与传统方法的结合是一种有效的技术手段。后续，需结合其他特征分析方法区分相似特征，提高识别准确率。

（2）阴影区域灰度较暗且丢失纹理信息导致误检。阴影降低了纹理细节，使得纹理匮乏导致无法准确分类。阴影会使得机器视觉采集的信息受到干扰，从而对目标类别产生误判，降低识别准确度。这一类问题的解决需要结合更多的分析手段，如：目标连续性、图像增强、2D对数色度空间转换［40］等。

（3）图像数据分辨率不一致，使得分形维数、角二阶矩分析仅体现一般性。本文方法在训练过程中选用的数据集是来自于不同载荷的遥感影像。其几何分辨率不同导致数据特征在不同尺度下表现不同，影响了训练过程中同种特征分析的稳定性。本文之所以选择多尺度数据训练，是想验证神经网络与传统特征分析方法结合的有效性。而在实际应用中，应根据具体载荷成像信息，有针对性地进行训练，将会提高识别准确率。

6 结 论

本文提出了一种基于分形维数和角二阶矩的卷积神经网络云雪识别模型。该模型由骨干卷积神经网络、基于分形维数和角二阶矩的二叉树辅助网络构成。通过网络结构对比实验验证了DCP小块结构有效地提高特征信息提取能力，加快模型收敛速度。分形维数和角二阶矩两种图像纹理特征的加入使得识别过程不完全依赖卷积神经网络，从而降低网络深度和权重参数量。利用该模型对不同载荷的不同覆盖类型的遥感数据进行云、雪、地物判别并与4种参考方法进行比较，得到了较好的识别效果，综合准确率达89%，验证了这种方式优于单一方法，能够提高云雪识别准确率。同时，方法不依赖于具有特定强烈吸收或反射的某几类光谱或多种数据融合分析，从而提高了方法的易用性。此外，本方法也验证了多模态［41］数据分析方法变得越来越重要，将是复杂场景下精细化识别的重要技术手段。结合这种思想，下一步工作将具体分析在众多云雪判别算法中出现的对存在阴影的云雪判别较差的问题，以增强复杂条件下判别的准确性和适用性。

参考文献

Hou Shuwei， Sun Wenfang， Zheng Xiaosong.

Overview of cloud detection methods in remote sensing images

［J］. Space Electronic Technology， 2014， 11（3）： 68-77.

[本文引用: 1]

侯舒维， 孙文方，郑小松.

遥感图像云检测方法综述

［J］.空间电子技术， 2014， 11（3）： 68-77.

[本文引用: 1]

Liu P.

Review on the technology of threshold selection in image segmentation

［D］. Beijing：Institute of Computing Technology， Chinese Academy of Science， 2004.

[本文引用: 1]

Rossow W B， Schiffer R A.

ISCCP cloud data products

［J］. Bulletin of the American Meteorological Society，1991，27（1）： 855-863.

[本文引用: 1]

Saunders R W， Kriebel K T.

An improved method of detecting clear sky and cloudy radiances from AVHRR data

［J］. International Journal of Remote Sensing， 1988，9（1）：123-150.DOI：10.1080101431168808954841 .

Stowe L L， Davis P A， McClain P E.

Scientific basis and initial evaluation of the CLAVR21 global clear/cloud classification algorithm for advanced very high resolution radiometer

［J］. Atmos and Oceanic Technology， 1999，16（6）：656-681.DOI：10.1175/15200426（2001）018<0169：APLCSC>2.0.CO；2 .

Ding Baohui， Li Wenchao， Wang Fuming.

Analysis of fractal image and design of fractal dimension calculation program

［J］. Journal of University of Science and Technology Beijing， 1999， 21（3）： 304-307.

[本文引用: 1]

丁宝华，李文超，王福明.

分形图像分析与分形维数计算程序的设计

［J］，北京科技大学学报，1999，21（3）：304-307.

[本文引用: 1]

Wang Quan， Sun Lin， Wei Jing， et al.

Improvement of universal dynamic threshold cloud detection algorithm and its application in high resolution satellite

［J］. Acta Optica Sinica， 2018， 38（10）： 1028002-1-1028002-10.王权，孙林，韦晶，等.动态阈值云检测算法改进及在高分辨率卫星上的应用［J］.光学学报，2018，38（10）：1028002-1

DOI:10.3788/AOS201838.1028002      [本文引用: 1]

-1028002-10.DOI：10.3788/AOS201838.1028002 .

[本文引用: 1]

Xiang Peisu.

Cloud detection algorithm for MODIS images based on K-means clustering and Otsu method

［J］. Geospatial Information，2020，18（4）：31-34.

[本文引用: 1]

向培素.

Kmeans与Otsu相结合的MODIS云检测算法

［J］.地理空间信息，2020， 18（4）：31-34.

[本文引用: 1]

Wang Shuhua， Zhao Yuming， Zhou Xiaosi， et al.

Automatic classification of cloud and mist based on weighted fractal dimension

［J］.Infrared and Laser Engineering，2020，31（1）：18-22.

[本文引用: 1]

王淑华，赵宇明，周小四，等.

基于灰度连通域加权分数维的云雾自动分离算法

［J］.红外与激光工程，2020，31（1）：18-22.

[本文引用: 1]

Liu Q， Hu H， Sha D X， et al.

Hyperspectral infrared sounder cloud detection using deep neural network model

［J］. IEEE Geoscience and Remote Sensing Letters， 2022， 19： 5500705. DOI： 10.1109/LGRS.2020.3023683 .

[本文引用: 1]

Wang Yongji， Ming Yanfang， Liang Tianchen， et al.

Research on GF-6 WFV data cloud detection based on improved LCCD algorithm

［J］. Acta Optica Sinica， 2020， 40（16）： 1628001.王永吉，明艳芳，梁天辰，等.基于改进的LCCD算法的GF-6 WFV数据云检测研究［J］.光学学报， 2020， 40（16）： 1628001.DOI：10.3788/ AOS202040. 1628 001 .

[本文引用: 1]

Hu Xueqian， Sun Lin， Sui Songman， et al ．

Landsat-8 OLI cloud and snow recognition based on improved CDAG cloud detection algorithm

［J］．Radio Engineering， 2021， 51（12）：1461-1470．

[本文引用: 1]

胡学谦，孙林，隋淞蔓，等.

基于改进 CDAG云检测算法的Landsat-8 OLI云雪识别

［J］.无线电工程，2021，51（12）：1461-1470.

[本文引用: 1]

Liu Jun， Zheng Qunfeng， Xing Xiuwei， et al.

Automatic and accurate cloud detection for Fengyun meteorological satellite

［J］. Bulletin of Surveying and Mapping，2019（12）： 45-49.

DOI:10.13474/j.CNki.11-2246.2019.0384      [本文引用: 1]

刘军，郑群峰，刑秀为，等.

风云气象卫星影像自动精细云检测

［J］.测绘通报，2019（12）：45-49. DOI：10.13474/j.CNki.11-2246.2019.0384 .

[本文引用: 1]

Zhong Jing， Kang Yifei， Han Yu， et al.

Automatic cloud detection of GF-1 satellite imagery

［J］. Geospatial Information， 2018， 16（4）： 52-56.

[本文引用: 1]

钟静，康一飞，韩昱，等.

高分一号卫星影像自动云检测

［J］. 地理空间信息， 2018， 16 （4）： 52-56.

[本文引用: 1]

Kittler J， Pairman D.

Contextual pattern recognition applied to cloud detection and identification

［J］. IEEE Transaction on Geoscience and Remote Sensing， 1985， 23（6）： 855-863. DOI：10.1109/TGRS.1985.289471 .

[本文引用: 1]

Mandelbrotb B. The fractal geometry of nature［M］. New York： W H Freeman and Co， 1982.

[本文引用: 1]

Christodoulou C I， Michaelides S C， Pattichis C S.

Multifeature texture analysis for the classification of clouds in satellite imagery

［J］. IEEE Transaction on Geoscience and Remote Sensing， 2003， 41（11）： 2662-2668. DOI：10.1109/TGRS.2003.815404 .

[本文引用: 1]

Cao Qiong， Zheng Hong， Li Xingshan.

A method for detecting cloud in satellite remote sensing image based on texture

［J］. Acta Aeronautica et Astronautica Sinica， 2007， 28（3）： 661-666.

[本文引用: 1]

曹琼，郑红，李行善.

一种基于纹理特征的卫星遥感图像云探测方法

［J］.航空学报，2007，28（3）： 661-666.

[本文引用: 1]

Li Bingchun.

Texture feature retrieval and applications using gray Co-occurrence matrices

［J］. Journal of Kashgar Teachers College，2006，27（6）：35-37.

李丙春.

基于共生矩阵的图像纹理特征提取及应用

［J］.喀什师范学院学报，2006，27（6）：35-37.

Zhou Quan.

The Classification of remote sensing cloud images based on multiscale features

［D］. Hefei： University of Science and Technology of China， 2010.

周全.

基于多尺度特征的遥感云图分类

［D］.合肥：中国科技大学， 2010

Ding Haiyan.

A study on automatic cloud detection for intelligent satellite

［D］. Beijing： Graduate University of the Chinese Academy of Sciences， 2011.

[本文引用: 2]

丁海燕.

智能小卫星自动云判方法研究

［D］.北京：中国科学院研究生院，2011.

[本文引用: 2]

Weng Liguo， Liu Wanan， Shi Bicheng， et al.

Cloud/Snow classification based on multi-dimensional multi-grained cascade forest in plateau region

［J］. Journal of Computer Applications， 2018， 38（8）： 2218-2223.

[本文引用: 1]

翁理国，刘万安，施必成，等.

基于多维多粒度级联森林的高原地区云雪分类

［J］.计算机应用， 2018， 38（8）： 2218-2223.

[本文引用: 1]

Stowe L L.

Global distribution of cloud cover derived from NOAA/AVHRR operational satellite data

［J］. Advances in Space Research， 1991， 11（3）： 51-54.

[本文引用: 1]

Simpson J J， Gobat J J.

Improved cloud detection in GOES scenes over the oceans

［J］. Remote Sensing of Environment， 1995， 52（2）： 79-94.

[本文引用: 1]

Gao Jun， Jing Yiguo.

A fully convoluted neural network-based cloud detection method for satellite remote sensing images

［J］. Infrared Technology， 2019， 41（7）： 607-615.

[本文引用: 1]

高军，荆益国.

基于全卷积神经网络的卫星遥感图像云检测方法

［J］.红外技术，2019，41（7）： 607-615.

[本文引用: 1]

Qu Jianhua， Yan Junjie， Xue Juan， et al.

Research on the cloud detection model of FY3D/MESI and EOS/MODIS based on deep learning

［J］. Journal of Meteorology and Environment， 2019， 35（3）： 87-93.

[本文引用: 1]

瞿建华，鄢俊洁，薛娟，等.

基于深度学习的FY3D/MERSI和EOS/MODIS云检测模型研究

［J］.气象与环境学报，2019，35（3）：87-93.

[本文引用: 1]

Cao Hui， Weng Liguo， Zhang Dezheng.

Cloud and snow image detection in Qinghai-Tibet Area based on dense dilated convolution neural network

［J］. Computer Measurement & Control， 2019， 27（9）： 169-173.

[本文引用: 1]

曹辉，翁理国，张德正.

基于密集连接空洞卷积神经网络的青藏地区云雪图像分类

［J］.计算机测量与控制， 2019， 29（9）： 169-173.

[本文引用: 1]

Qiao H W， Zhang P， Li Z， et al.

A new geostationary satellite-based snow cover recognition method for FY-4Y AGRI

［J］. IEEE J-STARS，2021，14：11372-11385. DOI：10.1109/JSTARTS.2021.3125015 .

[本文引用: 1]

Xu M， Deng F R， Jia S， et al.

Attention mechanism-based generative adversarial networks for cloud removal in Landsat images

［J］.Remote Sensing of Environment，2022，271：112902. DOI：10.1016/j.rse.2022.112902 .

[本文引用: 1]

Xiang M X， Li Y X， Fei G Q， et al.

Development of cloud recognition system for ground-based cloud images based on machine vision

［C］∥ Proceedings of the 5th Advanced Information Technology， Electronic and Automation Control Conference（IAEAC），2021：98-101. DOI：10.1109/IAEAC 50856.2021.9391069 .

[本文引用: 1]

Sergey I， Christian S.

Batch normalization： accelerating deep network training by reducing internal covariate shift

［C］∥ Proceedings of the 32nd International Conference on Machine Learning （ICML）， 2015： 448-456.

[本文引用: 1]

Nair V， Hinton G E.

Rectified linear units improve restricted Boltzmann machine

［C］∥ Proceedings of the 27th International Conference on Machine Learning（ICML），2010，47：16-29.

[本文引用: 1]

Huang G， Liu Z， Weinberger K Q， et al.

Densely connected convolutional networks

［C］∥ Proceedings of the 30th IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2017： 2261-2269.

[本文引用: 1]

Srivastava N， Hinton G， Krizhevsky A， et al.

Dropout： A simple way to prevent neural networks from overfitting

［J］. Journal of Machine Learning Research，2014，15（1）：1929-1958. DOI：10.5555/2627435.2670313 .

[本文引用: 1]

Mikolov T， Chen K， Corrado G， et al.

Efficient estimation of word representations in vector space

［C］∥ Proceedings of the 1st International Conference on Learning Representations （ICLR）， 2013： 1-12.

[本文引用: 1]

Hensman J， Fusi N， Lawrence N D.

Gaussian processes for big data

［C］∥ Proceedings of the 29th Conference on Uncertainty in Artificial Intelligence （UAI）， 2013：282-290.

[本文引用: 1]

Zhang Zhi， Dong Fuan， Wu Youli.

Estimation of fractal dimension for 2-D gray image

［J］. Computer Applications， 2005， 25（12）： 2853-2855.

[本文引用: 1]

张志，董福安，伍友利.

二维灰度图像的分形维数计算

［J］.计算机应用，2005，25（12）：2853-2855.

[本文引用: 1]

Shan Na， Zheng Tianyao， Wang Zhensong.

High-speed and high-accuracy algorithm for cloud detection and its application

［J］. Journal of Remote Sensing， 2009， 13（6）： 1138-1155.

[本文引用: 1]

单娜，郑天垚，王贞松.

快速高准确度云检测算法及其应用

［J］.遥感学报，2009，13（6）：1138-1155.

[本文引用: 1]

Chen Qiang， Tian Jie， Huang Haining.

Study on SAS image segmentation using SVM based on statistical and texture features

［J］. Chinese Journal of Scientific Instrument， 2013， 34（6）： 1413-1420.

[本文引用: 1]

陈强，田杰，黄海宁，等.

基于统计和纹理特征的SAS图像SVM分割研究

［J］.仪器仪表学报， 2013， 34 （6）： 1413-1420.

[本文引用: 1]

Han Dongchen， Shang Yaceng， Lai Yueshen.

Illumination-Invariant image for shadow removal method

［J］. Journal of Xi’an Technological University，2021，41（6）：691-695.

[本文引用: 1]

韩东辰，尚雅层，来跃深.

一种光照无关图阴影去除方法

［J］.西安工业大学学报， 2021， 41 （6）： 691-695.

[本文引用: 1]

Hong D F， Gao L R， Yokoya N，et al.

More diverse means better： Multimodal deep learning meets remote-sensing imagery classification

［J］.IEEE Transactions on Geoscience and Remote，2021，59（5）：4340-4354.DOI：10.1109/TGRS.2020.3016820 .

[本文引用: 1]

/

〈 〉