基于CNN和农作物光谱纹理特征进行作物分布制图
Crop Mapping Using Remotely Sensed Spectral and Context Features based on CNN
收稿日期: 2018-06-25 修回日期: 2019-04-21 网络出版日期: 2019-09-19
基金资助: |
|
Received: 2018-06-25 Revised: 2019-04-21 Online: 2019-09-19
作者简介 About authors
周壮(1990—),男,江苏徐州人,助理工程师,主要从事遥感技术应用研究E⁃mail:
关键词:
Keywords:
本文引用格式
周壮, 李盛阳, 张康, 邵雨阳.
Zhou Zhuang, Li Shengyang, Zhang Kang, Shao Yuyang.
1 引 言
按照分类器划分,常用的农作物遥感分类方法有:① 最大似然分类[4,5]。该方法假定各类别特征信息为正态分布,利用统计方法根据贝叶斯准则建立判别函数以实现分类。如刘克宝等[6]以RapidEye高分辨率影像为数据源,采用最大似然监督分类实现黑龙江省肇东市玉米、水稻、大豆等农作物的精细提取。由于遥感信息统计分布的复杂性和随机性,当各类别特征空间分布与预先假设分布不符时,分类结果与实际会存在偏差;② 神经网络方法[7,8]。该方法以分类特征为输入层,输出类别为输出层,并设置隐藏层作为输入和输出层之间的非线性映射实现分类。如熊勤学等[9]选取夏秋作物轮作期和MODIS NDVI均值为标准,采用BP神经网络法,有效提取湖北省江陵区中稻、晚稻、棉花3种作物类型。传统的神经网络层数较少,面对复杂分类问题时其泛化能力受到一定制约;③ 决策树分类[10,11,12,13]。该方法通过一些判断条件对输入特征逐步进行二分和细化,以实现分类。如李晓慧等[14]基于多时相Landsat 8数据,通过构建决策树模型,实现温宿县水稻、玉米、小麦等多种农作物种植区域的分类提取。由于决策树方法特征判别阈值的选取具有较强的主观性,且未必是作物识别的最优特征量,使得识别结果的精度无法保证,适用性受限; ④ 支持向量机(SVM)[15,16]。该方法建立在统计学习和结构风险最小化理论基础上的非参数分类器,通过构造超平面实现分类,在解决非线性、高维模式识别中具有很多优势,并广泛应用于农作物遥感分类。如平跃鹏等[17]通过组合NDVI波段、物候参数及归一化水体指数,利用SVM成功提取松嫩平原大豆、玉米、水稻三种农作物种植信息。
Khatami等[18]对近15 a发表在国际高水平期刊中的地表覆盖遥感分类方法进行精度统计,结果显示SVM整体精度最高,优于最大似然、神经网络、决策树等其他常规分类方法。
鉴于此,以Landsat8 OLI影像为数据源,以河南省原阳县为研究区,利用CNN分类算法进行光谱与纹理特征相结合的农作物遥感分类与分布制图研究。主要从CNN与常规SVM分类对比、光谱与纹理特征结合两个方面探讨多光谱遥感影像CNN农作物分布制图的方法。
2 实验区与数据
2.1 研究区概况
研究区原阳县位于河南省北部,黄河北岸,地势西南偏高,东北偏低,地理位置:113.36~114.15°E,34.55~35.11°N,区域总面积1 339 km² (图1),属温带大陆性季风气候,平均气温14.4 ℃,平均降水量547 mm。
图1
原阳县是农业大县,秋收农作物种植结构复杂,以水稻、玉米和花生为主。其中,水稻5月中下旬播种,10月中上旬收获,玉米、花生是6月上旬播种,9月下旬收获。
2.2 实验数据
2.2.1 遥感数据
为充分利用农作物季相节律特征,选择研究区秋收农作物生长周期内多时相遥感影像为数据源。剔除云覆盖较多的影像后,共获取4景Landsat 8 OLI多光谱影像与1景高分二号(GF-2)PMS高分辨率影像(表1),其中10月16日对应影像中玉米虽已收获,该影像仍可为非玉米作物的分类提取提供有效的数据支持。各影像对应的农作物物候历信息见表2. 其中,Landsat影像选择30 m分辨率的2~7波段进行分类实验,6个波段依次为蓝、绿、红、近红和两个短波红外波段;高分二号影像空间分辨率为0.8 m,共4个波段,对应为蓝、绿、红和近红,可通过目视解译分辨不同农作物,该影像用于与分类结果进行局部空间分布对比,以补充地面调查样点的精度验证,实现更全面的验证分析。遥感影像在应用前均借助ENVI软件进行辐射定标、大气校正等处理,并通过ERDAS软件进行几何校正,误差控制在1个像元。
表1 遥感影像列表
Table 2
编号 | 时相 | 传感器 | 空间分辨率/m | 云量/% |
---|---|---|---|---|
1 | 2015年7月28日 | OLI | 30 | 1.9 |
2 | 2015年8月13日 | OLI | 30 | 4.7 |
3 | 2015年9月14日 | OLI | 30 | 0 |
4 | 2015年10月16日 | OLI | 30 | 0 |
5 | 2015年8月28日 | PMS | 0.8 | 0 |
表2 影像对应农作物物候历
Table 2
日期 | 07-28 | 08-13 | 09-14 | 10-16 |
---|---|---|---|---|
水稻 | 分蘖 | 抽穗 | 成熟 | |
玉米 | 拔节 | 成熟 | ||
花生 | 开花 | 下针 | 成熟 |
2.2.2 地面调查数据
地面调查数据获取时间为2017年7月,为减少卫星过境与地面测量实验时间不匹配带来的误差影响,并考虑道路可达性因素,选择种植结构稳定的13个村庄作为采样区,以确保样本数据的准确性。最终,获取水稻、玉米、花生等主要农作物的地表覆盖信息,并记录经纬度及作物照片,地面调查样点分布如图1所示。
将野外调查数据结合遥感图像目视解译结果作为本研究的样本数据,共1680个像元,包括水稻、玉米、花生、其他(建筑、道路和水体)共4类地物。随机将样本数据分为训练集(30%)、验证集(10%)和测试集(60%)3部分,见表3. 其中训练集用于模型的训练;验证集用于训练阶段模型的损失评估,以确定合理的参数,优化模型等;测试集作为独立样本用于最终分类结果的精度验证。
表3 样本数据列表
Table 3
编号 | 类别 | 训练集 | 验证集 | 测试集 |
---|---|---|---|---|
1 | 水稻 | 133 | 45 | 267 |
2 | 玉米 | 125 | 42 | 251 |
3 | 花生 | 92 | 30 | 183 |
4 | 其他 | 154 | 51 | 307 |
3 研究方法
基于多时相Landsat 8 OLI影像构建光谱数据集,利用搭建的CNN模型对数据集进行光谱特征提取与农作物分类,并与常规SVM方法进行对比。进一步,在光谱数据基础上引入纹理特征,通过计算灰度共生矩阵,提取影像纹理信息,结合多光谱影像构建光谱+纹理特征数据集,基于CNN提取农作物的光谱、纹理特征以实现分类,并与单一光谱特征分类结果进行对比分析。总体技术流程图见图2。
图2
3.1 数据集构建
地物光谱反射率的差异性特征是农作物分类识别的基础,作物生长期内多个时相的遥感影像能够增加作物反射率信息量,可缓解“异物同谱”现象。对4景预处理后的多光谱影像进行堆叠得到光谱数据集,共4×6=24维,包含农作物光谱、时相等信息。
纹理信息反映图像像元邻域灰度空间的分布规律,描述影像表面内在的特性以及周边环境的关系。农作物具有鲜明的纹理特征,可辅助光谱、时相特征,抑制“同物异谱”现象,提高遥感分类识别的精度。灰度共生矩阵是遥感图像最常用的纹理提取方法,本文首先对24维光谱数据集进行主成分变换,选择3×3大小移动窗口,对第一主成分进行灰度共生矩阵计算,得到方差、信息熵、二阶矩和灰度相关4种最常用于农作物分类的纹理特征[24]。结合光谱数据得到光谱+纹理特征数据集,共4×6+4=28维。
上述两种数据集包含的各像元光谱、光谱+纹理特征需进一步处理,转化为图像才能输入CNN模型进行训练和分类。首先对数据集各波段进行归一化处理,数据范围统一至[0,255],以减少数据范围不一致所带来的误差影响,进一步逐像元提取数据向量,并转化为灰度图像。“光谱数据集”与“光谱+纹理特征数据集”的图像转化流程见图3,分别获取1×24维、1×28维灰度图像。
图3
3.2 CNN模型
CNN是一种带有卷积结构的深度神经网络,也是最具代表性的深度学习模型之一,其局部连接和权重共享的特点在二维图像处理上具有突出优势,网络可对输入的图像自行抽取特征,实现目标识别、分类等应用[25]。
典型的CNN包括输入层、卷积层,池化层,全连接层及输出层等,其中卷积层和最大池化层是实现特征提取功能的核心模块[26]。
假设输入图像为
其中:
池化层又称作降采样层,通常在卷积层之后,依据一定的规则对卷积特征进行降维。通过将卷积特征划分为多个
假设
池化层的作用主要为:① 通过对特征图进行降维处理,降低计算复杂度;② 保持特征平移不变性,即使图像有小的位移,提取到的特征依然会保持不变[28]。
经过多个卷积层和池化层的交替传递,提取的特征通过全连接层连接并采用softmax回归得到基于输入的概率分布
CNN本质是实现原始矩阵
3.3 基于CNN的农作物分类
CNN设计主要考虑网络层数、卷积核大小、卷积核数量、卷积核步长、激活函数类型、池化核大小等。由于本研究用于训练和识别的灰度图像尺寸较小(1×24及1×28),当网络层级过深,特征图经过多次卷积、池化后缩小至无法继续在网络传输,当网络层级过浅的时,特征映射层级较少,获取的特征可区分性有限,无法充分利用CNN提取高层、本质特征的优势,因此层数过多、过浅的网络均不适用。考虑本研究所用数据的特征维度,设计用于农作物分类的CNN网络为8层,包括输入层、两个卷积层、两个最大池化层、两个全连接层和一个Softmax分类层。以输入为1×28维的图像为例,模型结构如图4所示。
图4
首先第一个卷积层使用6个1×5的卷积核对1×28的灰度图像进行步长为1的滤波处理,生成6个1×24(28-5+1=24)的特征图;然后经过第一个最大池化层进行下采样处理,生成6个1×12(24/2=12)的特征图;第二个卷积层使用16个1×5的卷积核对1×12的特征图进行步长为1的卷积处理,生成16个1×8(12-5+1=8)的特征图,再经过第二个最大池化层采样,生成16个1×4(8/2=4)的特征图;随后经过第一个全连接层,产生120个神经元,并经过ReLu函数产生的神经元作为第二个全连接层的输入;第二个全连接层共产生84个神经元,同样经过ReLu激活函数,并作为Softmax层的输入,最终输出4类概率结果。
根据地面调查确定的样本数据(训练集、验证集、测试集)分别提取光谱数据集、光谱+纹理特征数据集对应的标签图像。两种数据集对应用于模型训练和最终精度验证的标签图像所代表的像元,在空间分布上严格一致,以减少因标签图像不匹配而影响两组结果的对比。训练过程所用标签图像共计672景,其中504景用于模型训练,168景用于训练过程中的损失评估以优化参数权重。其余1 008景标签图像作为独立样本,用于模型的精度验证。
两组实验对应模型的结构、参数如层数、卷积核大小、卷积核数量、步长、池化核大小、激活函数等均一致。仅因输入图像尺寸区别,模型计算过程中提取的特征图大小存在差异。两组实验均在学习率为0.005的条件下,经过50 000次迭代完成训练。
利用训练好的模型分别对应的光谱数据集与光谱+纹理特征数据集进行逐像元识别应用,可分别获取两种农作物分类结果。
4 结果与分析
4.1 结果
本实验的CNN模型在Caffe平台下搭建完成并完成训练与分类应用,实验环境为1台PC机,配置为Intel(R) Core(TM)i7-6700 CPU@2.60GHz,Nvidia GeForce GTX 530 GPU。
图6
表4 SVM混淆矩阵结果
Table 4
类别 | 水稻 | 玉米 | 花生 | 其他 | 总计 | UA/% |
---|---|---|---|---|---|---|
PA/% | 93.45 | 88.84 | 86.03 | 96.04 | ||
水稻 | 257 | 4 | 4 | 2 | 267 | 96.25 |
玉米 | 7 | 223 | 14 | 7 | 251 | 88.84 |
花生 | 9 | 17 | 154 | 3 | 183 | 84.15 |
其他 | 2 | 7 | 7 | 291 | 307 | 94.79 |
总计 | 275 | 251 | 179 | 303 | 1 008 |
表5 基于光谱信息的CNN分类混淆矩阵结果
Table 5
类别 | 水稻 | 玉米 | 花生 | 其他 | 总计 | UA/% |
---|---|---|---|---|---|---|
PA/% | 95.24 | 93.28 | 94.15 | 97.11 | ||
水稻 | 260 | 1 | 1 | 5 | 267 | 97.38 |
玉米 | 8 | 236 | 6 | 1 | 251 | 94.02 |
花生 | 3 | 16 | 161 | 3 | 183 | 87.98 |
其他 | 2 | 0 | 3 | 302 | 307 | 98.37 |
总计 | 273 | 253 | 171 | 311 | 1 008 |
表6 基于光谱和空间信息的CNN分类混淆矩阵结果
Table 6
类别 | 水稻 | 玉米 | 花生 | 其他 | 总计 | UA/% |
---|---|---|---|---|---|---|
PA/% | 96.69 | 94.80 | 94.94 | 98.38 | ||
水稻 | 263 | 0 | 1 | 3 | 267 | 98.50 |
玉米 | 7 | 237 | 6 | 1 | 251 | 94.42 |
花生 | 1 | 12 | 169 | 1 | 183 | 92.35 |
其他 | 1 | 1 | 2 | 303 | 307 | 98.70 |
总计 | 272 | 250 | 178 | 308 | 1 008 |
表7 三种方法的分类精度和Kappa系数
Table 7
分类方法 | 总体精度/% | Kappa系数 |
---|---|---|
SVM分类 | 91.77 | 0.889 |
基于光谱的CNN分类 | 95.14 | 0.934 |
基于光谱+空间的CNN分类 | 96.43 | 0.952 |
4.2 对比分析
基于光谱信息的农作物分类验证结果显示,CNN方法的总体精度、Kappa系数、各类别对应的制图精度、用户精度等评价指标均高于SVM分类法。其中CNN总体精度为95.14%,SVM总体精度为91.77%。CNN不仅可以用于面向多光谱遥感影像的农作物分类,而且其多层非线性变换的组合方式,不断地将农作物光谱信息变换到新的特征空间,获取更抽象、更有效的高层特征表示,可实现相比较SVM常规分类方法更精准的识别。
与基于光谱信息的分类结果相比,引入纹理信息后,综合光谱与纹理特征的CNN农作物分类的各精度评价指标均得到进一步提升,其中总体精度为96.43%,Kappa系数为0.952。本文引入的纹理特征中,方差可反映影像的边缘效应特征,增强影像中植被的信息;信息熵表示影像空间复杂性和均匀性的特征,包含植被地块单元的信息;二阶矩反映影像纹理全局均匀性的特征,可增强植被信息较弱区域的信号强度;灰度相关通过检测邻域均值、方差的空间变化和几何结构,增强地块单元的结构信息。上述表征地物分布结构的纹理特征能有效用于农作物的分类识别,通过人为干预,对遥感影像进行处理,在光谱信息基础上扩充纹理等特征参量,可有效提高基于CNN的农作物分类精度。
此外,3种分类结果中对应各类农作物的用户精度均为水稻精度最高,玉米次之,花生精度最低。原因在于,受灌溉条件等影响,水稻种植区域分布集中,且其地表含水量高于其他作物,使得水稻在近红外波段反射率明显高于其他两种作物(见图5)。由于这种明显的光谱差异,使得水稻分类结果的验证精度最高。该区域花生多为小块田地种植,在图像中容易形成混合像元,验证精度相对较低。
图5
图5
农作物近红外反射率变化曲线
Fig.5
The NIR spectral value curves of crop in difference times
为了更直观地对比3种分类结果的细节信息与实际地物的吻合程度,选取局部图与对应区域的高分二号高分辨率真彩色遥感影像进行空间分布对比,见图7。通过目视可清晰辨认高分二号影像中水稻、玉米、建筑、道路等地物。图7中1号区域位置为地面调查样区之一,为独立的水稻种植地,周边为玉米,与高分影像中目视识别结果一致。基于CNN的两种结果均正确识别出该地块农作物类别,而SVM方法则误判为玉米,说明CNN方法提取的农作物特征不受周围地物的干扰,对种植区域较小的农作物仍能实现准确的识别。此外,从高分二号影像中还可以清晰辨认该区域的道路信息,如位置2,分类结果中仅基于光谱和纹理特征的CNN分类成功提取出道路,其它两种结果均将道路误判为农作物。由于道路较窄,容易与农作物组成混合像元,对应光谱特征与其他地物混淆,导致识别错误。而通过引入纹理信息,CNN能够捕捉道路在影像中反映出的灰度变化规律,强化其特征表达,进一步被准确识别。说明引入纹理信息后,基于CNN的分类结果在空间分布上具有更准确的细节刻画能力,可准确区分花生、道路等精细地物。
图7
5 结 语
基于多时相的Landsat 8 OLI多光谱遥感数据,以多时相多光谱及纹理信息作为分类特征,以河南省原阳县为研究区,搭建CNN模型分类器,分别对光谱信息、光谱与纹理信息进行农作物特征提取与分类,实现该区域农作物分类与分布制图,并得出以下结论:
(1) CNN可面向多光谱遥感影像实现农作物分类与制图,且具备逐层提取农作物高层特征表示的方法优势,其分类精度优于常规SVM方法。
(2) 基于光谱与纹理特征的CNN农作物分类,其验证精度和空间分布均优于单一光谱分类结果。说明纹理信息可有效用于农作物的分类,通过人为扩充遥感影像的纹理特征参量,可有效提高基于CNN的多光谱遥感影像农作物分类制图效果。
本文提出的作物分类制图方法,通过将多光谱遥感影像中地物光谱、纹理信息经过多层级的非线性映射,不断转化为更高层、本质的特征用于分类,最终在验证精度和空间分布上较常规方法均有提升,为实现种植结构复杂区域的农作物分布制图提供一种可行方法。其中,光谱信息对CNN最终提取的特征中贡献最大,农作物间的光谱差异性仍是该方法分类的理论基础,纹理信息主要用于辅助增强花生、道路等较小地物的特征表达,消减混合像元的影响,以优化最终分类结果。
本研究面向多光谱遥感影像的农作物CNN制图是基于像元的分类,影像中像元包含的特征仅包括波段反射率、纹理特征,其维度较小,面向较深层级的CNN时,特征图在提取过程中不断缩小,以致无法在网络中继续传输,因此并不适用。而当网络层级较少时,特征非线性转化操作较少,不能充分利用CNN逐层映射提取的优势,无法获取本质、区分性更强的特征,影响最终分类精度。本文设计的8层CNN模型可面向多光谱遥感影像开展光谱纹理特征的作物分类与制图应用,对特征维度相近的数据,模型具有一定的可推广性。
此外,不同光谱波段反射率表征的农作物植被信息及其生长状态等存在相关性,对多光谱反射率进行分析组合及非线性运算,可构建植被指数以增强不同作物间差异性的特征表达并弱化非作物的信号。通过扩充植被指数等特征,提高输入信息的有效性,以优化基于CNN的作物分类与制图的方法是本研究后续的工作方向。当输入的特征维度扩充后,也可进一步分析研究网络层级、参数对分类的影响,充分挖掘CNN的技术优势,以获取表现更优的模型。
参考文献
Recent Progresses in Monitoring Crop Spatial Patterns by Using Remote Sensing Technologies
[J].
农作物空间格局遥感监测研究进展
[J]. ,
Mapping Paddy Rice Agriculture in South and Southeast Asia Using Multi-temporal MODIS Images
[J]. ,
Spectral Information based Model for Cotton Identification on Landsat TM Image
[J].
TM影像中基于光谱特征的棉花识别模型
[J]. ,
Accuracy Improvement of Spectral Classification of Crop Using Microwave Backscatter Data
[J].
微波后向散射数据改进农作物光谱分类精度研究
[J]. ,
Evaluating High Resolution SPOT 5 Satellite Imagery for Crop Identification
[J]. ,
Extraction on Cropping Structure based on High Spatial Resolution Remote Sensing Data
[J].
利用高空间分辨率遥感数据的农作物种植结构提取
[J]. ,
Identification Methods of Crop and Weeds based on VIs/NIR spectroscopy and RBF-NN model
[J].
基于光谱和神经网络模型的作物与杂草识别方法研究
[J]. ,
Study on Methods Comparision of Typical Remote Sensing Classification based on Multi-temporal Images
[J].
多时相影像的典型区农作物识别分类方法对比研究
[J]. ,
Estimation of Autumn Harvest Crop Planting Area based on NDVI Sequential Characteristics
[J].
利用 NDVI 指数时序特征监测秋收作物种植面积
[J]. ,
Crop Type Mapping Using Spectral-temporal Profiles and Phenological Information
[J]. ,
Extraction of Winter Wheat Planted Area in Jiangsu Province Using Decision tree and Mixed-pixel Methods
[J].
基于决策树和混合像元分解的江苏省冬小麦种植面积提取
[J]. ,
Cotton Extraction Method of Integrated Multi-features based on Multi-temporal Landsat 8 Images
[J].
综合多特征的 Landsat 8 时序遥感图像棉花分类方法
[J]. ,
Extraction on Crops Planting Structure based on Multi-temporal Landsat 8 OLI Images
[J].
基于多时相Landsat 8 OLI影像的作物种植结构提取
[J]. ,
Study on Crops Remote Sensing Classification based on Multi-temporal Landsat 8 OLI Images
[J].
基于多时相Landsat 8 OLI 影像的农作物遥感分类研究
[J]. ,
A Feature Selection Algorithm for Hyperspectual Data with SVM-RFE
[J].
一种SVM-RFE高光谱数据特征选择算法
[J]. ,
Research on Jypical Crop Classification based on HJ-1A Hyperspectral Data in the Huangshui River Basin
[J].
基于HJ-1A高光谱遥感数据的湟水流域典型农作物分类研究
[J]. ,
Crop Identification based on MODIS NDVI Time-series Data and Phenological Characteristics
[J].
基于 MODIS 时间序列及物候特征的农作物分类
[J]. ,
A Meta-analysis of Remote Sensing Research on Supervised Pixel-based Land-cover Image Classification Processes: General Guidelines for Practitioners and Future Research
[J]. ,
Imagenet Classification with Deep Convolutional Neural Networks
[C].
Deep Supervised Learning for Hyperspectral Data Classification Through Convolutional Neural Networks
[C]⫽,
Saliency-Guided Unsupervised Feature Learning for Scene Classification
[J]. ,
CNN with Coefficient of Variation-based Dimensionality Reduction for Hyperspectral Remote Sensing Images Classification
[J].
变异系数降维的CNN高光谱遥感图像分类
[J]. ,
Research on Peanut Planting Area Classification Technology Using Remote Sensing Image based Deep Learning
[J].
采用深度学习的遥感图像花生种植区域分类技术研究
[J].,
Extracting Corn Planting Area by Multi-source Data with SVM Mixed-field Decomposed Method
[D].
多源信息复合的 SVM 混合地块分解法提取玉米种植面积
[D].
Gradient-based Learning Applied to Document Recognition
[J]. ,
Reducing the Dimensionality of Data with Neural Networks
[J]. ,
Deep Convolutional Neural Networks for Hyperspectral Image Classification
[J]. ,
Spectral–spatial Classification of Hyperspectral Images Using Deep Convolutional Neural Networks
[J]. ,
/
〈 | 〉 |