整合无人机和面向对象的农村居住环境信息提取
1.
2.
Integrating UAV and Object-based Image Analysis for Rural Residential Environment Information Extraction
1.
2.
通讯作者:
收稿日期: 2019-03-12 修回日期: 2020-05-16 网络出版日期: 2020-07-03
基金资助: |
|
Received: 2019-03-12 Revised: 2020-05-16 Online: 2020-07-03
作者简介 About authors
郝睿(1994—),男,山东淄博人,硕士研究生,主要从事无人机遥感研究E⁃mail:
关键词:
Keywords:
本文引用格式
郝睿, 李兆富, 张舒昱, 潘剑君, 姜小三, 张文敏, 宋金超.
Hao Rui, Li Zhaofu, Zhang Shuyu, Pan Jianjun, Jiang Xiaosan, Zhang Wenmin, Song Jinchao.
1 引 言
乡村振兴是关系国计民生的根本问题,是我国现阶段的重中之重[1,2]。实施乡村振兴战略很重要的一条原则就是坚持人与自然和谐共生。但由于新农村建设的深入和城市的不断扩张,我国农村环境生态问题突出,形势严峻。治理农村环境,首先要对农村环境有更进一步的认知和了解,但目前乡村振兴下的农村环境调查缺乏已有技术产品下的数据支撑。农村环境包括农村居住区及其周边生态环境。先前研究人员提取农村环境中的农田、植被、湿地、道路和房屋等各类地物[3,4]。然而,研究者并没有充分聚焦在农村居住区。农村居住区作为人们生活居住的地方,其居住密度、绿地空间、道路通达性、水热使用条件等与村民的生活质量密切相关。同时,这些内部环境因素也会影响其周边生态环境。在这种情况下,准确了解农村居住环境状况,对农村环境进行有效的评价和监测是十分必要的,将有利于农村环境的治理和建设,对解决乡村空心化、污损化等五化问题具有重要应用意义。
目前研究人员对农村环境的研究并没有专门聚焦在农村居住区,并且尚不清楚面向对象分析中哪种分类方法更适合提取农村居住环境信息。因此,为了更好地整合无人机和面向对象制图农村居住环境,本研究的目的是构造一个综合技术框架,使用高分辨率无人机影像,集成专家规则集和监督分类算法,提取各类农村居住环境信息。该框架的一个目标是提取一种典型的小型人造对象,即太阳能热水器(SWH,Solar Water Heater)。首先进行数据获取和预处理;然后多尺度分割算法用来分割经过预处理的无人机影像,通过ESP工具辅助决定最优的分割尺度参数;分别采用规则集和监督分类算法提取农村居住环境信息;最后采用基于面积的精度评价方法评估分类性能。本文希望通过对提出框架的综合研究为其他使用高分辨率图像的研究者和用户提供科学的支持,为使用无人机研究农村居住环境做出贡献。
2 数据与方法
2.1 研究区概况
选取的研究区为吴村,位于江苏省常州市天目湖镇西南部(图1)。尽管吴村居住区只有4.881 hm2的面积,但它内部有丰富多样的地物信息,包括房屋、道路、太阳能热水器、空地、硬化地面、村庄绿化和阴影等。吴村处于土地利用和土地覆被迅速变化的长江三角洲,拥有东部发达地区农村所共有的地物类型。通过对吴村的研究,可以深入了解我国沿海发达地区农村现状,为研究其他农村地区提供很好的参考。
图1
2.2 框架构造
本文提出的框架应用于提取农村居住环境信息(图2),具体步骤分为5个工作流程(2.3~2.7节)。第一步(2.3节),使用无人机获取研究区的影像,然后使用Agisoft Photoscan软件对图像进行预处理;第二步(2.4节),eCognition软件用来对影像进行多尺度分割,然后确定最优分割尺度参数;第三步(2.5节)利用专家规则集提取农村居住环境中各类地物;第四步(2.6节)使用3种监督分类算法,选取不同的训练样本和特征对农村居住环境进行分类;在工作流程的最后一步(2.7节)中,使用基于面积的方法评估分类结果的准确性。
图2
2.3 数据获取和预处理
使用的无人机为大疆精灵4 Pro,由可拆卸的现成组件构成,携带可见光数码相机。2017年3月26日,天气状况良好,风力2~3级,在300 m的高度使用无人机对吴村进行航拍。为了覆盖整个农村地区,保证获得高质量影像,设置飞行航向重叠率为80%和旁向重叠率为60%。精灵4 Pro相机的焦距为8.8 mm,这可以增加图像重叠,减少飞行时间和所需照片数量。相机的分辨率为5 472×3 678像元,生成的每张图像大小为438 m×294 m,地面分辨率为0.08 m。为了提高预处理过程中输出产品的精度,采用载波相位差分(RTK, Real-time kin) 技术获取16个地面控制点,包含点坐标、点记录和点位置图像。在使用无人机图像时总是需要预处理,如空三加密、正射校正和拼接。因此选择Agisoft Photoscan[20]作为图像处理软件进行匹配、空三加密、正射校正和拼接。
2.4 图像分割和分割尺度的确定
2.4.1 图像分割
2.4.2 最优分割尺度的确定
2.5 基于专家规则集的分类
2.5.1 太阳能热水器的提取
模板匹配是在数字图像处理中寻找与模板图像匹配的图像部件的一种技术[25]。在本研究中使用模板匹配算法结合阈值规则提取农村居住环境中的太阳能热水器。对生成的模板进行测试,将测试好的样本应用于整个影像得到模板匹配结果,命名为Solar_Buffer。
2.5.2 其他地物的提取
在eCognition中不同地物特征被量化后以相应的数值表示,分割后每一个对象都有自己不同的特征值,而一定区间段内的数值就是某类地物所共有的特征值,最终通过使用不同特征指数构建规则集提取各类地物信息。eCognition软件中除内置特征指数以外,还允许自定义特征指数。为更好地提取农村居住环境信息,本文选取表1中指数作为提取对象时的自定义特征指数。
表1 选择的特征指数
Table1
指数 | 公式 | 参考 |
---|---|---|
r | R/(R+G+B) | Torres-Sanchez等[26] Sellaro等[27] Raymond等[28] Torres-Sanchez等[26] Meyer等[29] Louhaichi等[30] |
g b 红绿比指数(RGRI, Red Green Ratio Index) | G/(R+G+B) | |
B/(R+G+B) R/G | ||
蓝绿比指数(GBRI, Green Blue Ratio Index) | G/B | |
红蓝比指数(RBRI, Red Blue Ratio Index) 归一化绿红差异指数(NGRDI, Normalized Green Red Difference Index) | R/B G-R/G+R | |
归一化蓝红差异指数(NBRDI, Normalized Blue Red Difference Index) | B-R/B+R | |
归一化蓝绿差异指数(NBGDI, Normalized Blue Green Difference Index) 过绿指数(ExG, Excess Green) 过绿减过红指数(ExGR, Excess Green Minus Excess Red) 绿叶指数(GLI, Green Leaf Index) | B-G/B+G 2g-r-b ExG-(1.4r-g) 2G-R-B/2G+R+B |
2.6 监督分类
2.6.1 训练样本和特征的选择
表 2 方案A、B、C和D的描述
Table2
方案 | 特征的数量 | 训练样本数量 | 对象数量 | 训练集比/% |
---|---|---|---|---|
A | 23 | 140 | 6 685 | 2 |
B | 32 | 340 | 6 685 | 5 |
C | 32 | 440 | 6 685 | 6.5 |
D | 23 | 440 | 6 685 | 6.5 |
2.6.2 分类使用3个不同分类器
本文选用支持向量机(SVM)、随机森林(RF)和K最近邻(KNN)对农村居住环境进行精细分类。
SVM作为一种监督分类器在机器学习领域非常知名,它通过自动寻找对分类有较大区分能力的支持向量,并构造出分类器,使类之间间隔达到最大化,因此被认为是具有较高分类准确性的算法[32,33]。在SVM分类器中,选择线性核函数,利用GridSearch CV工具进行参数调优,最终确定惩罚系数C=2。Beriman等[34]提出随机森林算法,它是指在由许多相互独立的决策树组成的森林中,从原始的训练数据随机抽取样本后,让森林中的每棵决策树对未标记样本进行判断,然后预测未标记样本类别为所有决策树多数投票的结果[35,36]。在分类过程中,由于特征数量有所改变,因此设置RF预测变量n=0(0代表n被设置为特征总数的平方根),在此基础上对树K进行参数调优,最终通过GridSearch CV工具确定K=150。KNN算法是所有机器学习算法中最简单的算法之一:要预测1个新对象,需要从训练集中找到最接近的K个邻域,然后用它们对最终的预测进行投票(K是一个可调参数,通常很小)[21,37]。在本研究中利用GridSearch CV工具对参数K进行优化,最后确定K=3。
2.7 精度评价
3 结果与分析
3.1 最优分割尺度的确定
图3
表 3 吴村多尺度分割参数
Table3
层 | 尺度 | 形状 | 紧致度 | 对象数量 | 应用 |
---|---|---|---|---|---|
1 | 30 | 0.1 | 0.5 | 16 287 | 太阳能热水器的提取 |
2 | 80 | 0.2 | 0.5 | 4 008 | 农村居住环境中其他地物的提取 |
3 | 50 | 0.2 | 0.5 | 6 685 | 监督分类 |
3.2 农村居住环境规则分类结果分析
表4 多层次分类规则
Table 4
类别 | 层 | 规则 | 备注 |
---|---|---|---|
太阳能热水器 | 1 | Brightness>203, Solar_Buffer>0 | 除了在表 1中的 自定义特征,其余 皆为eCognition软 件内置特征,具体解 释可参照eCognition 用户指导[21] |
道路 | 2 | Brightness>203,Mean R>204 | |
房屋 | 2 | HIS Transformation Hue≥0.79, HIS Transformation Saturation≥0.19, ExGR≦-0.24,NGRDI>0.22,NBGDI>0.03, EXG<-0.047, Area>8 000Pxl, Length/width(only main line)<12 | |
村庄绿化 | 2 | Ratio B≤0.16,Max.dff.>1.2,GLI>0.01 | |
村庄空地 | 2 | -0.047<ExG≤-0.01 Rel.border to unclassified>0 GLCM_Hom<0.23 | |
硬化地面 | 2 | -0.156<ExGR<-0.14, 180<GLCM_Mean<223 Brightness>189,Brightness≥180 | |
阴影 | 2 | Ratio R≤0.13, Mean diff. neighbors R(0)<-41 |
图4
表5 基于规则分类混淆矩阵结果
Table 5
类别 | 房屋 | 街道 | 太阳能热水器 | 村庄空地 | 硬化 地面 | 村庄 绿化 | 阴影 | 房屋 | 道路 | 太阳能热水器 | 村庄 空地 | 硬化 地面 | 村庄 绿化 | 阴影 |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
房屋 | 84 167 | 6 857 | 3 192 | 0 | 3 709 | 6 686 | 0 | 32 | 0 | 2 | 0 | 3 | 1 | 0 |
道路 | 7 523 | 191 949 | 255 | 0 | 69 126 | 0 | 0 | 3 | 22 | 0 | 0 | 16 | 0 | 0 |
太阳能热水器 | 0 | 0 | 1 858 | 0 | 0 | 0 | 0 | 0 | 0 | 23 | 0 | 0 | 0 | 0 |
村庄空地 | 0 | 0 | 0 | 67 149 | 2 098 | 0 | 0 | 0 | 0 | 0 | 16 | 5 | 0 | 0 |
硬化地面 | 4 061 | 0 | 0 | 50 882 | 9 312 | 0 | 0 | 2 | 2 | 0 | 13 | 4 | 0 | 0 |
村庄绿化 | 0 | 0 | 0 | 0 | 0 | 140 949 | 26 742 | 0 | 0 | 0 | 0 | 0 | 24 | 4 |
阴影 PA/% | 0 87.90 | 0 96.55 | 0 35.02 | 0 56.90 | 0 11 | 8 117 90.50 | 78 036 74.48 | 0 86.49 | 0 91.67 | 0 92 | 0 44.83 | 0 14.29 | 3 85.71 | 25 86.21 |
UA/% | 80.16 | 71.40 | 100 | 96.97 | 14.5 | 84.05 | 90.58 | 84.21 | 53.66 | 100 | 76.19 | 19.04 | 85.71 | 89.29 |
OA/% | 75.19 | 73 | ||||||||||||
Kappa 系数 | 0.69 | Kappa系数 | 0.68 |
太阳能热水器的PA和OA值分别为35.02%和100%,说明精度评价方法产生错误。经分析原因,在使用基于面积的精度评价方法时,选择大尺度分割产生的对象作为精度评价的多边形。这些多边形使得房屋和太阳能热水器混合在一个尺度,导致较差的准确性评估。然而基于点的方法可以解决这个问题,表5结果表明太阳能热水器的PA和UA值分别为92%和100%。这说明利用模板匹配算法构建阈值规则提取农村居住区太阳能热水器是可行的。
3.3 农村居住环境监督分类结果分析
4个方案和3个分类器的不同组合生成研究区分类结果(图5)。通过图6可知,在A、B、C和D 4种方案中,RF分类器的分类效果相比SVM和KNN分类器是最好的,在C方案时达到最高,OA值为91.34%。对于RF分类器,A和D,B和C方案之间比较,说明只增加样本对OA值的影响不显著。这是因为RF算法是通过从训练集上有放回地抽样选出固定个数样本生成新的数据集,所以样本增加带来的效果会有所削减。对于SVM分类器,4个方案之间的OA值进行比较,说明随着训练样本和特征数的增加SVM的分类效果变差,各个类别之间存在明显错分(图5)。这与本文选择线性核函数有关系,虽然线性核函数在计算时间、复杂度和参数个数上都存在优势[32],但当训练样本增加远大于特征维度增加时,样本数与特征数之间差距变大,影响分类结果。比较C和D结果,发现当所有特征包含在内时,RF分类精度最高,几何特征集的忽略会导致OA值下降。
图5
图6
图6
4个方案下3个分类器总体精度的比较结果
Fig.6
Comparison results of OA in three classifiers from four schemes
另一方面,对于KNN分类器几何特征集被证明是非关键的,因为当它被忽略时OA值反而增加32%。这说明相比较必要特征集,几何特征集更偏向的是不相关特征,它的加入导致KNN产生维度灾难[39]。
本文仅给出RF分类器在方案C的混淆矩阵结果(表6),因为此时RF分类器的分类结果是所有结果中最好的。村庄空地、房屋和村庄绿化的分类准确率较高,PA值分别为89.54%、98.97%、100%,这说明RF分类器能有效区分农村居住环境中主要地物类型。由于阳光的存在,房屋和村庄绿化在村内产生阴影,这导致阴影和房屋/村内绿化存在误分类。硬化地面的分类效果并不理想,因为道路和硬化地面在研究区中紧邻在一起,并且可见光波段光谱信息非常相近,部分硬化地面被错分为道路。太阳能热水器的PA值为71.93%,原因在于对太阳能热水器分割时产生过分割和欠分割错误,导致对象分割边界不准确,后续分类并不能解决对象边界的不准确和过合并问题。各个地物类别的UA值基本与PA值保持一致。当OA值为91.34%时,误差矩阵的Kappa 系数为0.89,说明分类结果和参考对象之间有良好的一致性。
表6 C方案随机森林分类器混淆矩阵结果
Table 6
类别 | 房屋 | 道路 | 太阳能热水器 | 村庄空地 | 硬化地面 | 村庄绿化 | 阴影 | UA/% |
---|---|---|---|---|---|---|---|---|
房屋 | 118 380 | 0 | 190 | 914 | 0 | 0 | 2 555 | 97 |
道路 | 1 231 | 93 554 | 151 | 0 | 20 528 | 0 | 0 | 81.02 |
太阳能热水器 | 0 | 0 | 2 309 | 0 | 0 | 0 | 0 | 100 |
村庄空地 | 0 | 0 | 0 | 37 820 | 0 | 0 | 0 | 89.54 |
硬化地面 | 0 | 1 156 | 112 | 3 503 | 25 037 | 0 | 0 | 84 |
村庄绿化 | 0 | 0 | 0 | 0 | 0 | 40 779 | 1 813 | 95.74 |
阴影 | 0 | 0 | 448 | 0 | 0 | 0 | 26 193 85.70 | 98.31 |
PA(%) | 98.97 | 98.78 | 71.93 | 89.54 | 54.95 | 100 | ||
OA/%: 91.34 Kappa 系数: 0.89 |
4 讨 论
在面向对象分类中,分割尺度的选择是关键一步。在以往研究中,Kraaijenbrink等[7]使用专家判断的方法确定分割尺度参数;马磊等[19]利用每类地物的平均面积与分割尺度之间的线性关系,以此确定分割尺度;Anders等[40]通过评估分割结果来对尺度参数进行优化;徐凡等[41]通过对比不同分割尺度下的分割质量来确定分割尺度参数。与以上方法相比,使用ESP工具和专家判断决定分割尺度,既考虑到实际地物的特征,又减少对用户的依赖。这是一种更为简单、成熟、高效的方法。使用基于规则的方法提取农村居住环境中的房屋和村庄绿化是可行的,这与Salehi等[12]对房屋、草地提取的研究结果一致。提取裸土和硬化地面,较差的光谱分辨率和相似的纹理、几何条件限制了这3类的分离,给基于规则的分类带来困难,这与宋明辉等对裸土、道路提取的研究结果一致[42]。使用4种方案3种分类器验证训练样本、特征和分类器对分类结果的影响。训练样本总个数分别是140、340和440,训练集率分别是2%、5%、6.5%。在目前研究中训练样本占总样本的比率一般在30%左右[19,43],但是针对高分辨率的无人机影像(分辨率<0.1 m)训练集比可以在一个更低的水平。因为分割尺度越小,产生的分割对象就越均质,分割对象更具有代表性,越容易找到典型的样本,所以训练集比可以设定更小。SVM的线性核是被低估的,在方案A中SVM的OA值为84%(图6),这说明只要构造好合理的训练样本和特征集,线性核可以更好地应用于农村居住环境信息提取,当然这需要进一步的研究。通过比较分析RF分类器拥有更稳定的性能,这与李满春等[3]在利用无人机对农业环境制图分析中得出的结论相同。在农村居住环境信息提取中优先推荐使用RF分类器。
吴村拥有东部发达地区农村所共有的地物类型,其地物类型在东部地区具有代表性,因此所得研究结果可以应用于东部沿海大部分农村地区。
当然这项研究有潜在的局限性。首先仅比较了3个分类器的性能,对于其他分类器还需进一步研究。其次,目前还没有专门评估训练集的方法,本文根据多次实验及专家判断选择140、340、440共3个训练集进行比较分析。
5 结 语
本研究整合无人机和面向对象图像分析技术提取农村居住环境信息,具体研究基于规则和监督分类方法在农村居住环境中的分类结果。结果表明,使用尺度参数评估工具(ESP)工具来辅助确定最优分割尺度参数,这种方法是可行的。基于规则方法提取各类地物的总体分类精度不高,但是该方法对太阳能热水器、房屋和村庄绿化的提取有较好的效果。通过模板匹配结合阈值规则来提取太阳能热水器,太阳能热水器的监测有利于农村太阳能的推广和规划。分析训练样本、特征对随机森林、支持向量机和K最近邻分类器分类结果的影响,证明随机森林分类器有更稳定的性能,在农村居住环境的分类中优先推荐使用随机森林分类器。
本研究的结果有助于更好地理解无人机和面向对象图像分析在农村环境中的应用,为利用面向对象进行高分辨率无人机影像的信息提取提供新的思路。此外,从实际应用的角度来看,随着国家乡村振兴战略的具体实施,本文研究结果改变已有技术产品下农村环境调查缺乏数据支撑的现状,对解决乡村五化问题、农村人居环境治理提供技术支持。这项工作的进一步发展是对农村居住环境的空间分析。
参考文献
Rural Restructuring in China
[J]. ,
Strategic Planning for Rural Revitalization(
乡村振兴战略规划(
A Systematic Comparison of Different Object-based Classification Techniques Using High Spatial Resolution Imagery in Agricultural Environments
[J]. ,
Pattern Identification and Analysis for the Traditional Village Using Low Altitude UAV-borne Remote Sensing: Multifeatured Geospatial Data to Support Rural Landscape Investigation, Documentation and Management
[J].,
. Remote Sensing for China’s Sustainable Development: Opportunities and Challenges
[J].
遥感与中国可持续发展:机遇与挑战
[J]. ,
Science, Technology and the Future of Small Autonomous Drones
[J].,
Object-based Analysis of Unmanned Aerial Vehicle Imagery to Map and Characterisesurface Features on A Debris-covered Glacier
[J]. ,
Extraction and Counting of Populus Euphratica Crown Using UAV Images Integrated with U-Net Method
[J].
集成U-Net 方法的无人机影像胡杨树冠提取和计数
[J]. ,
Geographic Object-based Image Analysis Towards A New Paradigm
[J]. ,
Object-based Image Analysis for Remote Sensing
[J]. ,
Multi-resolution, Object-oriented Fuzzy Analysis of Remote sSnsing Data for GIS-ready Information
[J]. ,
Object-based Classification of Urban Areas Using VHR Imagery and Height Points Ancillary Data
[J]. ,
Hierarchical Extraction of Landslides from Multi-resolution Remotely Sensed Optical Images
[J].,
Effects of Different Spatial Resolution of Remote Sensing Images on Estimation Accuracy of Urban Building Height
[J].
遥感影像空间分辨率对城市建筑物高度估算精度的影响
[J].,
Support Vector Machines in Remote Sensing: A Review
[J]. ,
Research on Extraction of Winter Wheat based on Random Forest
[J].
基于随机森林算法的冬小麦提取研究
[J]. ,
Study on Differences between Sentinel-2A and Landsat-8 Images in Rape Identification
[J].
Sentinel-2A与Landsat-8影像在油菜识别中的差异性研究
[J].,
Comparison of Support Vector Machine, Neural Network, and CART Algorithms for the Land-cover Classification Using Limited Training Data Points
[J]. ,
Training Set Size, Scale, and Features in Geographic Object-based Image Analysis of Very High Resolution Unmanned Aerial Vehicle Imagery
[J]. ,
Study on Mangrove Species Classification based on ZY-3 Image
[J].
基于资源三号影像的红树林物种分类研究
[J]. ,
ESP: A Tool to Estimate Scale Parameter for Multiresolution Image Segmentation of Remotely Sensed Data
[J]. ,
Automated Parameterisation for Multi-scale Image Segmentation on Multiple Layers
[J]. ,
Photovoltaic Panel Extraction from Very High-resolution Aerial Imagery using Region–line Primitive Association Analysis and Template Matching
[J]. ,
Multi-temporal Mapping of the Vegetation Fraction in Early-season Wheat Fields using Images from UAV
[J]. ,
Cryptochrome as A Sensor of the Blue/Green Ratio of Natural Radiation in Arabidopsis
[J]. ,
Evaluation of Digital Photography from Model Aircraft for Remote Sensing of Crop Biomass and Nitrogen Status
[J]. ,
Verification of Color Vegetation Indices for Automated Crop Imaging Applications
[J]. ,
Spatially Located Platform and Aerial Photography for Documentation of Grazing Impacts on Wheat
[J]. ,
Angular Sensitivity Analysis of Vegetation Indices Derived from CHRIS/PROBA Data
[J]. ,
LIBSVM: A Library for Support Vector Machines
[J].
Support Vector Machines for Classification in Remote Sensing
[J]. ,
An Assessment of the Effectiveness of A Random Forest Classifier for Land-cover Classification
[J]. ,
Random Forest Classifier for Remote Sensing Classification
[J]. ,
Non-Parametric Object-based Approaches to Carry Out ISA Classification from Archival Aerial Orthoimages
[J]. ,
Area-Based and Location-Based Validation of Classified Image Objects
[J]. ,
Hubness-aware kNN Classification of High-dimensional Data in Presence of Label Noise
[J].,
Segmentation Optimization and Stratified Object-based Analysis for Semi-automated Geomorphological Mapping
[J]. ,
Research on Classification of Land Cover based on LiDAR Cloud and Aerial Images
[J].
基于激光雷达和航拍影像的城市地物分类研究
[J].,
Remote Sensing Image
[J].
基于高分二号数据的面向对象城市土地利用分类研究
[J].,
/
〈 | 〉 |