基于无人机影像的烟草精细提取
1.
2.
Fine Extraction of Tobacco based on UAV Images
1.
2.
通讯作者:
收稿日期: 2019-07-17 修回日期: 2020-08-21 网络出版日期: 2020-11-26
基金资助: |
|
Received: 2019-07-17 Revised: 2020-08-21 Online: 2020-11-26
作者简介 About authors
夏炎(1995-),女,云南昆明人,硕士,主要从事遥感影像处理研究E⁃mail:
关键词:
Keywords:
本文引用格式
夏炎, 黄亮, 王枭轩, 陈朋弟.
Xia Yan, Huang Liang, Wang Xiaoxuan, Chen Pengdi.
1 引 言
烟草是一种特殊的经济作物,但在生产中由于诸多因素,导致烟草优质低产或者高产劣质,更快速更准确的实时了解和记录烟草的质量产量,成为目前的一大难题。以往受限于遥感影像数据的空间分辨率,要实现精细提取单株烟草非常困难。随着无人机技术的出现和发展,其分辨率高、比例尺大、现势性强和操作方便等优点,为精细提取农作物信息提供了更有力的技术支持[1]。
目前围绕烟草的提取,国内外大多集中于烟草种植面积的提取,其中有学者对山东省临沂市、四川省凉山州普格县和长沙市宁乡横市的烟草种植面积进行提取[7-9];在精细提取方面,多用于玉米、小麦和单木冠幅等;通过结合多种形态学算法对无人机影像上所种植的玉米进行精确提取[10-11];或者分别利用简单线性迭代算法并创建训练分类器,融合不同影像对小麦的穗数进行精细提取和统计[12-14];再有采用自适应分割等算法、顺序阈值、Canny边缘检测和循环Hough变换等算法对柑橘树进行精确提取[15-17];以及结合循环Hough变换算法和随机森林分类器,对马达加斯加东北部种植的丁香树进行精确提取和产量统计[18]。
2 数据来源
该研究以云南省昆明市宜良县某区域无人机影像作为实验数据,该地区地处24°30′36"~25°17′02" N、102°58′22"~103°28′75" E之间,大部分地区的海拔在1 500~1 800 m之间,地势北高南低,气候属于北亚热带季风气候,年平均气温16.3 ℃,境内河流属珠江流域西江水系,主要种植烤烟、玉米等农作物。
实验使用的无人机为中海达iFly-U3电动固定翼无人机,该无人机稳定性较强,支持弹射起飞,定点伞降,该无人机拍摄影像时飞行速度为85 km/h,飞行高度为3 000 m至4 000 m之间,当天拍摄天气情况良好,无遮挡,气温19 ℃;实验中航空摄影仪器采用的相机类型为SONYa7R相机。
实验选取了该地区的两景无人机影像作为数据,如图1所示。两景无人机影像的空间分辨率均为0.05 m,无云雾遮挡,可以满足对于烟叶株数的提取。影像波段数为红绿蓝3个波段,坐标系为WGS-84坐标系。其中,数据一的大小为483像素×491像素,影像区域中的烟草分布和大小较为均匀,少数烟叶叶面较小;单株烟草叶片数量一般为4叶,且呈不规则形状,颜色为青黄色,少数烟叶呈柠檬黄,烟株之间能看到部分土壤和杂草,地物简单,干扰性弱,部分烟叶之间会出现相互遮挡的情况,目视解译时,每一株烟草能被有效辨认,在提取过程中可作为标准参考。数据二的大小为1 113像素×1 154像素,影像区域中的烟株分布相对零散,图片区域的中部、右上部分和右下部分较为密集,左侧部分的烟草较为稀疏且枯萎的烟草较多,叶片颜色为暗黄色,叶片面积偏小,裸露的土壤和杂草偏多,也存在烟叶间相互遮挡的情况,该数据总体数量较多,提取时可经一部验证其有效性,减少偶然性。
图1
3 烟草精细提取方法
本文研究方法分为5个步骤:①采用SLIC算法将无人机影像分割为多个超像素; ②超像素特征选取与构建;③特征统计与分析,获取超像素特征最佳阈值;④通过设定的特征阈值对单株烟草精细提取;⑤对提取的烟草信息进行统计分析和精度评价。具体流程图如图2所示。
图2
3.1 SLIC超像素分割算法
“超像素”是指由很多相似的像素点组合起来的整体,SLIC算法是基于平面空间对颜色相似的像素进行聚类,从而将相似的像素紧凑起来成为一个对象,使用SLIC算法得到的超像素,具有更好的贴合度和紧凑性,得到影像对象的形状较为均匀且大小一致。
SLIC算法的具体实现步骤:
(1)对种子点(聚类中心)初始化:依据所需超像素个数,在目标影像内均匀分散种子点,若设影像由N个像素点组成,分割为K个大小相同的超像素,每一个超像素块的大小为 N/K ,相邻聚类中心的步长约为S=sqrt(N/K)[21]。
(2)在聚类中心的n×n相邻区域内重新选取种子点,计算此相邻区域内全部像素点的梯度值,将中心点移到这个相邻区域中梯度最小的位置,使种子点不会落在梯度较大的边界上,从而不会影像到聚类的效果[21]。
(3)每个种子点周围的每一个像素点都分配标签,定义一个为聚类中心,这与k-means在整幅影像里检索不一样,SLIC的检索范围控制在2S×2S以内。
(4)测量距离涵盖了空间上的距离和颜色上的距离,针对被检索到的像素点,分别计算其与自身中心点的距离,计算方法为:
其中:dc为颜色距离,ds为空间距离,Ns为类内最大空间距离,定义为 Ns=S=sqrt(N/K),适用于每一个聚类,Nc为类内最大颜色距离,随着影像和聚类的不同而不同。由于每一个像素点会被几个种子点搜索到,所以每一个点就会和旁边中心距离选择的最小距离所关联的中心点当作此像素的聚类中心点[22]。
(5)重复上述过程,不断迭代,使得每一个像素点到中心距离不再发生变化。通过实践发现,一般情况下,进行10次迭代过后,就可以达到理想效果[22]。
(6)通过上述优化过后可能会出现的问题:超像素大小太小,每一个单像素被分割为了几个不同的超像素,需要通过增加它们的连通性,将大小太小的像素和周围的像素进行合并,遍历过的像素点的分配对应的标签,直到遍历完成。
将SLIC超像素分割算法与其他算法对比可以发现,它的运行速度更快,有着更高的记忆效率,并且展示了目前最优的边界依从性。这对于高分辨率影像来说,能使分割后的图像最完整地保留边界,这对后期对目标影像的提取起到了至关重要的作用。
3.2 对象特征选择
该研究主要选取了平均值(Mean)、亮度(Brightness)、长宽比(Length/Width)、形状指数(Shape Index)以及红绿蓝这3个波段值7个特征值作为特征参考。
平均值(Mean):由构成对象的全部N个像素的图层值Cn计算得到均值:
亮度(Brightness):
在
长宽比(Length/Width):取影像矩阵长和宽特征值的协方差,得到比值:
其中:eigi 为长(或宽)协方差矩阵的特征值。
形状指数(Shape Index):
其中:e为影像对象的边界长度,A为影像对象的总面积;使用形状指数s可以描述影像对象边界的光滑度,影像对象越破碎,则形状指数越大。
3.3 对象特征构建
自定义植被指数(Custom Vegetation index)O:
其中:G为绿波段值,B为蓝波段值,R为红波段值。
3.4 烟草提取流程
以分割结果和最佳特征的最佳阈值范围为基础,利用逐级分类的方式对烟叶进行精细提取。结合烟叶的形状和颜色等特征,通过对测试条件的判别,筛选出符合条件的对应类别,对该类型再次进行条件筛选,多次迭代,最终得到所需提取的类别。逐级分类结构如图3所示。根部节点为无人机影像图,一级判定条件利用自定义植被指数O的值作为判别依据,当O的值大于0.06且小于0.23是,判定为植被区,否则为非植被区;二级判定条件利用均值对植被区进行判别,均值大于60且小于126的为绿色植物区,否则为非绿色植物区;三级判定条件利用亮度的值对绿色植被区域进行判别,亮度值大于70且小于110的为植被暗部区域,否则为亮部区域,在该实验中,对比烟叶的颜色和其他作物的颜色来看,烟叶颜色交浅,亮度较高;为进一步区分出烟叶和杂草,四级判定条件利用长宽比和形状指数对亮部区域进行判别,长宽比大于1小于1.6且形状指数大于1.1小于1.7的为烟叶区,否则为非烟叶区。最后所需的叶节点的区域为烟草区域,并将该区域烟叶提取出来。
图3
3.5 对比试验
为验证提出方法的有效性,利用最邻近监督分类的方法作为对比实验。利用eCognition8.0软件中多尺度分割的方法建立分割规则,对影像进行分割。在对比实验中,引文eCognition8.0软件中时依据图幅比例尺来确定实际物体的大小,所以图上烟草的大小并不会对实际烟草的大小有影响,所以则将数据一和数据二设置为相同的分割参数。其中,紧致密度(Compact density)为0.8,形状指数(Shape index)为0.2,尺度参数(Scale parameter)为20。首先将影像分为烟草、杂草和裸地3类,并分别进行采样;然后采用最近邻监督分类方法提取烟草;最后通过和实际烟草相对比,计算总体精度、错检率和漏检率。
4 实验结果与分析
4.1 SLIC算法分割结果
该研究利用Matlab2018b软件,实现SLIC算法对影像的分割。目视解译过程可以看出,由于无人机的拍摄高度不同,导致两景影像中烟草烟叶大小相差较大,因此,对于其分割尺度的选取会有差别。经过多次分割实验,确定了数据一较为合适的分割数目为500,数据二较为合适的分割数目为5000。具体分割结果如图4所示,所围成的封闭的不规则形状为一个超像素。
图4
从图4中可以看出,影像分割结果的边界与烟草叶缘依附性和紧致性较好,分割准确,分割后对应的烟叶较为完整。同时分割结果过分割和欠分割的情况较少,这为后续对烟草的信息提取的提供了良好的基础。
4.2 特征最佳阈值选取结果
该实验将影像分为烟草、杂草和裸地三类,创建统计样本,统计结果如图5和6所示,并对每一类的特征值进行计算和对比,得到最佳的特征组合为:自定义植被指数、光谱均值、亮度指数、长宽比和形状指数;通过对特征值进行统计,得到两组数据对应的每一种特征的地物特征分布图。
图5
图6
表1 烟草各特征值最佳阈值表
Table 1
光谱均值 | 自定义 特征 | 长宽比 | 亮度指数 | 形状指数 | |
---|---|---|---|---|---|
最佳阈值(上) | 85.48 | 0.12 | 1.05 | 126.47 | 1.20 |
最佳阈值(下) | 102.04 | 0.16 | 1.50 | 143.95 | 1.42 |
4.3 烟草提取结果
烟草提取结果如图7所示,图7(a)和图7(b)为本文研究方法得到的精细提取结果,白色填充区域为烟草提取面积,线框围成的不规则形状为烟叶叶面,通过对白色区域数量的统计,可以精确得到烟草的株数;通过计算不规则形状的面积得到烟叶面积大小;通过对比所提取的烟叶叶片颜色,判断烟草的质量;根据烟叶的数量、大小和质量,可以大概估算出对应农田中烟草的产量;图7(c)和图7(d)为传统方法的提取结果,该方法不能准确地统计出烟草的实际数目,只能计算出对应的总面积以及总体精度。此外,该方法提取的烟草边界多为锯齿状,叶缘依附性较差,边界杂乱不清晰,过分割与欠分割现象也比较明显,错检和漏检的现象较为严重,烟叶与其他地物混淆,提取出的烟草连成片状,无法分辨出单株的烟草。
图7
根据图7(a)和(b)所得到的提取结果,可将烟叶面积分为3个等级:等级一(叶片面积大于1 m2)、等级二(叶片面积大于0.5 m2小于1 m2)、等级三(叶片面积小于0.5 m2)。其中,数据一烟草实际数量统计为311株,自动提取的烟草株数为308株,面积大于1 m2 有34株,1 m2到0.5 m2的有225株,小于0.5 m2的有49株,准确度为99%,分类稳定性为77.3%。;数据二烟草实际数量统计为1 701株,自动提取的烟草株数为1 677株,其中,面积大于1 m2有268株,1 m2到0.5 m2的有1 134株,小于0.5 m2的有275株,准确率为98.6%,分类稳定性78.2%。具体情况如表2所示。
表2 烟叶面积分级统计结果
Table 2
面积级别 | 等级一 | 等级二 | 等级三 |
---|---|---|---|
数据一烟叶株数 | 34 | 225 | 49 |
数据一烟叶株数 | 268 | 1 134 | 275 |
4.4 精度评价
从对烟草株数提取的实验结果可以看出,通过提出方法自动提取的烟草株数和实际烟草株数较为接近。其中,数据一的实际株树为311株,提出方法提取的株树为308株,相差仅为3株。精确度为99%,总体精度为93.41%,错检率为5.8%,漏检率为0.79%;对比实验提取的总体精度为64.58%,错检率为27.3%,漏检率为8.1%。数据二实际株树为1 701株,提出方法提取的株树为1 677株,相差24株,精确度为98.6%,总体精度为82.57%,错检率为19.06%,漏检率为0.86%;对比实验提取的总体精度为60.39%,错检率为4.1%,漏检率为35.5%。从提取结果来看,对比实验的总体精度较低,错检率和漏检率较高。精度评价结果如表3~4所示。
表3 数据一烟草提取精度评价
Tabel 3
方法 | 实际 株数 | 提取 株数 | 精确度 /% | 总体精度 /% | 错检率 /% | 漏检率 /% |
---|---|---|---|---|---|---|
SLIC算法 | 311 | 308 | 99 | 93.41 | 5.8 | 0.79 |
对比方法 | 64.58 | 27.3 | 8.1 |
表4 数据二烟草提取精度评价
Tabel 4
方法 | 实际 株数 | 提取 株数 | 精确度 /% | 总体精度 /% | 错检率 /% | 漏检率 /% |
---|---|---|---|---|---|---|
SLIC算法 | 1701 | 1677 | 98.6 | 82.57 | 19.06 | 0.86 |
对比方法 | 60.39 | 4.1 | 35.5 |
5 讨 论
烟草作为一种特殊的经济作物,在环境和形态特征等方面和普通农作物有所不同,烟草作为为高原特色作物之一,多种植于云南玉溪、曲靖和昭通等地区,也属于喜温性作物,对温度反应较为敏感,对土壤和水分的要求较高,由于多种因素的影响,叶片大小差异较大,每株烟草一般由3~4叶烟叶构成,依据成熟程度叶片颜色为浅绿色或者黄绿色,植株高度较低,种植密度不均且相互遮盖情况严重。
在对烟草数目提取时,首先利用SLIC超像素算法对影像进行分割,相比阈值分割,此方法能更好得到烟叶形状并,由于利用单个特征难以将烟草分辨出来,进而选取出多种特征,通过计算分析得到最优特征值,最后将烟草提取出来,若采用形态学的方法,由于烟草大小不一且分布紧密,较小的烟草易被腐蚀消失,较大烟叶被膨胀后易失去叶片边界线,将几株烟叶连到一起。
综合上述烟草特点,在精细提取时会遇到以下的问题:①漏检的区域大部分是在种植烟草的农用地周边,此处烟草分布的较为稀疏,叶面较小和不规则,部分烟草的叶片已经开始泛黄和枯萎,部分烟草刚长出来,辨识度较低,不易识别;②错检的区域大部分在田间杂草和烟草较为密集的地方。烟草和烟草之间有很多的杂草,颜色与烟草相近,在对象判别的时候产生了很大的干扰,导致识别错误。根据综合上述的两个因素,导致最后得到的烟草株数不准确,在今后还需要针对此类问题进行深入研究。
6 结 论
针对烟草精细提取难的问题,提出了结合多特征和超像素相结合的无人机影像烟草精细提取方法。实验结果表明,本文提出的方法得到的烟叶株数和实际的烟草株数相差较小。数据一和数据二提取烟草株数的精确度分别为99.00%和98.60%,总体精度为93.41%和82.57%。相比最邻近监督分类的方法提高了28.86%和22.18%,错检率降低了21.5%和7.31%。总体来看,烟草生长情况越好,精度越高,对烟草的提取也更加全面和准确。提出的方法在最大程度上做到了对烟草叶面的完整提取,边界更加平滑和清晰,烟叶面积计算更为准确,为田间大面积烟草的产量统计提供了有效的方法。
参考文献
Analysis of Grade Qualty of Tobacco Enterprises Transferred into Tobacco Leaves
[J].闫新甫
,卷烟企业调入烟叶的等级质量分析
[J].
High-resolution Image Road Network Extraction with Multi-features and Multi-method fusion
[J].
多特征、多方法融合的高分辨率影像道路网提取
[J].
High-resolution Remote Sensing Image Combined with Gabor Texture and Geometric Features Urban Road Extraction Method
[J].
结合Gabor纹理与几何特征的高分辨率遥感影像城区道路提取方法
[J].
High-resolution Remote Sensing Image Building Classification Extraction with Multi-feature Fusion
[J].
多特征融合的高分辨率遥感影像建筑物分级提取
[J].
A Method for Automatic Extraction of High Resolution Remote Sensing Image Plantation Using Structural Features
[J].
一种利用结构特征的高分辨率遥感影像种植园自动提取方法
[J].
Study on Corn Planting Information Extraction Method based on UAV Remote Sensing Technology
[J].
基于无人机遥感技术的玉米种植信息提取方法研究
[J].
Object-oriented Remote Sensing Image Extraction and Monitoring of Tobacco Planting Surface
[J].
面向对象的无人机遥感影像烟草种植面提取和监测
[J].
Research on Extraction of Tobacco Planting Area based on Object-oriented Classification Method
[D].
基于面向对象分类方法的烟草种植面积提取研究
[D].
Extraction of Tobacco Planting Area Information based on Remote Sensing Image of UAV
[J].陈金
,基于无人机遥感影像的烟草种植面积信息提取
[J].
Extraction of Plant Number Information of Maize Seedlings based on Remote Sensing Image of UAV
[J].刘帅兵
,基于无人机遥感影像的玉米苗期株数信息提取
[J].
Pose Parameter Extraction of Corn Canopy Remote Sensing Images based on Parallel Multi-ocular Imaging
[J].
Statistical Method of Field Wheat Spike Number based on Superpixel Segmentation
[J].
基于超像素分割的田间小麦穗数统计方法
[J].
Recognition of Wheat Spike from Field based Phenotype Platform Using Multi-Sensor Fusion and Improved Maximum Entropy Segmentation Algorithms
[J].
Evaluation of Wheat Seedling Uniformity based on UAV Images
[D].
基于无人机图像的小麦出苗均匀度评价
[D].
Real-time Recognition Technology of Citrus on Tree under Natural Scene
[J].
自然场景下树上柑橘实时识别技术
[J].
Automatic Citrus Tree Extraction from UAV Images and Digital Surface Models Using Circular Hough transform
[J].
Automated Detection of Individual Clove Trees for Yield Quantification in Northeastern Madagascar based on Multi-spectral Satellite Data
[J].
Small Target Detection Method for UAV Images based on SLIC Hierarchical Segmentation
[J].
基于SLIC分层分割的无人机图像极小目标检测方法
[J].
Urban Road Extraction based on SLIC Superpixel High Resolution Remote Sensing Image
[J].
基于SLIC超像素的高分辨率遥感影像城镇道路提取
[J].
SLIC Superpixels Compared to State-of-the-Art Superpixel Methods
[J].
/
〈 |
|
〉 |
