遥感影像多尺度分割中最优尺度的选取及评价
1.
2.
3.
4.
Selection and Evaluation of the Optimal Scale in Multi-scale Segmentation of Remote Sensing Images
1.
2.
3.
4.
通讯作者:
收稿日期: 2019-01-17 修回日期: 2020-04-26 网络出版日期: 2020-07-03
基金资助: |
|
Received: 2019-01-17 Revised: 2020-04-26 Online: 2020-07-03
作者简介 About authors
王芳(1983—),女,河南周口人,博士研究生,讲师,主要从事3S技术与数字国土研究E⁃mail:
关键词:
Keywords:
本文引用格式
王芳, 杨武年, 王建, 谢兵, 任金铜.
Wang Fang, Yang Wunian, Wang Jian, Xie Bin, Ren Jintong.
1 引 言
21世纪以来,我国卫星进入快速发展时期,空间分辨率也越来越高。高分辨率影像具有丰富的光谱、形状及纹理特征,能在更精细的尺度上进行信息提取[1,2,3,4]。传统基于像素的分类方法难以获得令人满意的结果[5,6,7],而面向对象的图像分析方法能有效地将地物空间关系和专家知识纳入分类,取得了更好的效果[8]。多尺度分割是面向对象分类的前提,影响着分类精度[9,10,11,12,13,14],其中的关键即为分割尺度,诸多学者对此做了大量研究[15,16,17,18,19]。其中,最直接的方法是目视判断[20,21,22],即凭借经验选择多种尺度,根据经验确定最优尺度。此外,还有监督和非监督评价法,前者通过比较分割结果与参考结果区域重叠、边界距离或形状差异等来评价分割效果[18,19,20,21];后者是根据对象内外的同质性和异质性建立评价指标来判断分割质量[22,23,24,25]。在此基础上,本文基于对象复杂度,提出了一种自上而下、在分割中选取最优尺度的方法。在此过程中,整个图像被迭代地分割成越来越简单的区域。随着迭代次数的增加,分割区域复杂度逐渐减小。当区域复杂度小于阈值时,该区域迭代完成,生成最简单对象,此时的尺度被认为是该对象的最优尺度。根据影像光谱、纹理及几何特征来定义对象复杂度,根据阈值,经迭代计算来确定每一对象的最优尺度。并将该方法应用于ZY-3多光谱影像和GF-2融合影像进行分割和分类,并采用目视分析、非监督评价法及监督分类精度评价法对该方法的效果进行分析。
2 研究方法
提出一种自上而下基于对象复杂度的最优尺度选取方法,技术流程如图1所示。
图1
2.1 Mean Shift分割
其中:ks(x)和kr(x)分别是核函数的空间域和光谱域,hs和hr分别是空间域和光谱域上的带宽,它们共同控制着均值漂移迭代步骤中的样本数。均值漂移迭代函数为:
其中:xj, t是t次迭代后像素j在联合特征空间中的位置,ωi是像素i的权重,一般为1.0。用迭代得到的收敛值代替初始像素值,得到滤波后的图像。
在均值漂移合并中,首先采用传递闭包算法在联合特征空间中将模式相似且边缘强度较弱的相邻分割区域进行合并,生成较大区域。然后,将包含少量像素的小空间区域与其最近邻的空间区域合并,以提高分割效果。有关均值漂移合并的具体内容可参阅文献[25]。
在Mean shift分割结果中提取3个光谱特征(标准差、异质性和信息熵)、5个纹理特征(能量、对比度、熵、同质性和相关性)和两个形状特征(平滑度和紧致度)进行后续分析。
2.2 分割尺度序列
Mean shift分割中的3个重要的参数(hs、hr、S)决定着分割性能。在图像滤波中,空间带宽hs表示移动窗口的空间大小,光谱带宽hr表示像素之间允许的光谱差。Mean shift滤波过程中,将所有在空间域上更接近hs和在光谱域上更接近hr的像素聚集在一起。在合并步骤中,将像素数小于S的分割区域与其在空间域和光谱域上最近邻的区域合并。在本文自上而下多尺度分割中,采用固定空间带宽hs、固定光谱带宽hr和一个递减尺度序列S=(s0,s1,...,sn)产生分割结果。根据图像金字塔模型中相邻两层的抽取比[26,27],将分割尺度序列的抽取比设为2,即si = 2×si+1。首先,将s0设为n,s1为s0的一半,以此类推,直至sn小于阈值Ts,这里,参数n应该大于影像中最大分割对象,以确保最大尺度下的最大对象出现过分割。经过试验,将分割尺度序列设为(1 280、640、320、160、80、40、20)。
2.3 影像对象复杂度指标
地理场景是由复杂度小的简单地物组成,影像中方差较小的、较简单的区域是构成图像场景的基本单元,可用于后续分析和分类。光谱值、形状和纹理的差异反映了分割区域的复杂性,因此,对象复杂度的度量是基于特征差异的,包括对象光谱、纹理、形状等[3]。
(1)光谱复杂度指标。采用分割对象的方差(V)、异质性指数(H)、信息熵(IE)来度量其光谱复杂度。具体公式如下:
其中:gi和g分别代表每个像素的灰度值和每一对象的灰度均值,N为像素数;gi为像素i的3×3邻域的像素均值;nj是光谱值为j的像素数。分别计算各波段每一对象的方差(V),本研究中,各对象方差取所有波段的均值,H和IE也是如此。
(2)纹理复杂度指标。灰度共生矩阵(GLCM)描述了影像光谱值的分布情况及影像总体复杂性,是纹理特征的有效指标[28]。根据GLCM提取能量(N)、对比度(D)、熵(S)、同质性(T)及相关性(X)来反映纹理复杂度。公式如下:
其中:pij为GLCM中(i,j)处的元素值,px,py分别指每一行(列)元素之和,μx,μy,σx,σy分别为px,py的均值和标准差。分别计算各波段的纹理特征,取其均值作为各对象相应的纹理特征值。
(3)几何复杂度指标。对象形状特征反映了其空间结构和几何形状,参照前人成果[3],采用形状光滑度(SS)和形状紧致度(SC)来描述对象的形状复杂度。公式如下:
其中:A0 和P0分别表示分割对象的面积和周长,Pc表示与分割对象等效面积圆的周长。
2.4 最优尺度筛选规则与对象复杂度阈值的确定
在影像分割过程中,若对象复杂性较高,那么它将被分割为多个小尺度的简单对象。对象复杂性度量是基于影像特征的,由于其在生成方式、单位和维数等方面的不同,需将各影像特征归一化至0~1,以特征复杂度函数CI表示上述特征的加权和,本文中的权值ω取等权值,如
若某对象复杂度CI>T,其逻辑判断为1,则该对象需进入再分割;否则,为0,表示该对象直接进入分类。
理论上讲,基于影像采用人工数字化的方式获取的分割效果最好。基于此,采用人工数字化的方式随机选取样本作为参考对象,分别计算这些对象的复杂度,取其均值作为对象复杂度函数的阈值T。
2.5 精度评价
将本文方法(SE-OS)与Johnson 等提出的非监督评价法(U-E)[29]及单一最优尺度(S-O)的分割及分类结果进行对比分析。采用目视评价、非监督评价法和监督分类精度评价法分别对分割质量进行评定。
(2)基于应用的评价。非监督评价法是基于理论的,缺少实际应用。根据2017年版《土地利用现状分类》(GBT 21010-2017)标准,将研究区的地物类型划分为建筑用地、道路、水体、林地、绿地和耕地7类。根据最小尺度(本文中为10)的分割结果,采用分层随机抽样的方法在两种影像上分别选取1 300个对象作为样本,随机抽取总样本的60%和40%分别作为训练和验证样本。采用随机森林进行分类,根据混淆矩阵对分类精度进行评定。
3 数据及预处理
图2
图2
研究区ZY-3多光谱影像、GF-2融合影像及参考对象的分布
Fig. 2
ZY-3 multispectral image, GF-2fusion image and the distribution of reference objects in the study area
表1 研究区影像数据信息
Table 1
影像 | 获取时间 | 空间分辨/m | 波段 | 面积/km2 | 地物类型 | 地理位置 |
---|---|---|---|---|---|---|
GF-2 | 2016.6.16 | 1.0 | 蓝、绿、红、近红 | 9.81 | 建筑、水体、裸地、绿地、道路、耕地 | 四川省隆昌县中东部 |
ZY-3 | 2017.8.27 | 5.8 | 蓝、绿、红、近红 | 34.11 | 建筑、水体、裸地、绿地、道路 | 四川省泸州市区 |
4 实验与分析
4.1 SE-OS实验
分别在两种影像上以人工数字化方式随机选取100个样本作为参考影像(图2示),其中蓝色区域分别代表各地物的真实尺度,计算其复杂度,并取其均值作为阈值,得到基于ZY-3多光谱影像及GF-2融合影像的对象复杂度阈值分别为0.28和0.25。根据前人的研究成果[3,25],将空间带宽hs设为7.0,光谱带宽hr设为6.5,采用Mean shift分割算法对两种影像进行多个尺度序列(1 280、640、320、160、80、40、20)的分割,计算出每一对象的复杂度,按筛选规则,直至所有对象的复杂度都小于阈值T,从而在分割过程中得到每一对象的最优尺度,如图3示,即为研究区最优尺度的分布情况,右侧图例中的值表示各对象的最优尺度。
图3
图3
采用本研究方法基于ZY-3多光谱影像和GF-2影像的多尺度分割结果
Fig. 3
Multi-scale segmentation results based on ZY-3 multi-spectral image and GF-2 image using the proposed method
影像中复杂区域(如ZY-3影像中的建筑和道路、GF-2影像中散落的居民地和水域)往往尺度较小,需要6~7次迭代才能完成;而较简单区域(如ZY-3影像中大片分布的水体和绿地;GF-2影像中的道路和和林地)尺度较大,经1~3次迭代后即可进行后续分析。本文在自上而下的分割中选取每一分割对象的最优尺度,然后将不同最优尺度下的对象进行合并作为最终的分割结果(图3(c)、(f)所示)。
4.2 S-O实验
首先对两幅影像采用多分辨率分割算法以10步长进行一系列分割(尺度范围为10~250),分别计算每一分割结果的全局莫兰指数(MI)和加权方差(WVar)来衡量对象间的异质性和对象内的同质性,对两者进行归一化并取和得到每一分割结果的全局得分(GS),以GS值最小的分割结果为单尺度下的最优分割结果,此时的分割尺度即为最优尺度。经计算,基于ZY-3多光谱影像及GF-2融合影像的单一最优尺度分别为80和130。两者的分割结果如图4(a)、(d)所示。
图4
4.3 U-E实验
4.4 实验结果与分析
分别采用视觉评价法、非监督评价法和监督分类精度对3种方法的分割结果进行评价和分析。通过人工目视判读3种分割结果,特别是对欠分割和过分割区域进行了分析比较;采用非监督评价法的GS值来评价分割结果的性能;在监督分类评价法中,利用总体精度(OA)和Kappa系数来评价分割性能。
4.4.1 视觉评价法
图4和图5分别为分割和分类图,为了便于比较分析,在局部分割及分类结果(图6)已圈出典型区域,由目视分析可知:SE-OS法取得了比其他两种方法更好的分割及分类效果,产生的欠分割与过分割对象相对较少(图4(c)、(f)和图6(c)、(i)所示),分类结果中,漏分和混分现象较少(图5(c)、(f)和图6(f)、(l)所示);这是由于该方法能根据阈值将复杂度大的对象进行迭代的分割,为不同地物选择合适的尺度。如图4,5(c)、(f)和图6(c)、(f)、(i)、(l)所示,大片分布的地物(如河流、道路、绿地和耕地)具有较大的分割尺度,零星分布的地物(如散落分布的居民地、坑塘和街道)具有较小的尺度。相比之下,U-E法的分割结果中存在较多的欠分割和过分割对象(分别如图6(b)、(h)中椭圆形和四边形所示),造成其分割性能及分类结果(图4和5(b)、(e))较差。尽管U-E法在两尺度下对欠分割对象进行了再分割,在三尺度下对过分割对象进行了光谱差异分割,但欠分割(主要是在相邻的建筑和绿地,林地和耕地、建筑和道路等区域)和过分割(主要是道路、水体和裸地)现象仍然存在,从而造成漏分和混分(分别如图6(e)、(k)中椭圆形和四边形所示)。对于S-O法,如图4,5(a)、(d)和图6(a)、(d)、(g)、(j)所示,其分割结果最差,欠分割和过分割现象(如图6(a)、(d)中的椭圆和四边形所示)严重,造成其分类结果最差。单一最优尺度可能是某种地物的最优尺度,但它不适用于尺度不同的所有地物。上述分析表明,遥感影像中存在多种类型的地物,这些地物的最优尺度各异。单一最优尺度和三尺度优化的分割结果并不适用于所有地物类型。
图5
图6
4.4.2 非监督评价法
从3种分割结果的GS值(表2所示)知,SE-OS法显著优于其余两种方法,可以有效地为图像局部区域(分割对象)选择最优尺度,并结合局部最佳分割来实现整体最优分割(如图4(c)、(f)所示),使对象内外的同质性和异质性变大,即加权方差(WVar)和全局莫兰指数(MI)变小,从而使其分割结果的GS值最小,基于ZY-3和GF-2影像分割结果的GS分别为0.580和0.589,分割质量最优;其次是U-E法,基于ZY-3 02和GF-2影像分割结果的GS分别为0.622和0.632。尽管U-E法在3个尺度下对分割结果进行了优化,但由于其分割结果中仍存在较多的欠分割和过分割对象,使对象内外的同质性和异质性变小,即使MI、WVar变大,从而导致其GS较大;S-O法分割结果中存在太多的过分割和欠分割对象,导致其GS最大,分割结果最差。对比分析表明,SE-OS法可以有效地选择各分割对象的最优尺度。
表2 三种方法分割结果的GS值
Table 2
影像 | ZY-3 | GF-2 | |||||
---|---|---|---|---|---|---|---|
方法 | SE-OS | U-E | S-O | SE-OS | U-E | S-O | |
GS | 0.580 | 0.622 | 0.644 | 0.589 | 0.632 | 0.660 |
4.4.3 监督分类精度评价法
表3所示为3种方法得到的分类总体精度(OA)和Kappa系数,从中可以看出,SE-OS法的分类效果最好、精度最高,基于ZY-3影像的OA和Kappa系数分别为91.10%和0.876 7,比U-E、O-S法分类结果的OA和Kappa系数分别提高6.61%和0.094 9、7.64%和0.108 5。基于GF-2影像的OA和Kappa系数分别为92.75%和0.912 1,较U-E、O-S法分类结果的OA和Kappa系数分别提高4.71%和0.056 9、6.67%和0.080 5。表明该SE-OS法能够获得各地物的最适宜尺度,从而得到整体最优分割结果用于分类,提高了分类精度和效果。如表3所示,SE-OS法中各地物的漏分和混分误差相对较小,制图和用户精度相对较高。特别是制图精度,SE-OS法中每类地物都取得了最高精度;在其余两种方法中,OA和Kappa系数相对较低,这是由较多的欠分割和过分割现象造成的。
表3 分割结果的GS值与面向对象分类结果精度评价
Table 3
精度 | 土地利用类型 | ZY-3多光谱影像 | GF-2影像 | |||||
---|---|---|---|---|---|---|---|---|
SE-OS | U-E | O-S | SE-OS | U-E | O-S | |||
制图精度/% | 建筑用地 | 90.14 | 87.32 | 88.38 | 92.04 | 85.50 | 83.19 | |
耕地 | / | / | / | 90.90 | 82.83 | 75.76 | ||
林地 | / | / | / | 96.90 | 84.54 | 93.81 | ||
绿地 | 99.98 | 99.75 | 99.24 | 92.77 | 92.77 | 92.77 | ||
道路 | 87.74 | 67.92 | 65.10 | 91.78 | 91.78 | 83.56 | ||
裸地 | 88.46 | 75.00 | 67.30 | 85.71 | 85.71 | 85.71 | ||
水体 | 85.71 | 76.62 | 75.32 | 93.55 | 93.55 | 93.55 | ||
用户精度/% | 建筑用地 | 92.09 | 81.58 | 82.30 | 95.41 | 95.24 | 90.38 | |
耕地 | / | / | / | 95.74 | 83.67 | 94.94 | ||
林地 | / | / | / | 92.16 | 89.13 | 85.05 | ||
绿地 | 90.41 | 86.84 | 82.91 | 86.52 | 75.50 | 76.24 | ||
道路 | 86.92 | 85.71 | 81.18 | 91.78 | 90.41 | 87.14 | ||
裸地 | 85.19 | 76.47 | 79.55 | 85.71 | 99.96 | 85.71 | ||
水体 | 99.98 | 99.97 | 99.97 | 99.97 | 99.97 | 99.97 | ||
总体精度/% | 91.10 | 84.49 | 83.56 | 92.75 | 88.04 | 86.08 | ||
Kappa | 0.877 | 0.782 | 0.768 | 0.912 | 0.855 | 0.832 |
5 结 语
多尺度分割中最优尺度选择是面向对象影像分析技术中的关键步骤,本研究提出了一种自上而下,利用分割对象的光谱、纹理及几何信息特征构建其复杂度函数,通过迭代计算,在分割过程中获取最优尺度的方法,并将其应用于ZY-3多光谱影像和GF-2融合影像得到分割及分类结果,采用目视分析、非监督评价法及监督分类精度评价法对比分析本研究法的效果。得出结论如下:
通过设置阈值,迭代计算每一分割对象的复杂度,实现了在分割过中获取每一对象的最优尺度,取得了较好的分割和分类结果。
采用目视评价法、非监督评价法及监督分类精度评价法对三种方法进行对比分析可知:本研究法取得的分割、分类效果较好,其非监督评价指标(GS)最小,分割效果最佳,提高了分类精度,减少了错分、漏分现象,改善了分类效果。
参考文献
Scale Estimation of Object-oriented Image Analysis based on Spectral-spatial Statistics
[J].
面向对象影像多尺度分割最大异质性参数估计
[J]. ,
Accuracy Evaluating Method for Object-based Segmentation of High Resolution Remote Sensing Image
[J].
面向对象的高分辨率遥感影像分割精度评价方法
[J]. ,
Adaptive Scale Selection for Multiscale Segmentation of Satellite Images
[J]. ,
Discussion on Urban Ecological Land Classification Method based on GF-2 Data
[J].
高分二号数据的城市生态用地分类方法探讨
[J]. ,
Scale Parameter Selection by Spatial Statistics for GeOBIA: Using Mean-shift based Multi-scale Segmentation as an Example
[J]. ,
Multiscale Water Body Extraction in Urban Environments from Satellite Images
[J]. ,
Geographic Object-based Image Analysis - Towards a new paradigm
[J]. ,
Optimal Scales based Segmentation of High Spatial Resolution Remote Sensing Data
[J].
综合多层优选尺度的高分辨率影像分割
[J]. ,
Object-oriented Approach to Oil Spill Detection Using ENVISAT ASAR Images
[J]. ,
Object-oriented Analysis of Multi-temporal Panchromatic Images for Creation of Historical Landslide Inventories
[J]. ,
Object-oriented Image Analysis and Scale-space: Theory and Methods for Modeling and Evaluating Multi-scale Landscape Structure
[J]. ,
Discussion on Classification Method of Adaptive Scale based on Remote Sensing Image
[J].
一种遥感影像自适应分割尺度的分类方法
[J]. ,
Object-Oriented Optimal Segmentation Scale Calculation Model
[J].
一种面向对象的最优分割尺度计算模型
[J]. ,
Adaptive Scale Selection in Multiscale Segmentation based on the Segmented Object Complexity of GF-2 Satellite Image
[J]. ,
Object Based Image Analysis and Data Mining Applied to a Remotely Sensed Landsat Time-series to Map Sugarcane over Large Areas
[J]. ,
Object based Image Analysis for Remote Sensing
[J]. ,
A Review on Image Segmentation Techniques with Remote Sensing Perspective
[J]. ,
Parallel Regional Segmentation Method of High-resolution Remote Sensing Image based on Minimum Spanning Tree
[J]. ,
Selection and Evaluation of Optimal Segmentation Scale for High-resolution Remote Sensing Images based on Prior Thematic Maps and Image Features
[J].,
A Comparison of Pixel-based and Object-based Image Analysis with Selected Machine Learning Algorithms for the Classification of Agricultural Landscapes Using SPOT-5 HRG Imagery
[J]. ,
Image Segmentation Evaluation: A Survey of Unsupervised Methods
[J]. ,
An Adaptive Mean-shift Analysis Approach for Object Extraction and Classification from Urban Hyperspectral Imagery
[J]. ,
A Sea-land Segmentation Algorithm for Remote Sensing Images based on Mean-Shift
[J].
基于均值漂移的遥感图像海陆边界分割算法
[J]. ,
Study for Parallel Segmentation Optimization Algorithm of Mean Shift in Large-scale Remote Sensing Image
[J].
大规模遥感影像Mean Shift并行分割优化算法研究
[J]. ,
Mean Shift: A Robust Approach Toward Feature Space Analysis
[J]. ,
Pyramid Methods in Image Processing
[J]. ,33-41
.
Scale-Space Theory in Computer Vision
[M]. ,
Texture Descriptors based on Co-occurrence Matrices
[J]. ,
Unsupervised Image Segmentation eEaluation and Refinement Using a Multi-scale Approach
[J]. ,
Survey: Image Segmentation Techniques
[J]. ,
/
〈 | 〉 |