基于三种高分辨率影像样本迁移学习的城市水体提取研究

doi:10.11873/j.issn.1004-0323.2022.3.0731

基于三种高分辨率影像样本迁移学习的城市水体提取研究

史佳睿^,¹, 申茜^,², 彭红春¹, 李利伟², 姚月², 汪明秀², 王茹¹

1.江苏海洋大学海洋技术与测绘学院，江苏连云港 222005

2.中国科学院空天信息创新研究院，北京 100094

Research on Urban Water Body Extraction based on Transfer Learning of Three High-resolution Image Datasets

Shi Jiarui^,¹, Shen Qian^,², Peng Hongchun¹, Li Liwei², Yao Yue², Wang Mingxiu², Wang Ru¹

1.School of Marine Technology and Geomatics，Jiangsu Ocean Unversity，Lianyungang 222005，China

2.Aerospace Information Research Institute，Chinese Academy of Sciences，Beijing 100094，China

通讯作者: 申茜（1981-），女，甘肃兰州人，副研究员，主要从事高光谱遥感、水色遥感研究。E⁃mail: shenqian@radi.ac.cn

收稿日期: 2020-11-27 修回日期: 2022-04-15

基金资助:

国家自然科学基金面上项目. 41571361
天津科技计划项目智能制造专项. Tianjin⁃IMP⁃2018⁃2

Received: 2020-11-27 Revised: 2022-04-15

作者简介 About authors

史佳睿（1995-），男，山西长治人，硕士研究生,主要从事水环境遥感研究E⁃mail:2018224033@jou.deu.cn , E-mail：2018224033@jou.deu.cn

摘要

水体提取是遥感监测城市水环境必不可少的步骤，提取城市中的细小水体目前已成为遥感影像深度学习领域的热点。但是，深度学习需要大量的样本数据集作为输入，而且不同空间分辨率影像往往需要构建不同的样本集。如果影像的空间分辨率差异不大，可以先采用分辨率较低的影像样本训练模型，并加入少量的较高分辨率样本再次训练模型，这种模型可以保证精度和节约时间。研究选用了U-net图像分割模型，针对3种不同空间分辨率——分别为0.5 m、0.8 m和2 m的影像进行样本迁移学习。发现2 m到0.8 m、2 m到0.5 m、0.8 m到0.5 m 3种迁移学习后，提取水体结果对应评价指标F1-score、MIoU、Kappa都在0.80以上。在分辨率差异不大的前提下，这种从较低分辨率样本迁移到较高分辨率影像提取城市水体的方法基本可行，结果精度较好，适用于缺水型城市的水体提取。

关键词： 高分辨率遥感影像 ; 样本迁移 ; U⁃net ; 水体提取

Abstract

Water extraction is an essential step for rare earth monitoring of urban water environment. Extraction of small water bodies in the city has now become a hot depth study in the field of remote sensing images. However， deep learning requires a large number of sample datasets as input， and images with different spatial resolutions often need to construct different datasets. If the spatial resolution of the images is not much different， the sample transfer learning model can be used to ensure accuracy and save time. In this paper， the U-Net image segmentation model is selected to perform sample transfer learning for images with three different spatial resolutions—0.5 m， 0.8 m and 2 m respectively. It is found that after three migration learning of 2 meters to 0.8 meters， 2 meters to 0.5 meters， and 0.8 meters to 0.5 meters， the corresponding evaluation indexes F1-score， MioU and Kappa of the extracted water body are all above 0.80. Under the premise of little difference in resolution， this method of extracting urban water bodies from lower-resolution samples to higher-resolution images is basically feasible， and the accuracy of the results is better. It is suitable for water extraction in water-deficient cities.

Keywords： High-resolution remote sensing image ; Sample transfer learning ; U-Net

PDF (4805KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

史佳睿, 申茜, 彭红春, 李利伟, 姚月, 汪明秀, 王茹. 基于三种高分辨率影像样本迁移学习的城市水体提取研究. 遥感技术与应用[J], 2022, 37(3): 731-738 doi:10.11873/j.issn.1004-0323.2022.3.0731

Shi Jiarui, Shen Qian, Peng Hongchun, Li Liwei, Yao Yue, Wang Mingxiu, Wang Ru. Research on Urban Water Body Extraction based on Transfer Learning of Three High-resolution Image Datasets. Remote Sensing Technology and Application[J], 2022, 37(3): 731-738 doi:10.11873/j.issn.1004-0323.2022.3.0731

1 引言

遥感技术具有监测范围广、经济成本低、效率高、动态监测等优势，成为城市水体监测中不可或缺的监测手段^［1-2］。面积较大的水体目前往往采用缓冲区膨胀和双峰法来实现遥感提取，但是由于城市水体往往很细小，而且城市范围下垫面复杂，采用该方法很难取得良好效果。目前，很多学者采用深度学习图像分割方法提取了水体^［3-5］。

水体提取属于像元级别的分类，往往会采用U-net网络来实现，该网络结构是Ronneberger等^［6］2015年提出的，采用上采样运算符替换池化运算，解决了计算效率低的问题。很多学者^［7，14］也采用了这种网络提取了水体，主要从提取更深层的特征网络^［7-8］、使用特征金字塔的特征图^［9］与上一层特征图进行融合、使用VGG16作为编码结构^［10］、使用全连接CRFs网络后处理^［11］、提出超像素卷积神经网络和自适应池化^［12］和提出空间和光谱卷积模块^［13］等方面改进。已有的研究主要集中在模型的改进方面，很少有不同空间分辨率样本数据集的迁移研究。遥感影像没有像ImageNet庞大的数据集，目前高分辨遥感影像的深度学习数据集主要以人工勾画为主，样本集往往不够。样本集迁移可以解决训练样本不足的问题。

迁移学习包括样本集迁移、特征迁移、参数模型迁移、关系迁移^［15］。对于样本集迁移的研究，目前主要集中在照片、光谱数据等对象，很少有遥感影像的相关研究。Chen等^［16］使用ImageNet的预训练模型，扩充了样本集，检测飞机获得不错效果，但是这种只适用RGB波段的可见光图像，不适用多光谱图像。针对上述问题，Kemker等^［17］利用样本仿真系统进行高光谱数据仿真扩充样本集，使用仿真数据作为源数据进行迁移学习。迁移学习可以通过知识复用解决小样本地物要素提取^［18］。

高分辨率影像中水体边界更精细，因此，相比较低分辨率影像，在较高分辨率影像中人工目视解译水体的成本代价更高，例如解译分辨率为2 m的一个像素变为分辨率为0.5 m的像素工作量不只是倍数增长，而是平方增长；而且分辨率越高的影像由于成本的原因不容易获取，无法达到深度学习的样本数量。我国近年来高分系列卫星顺利发射，可以大量获取分辨率0.8 m的高分二号影像和2 m的高分系列影像进行样本迁移学习解决样本数量少的问题。样本迁移学习模型在不同分辨率样本中水体提取效果不同。构建了0.5 m、0.8 m和2 m空间分辨率的3套样本数据集，尝试从较低分辨率样本使用迁移学习以获取较高分辨率水体提取样本。

如图1所示，研究主要构建了0.8 m的模型M1，以及2 m的模型M2。在M1的基础上使用0.5 m数据集训练构建样本迁移模型TM1，在M2的基础上使用0.5 m数据集训练构建样本迁移模型TM2，在M2的基础上再次使用0.8 m数据集训练构建样本迁移模型TM3，共计5个水体提取模型。其中M1和M2为基础模型，TM1、TM2和TM3为样本迁移模型。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 模型构建

（M是model的缩写，表示基础模型，TM是Transform model的缩写，表示迁移模型）

Fig.1 Model construction

2 数据与预处理

2.1　遥感影像数据源

使用的遥感影像有0.5 m、0.8 m和2 m 3种。全色和多光谱影像融合获取更高分辨率影像有利于城市水体提取。0.5 m的数据由Worldview-2（P/MS）、Superview-1（P/MS）和Geoeye-1（P/MS）影像融合后组成，0.8 m的数据由BJ-2（P/MS）和GF-2（P/MS）影像融合后组成，2 m的数据由GF-1（P/MS）、GF1B（P/MS）、GF1C（P/MS）、GF1D（P/MS）影像融合后组成，上述数据集影像成像时无云雾遮挡、影像质量较高。主要参数如表1所示。

表1 遥感影像参数

Table 1 Remote sensing image parameters

影像名称	波段	融合后空间分辨率/m	成像时间	中心点经纬度	像元数量
Worldview-2	R,G,B,NIR	0.5	2017/9/19	116.7N,39.8E	16 022×32 769
Superview-1	R,G,B,NIR	0.5	2017/8/22	116.8N,39.7E	11 318×11 734
Geoeye-1	R,G,B,NIR	0.5	2017/5/20	116.7N,39.8E	11 214×11 637
BJ-2	R,G,B,NIR	0.8	2019/6/24	116.8N,39.9E	36 610×36 518
GF-2	R,G,B,NIR	0.8	2018/9/05	116.7N,39.9E	34 431×33 498
GF-1	R,G,B,NIR	2	2019/7/12	116.7N,39.9E	21 770×21 291
GF-1B	R,G,B,NIR	2	2019/9/24	117.0N,39.7E	40 269×40 028
GF-1C	R,G,B,NIR	2	2020/3/11	117.0N,39.7E	39 908×39 725
GF-1D	R,G,B,NIR	2	2019/10/21	116.7N,39.7E	41 347×40 289

新窗口打开| 下载CSV

2.2　影像预处理

遥感影像的预处理主要有图像融合、几何精校正和大气校正3个步骤。

图像融合是全色影像和多光谱影像融合，既保证了全色影像的空间信息，也保证了多光谱影像的光谱信息，图像融合使用像素刻刀软件^［19］实现。几何精校正以Google在线卫星影像作为参考基准，通过DEM辅助做区域网平差，完成几何精校正^［20］，校正之后的像元误差在2个像元之内。大气校正采用相对辐射归一化算法^［21-22］，选取时间相近的同一覆盖区域的Sentinel-2影像作为参考，待校正影像和参考影像逐波段相对辐射归一化，完成大气校正。

2.3　样本数据集

首先，采用ArcGIS软件以1∶1 000比例打开预处理后的遥感影像，人工目视解译水体矢量。其次，使用地理数据开源包（Geospatial Data Abstraction Library，简称GDAL）将水体矢量转换为栅格格式的掩膜影像。然后，将遥感影像和对应的水体栅格掩膜裁剪为512×512像元的影像切片和水体切片，如图2所示。最后，为了增加样本量，这里除了规则格网裁剪外，还增加了随机裁剪，并对已有切片进行翻转和旋转。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 高分辨率城市水体样本库及栅格标签示例集

Fig.2 High-resolution urban water body sample sets and raster label sample sets

构建的样本数据集由遥感影像切片和水体切片组成，包含了0.5 m、0.8 m和2 m 3种不同高空间分辨率样本集。0.5 m样本数据集的数据源为WorldView-2，数量为1 024张；0.8 m样本数据集的数据源为GF-2，数量为5 086张；2 m样本数据集的数据源为GF-1\1D，数量为5 852张。

样本数据集被划分为训练集（DS-Train）、测试集（DS-Test）、验证集（DS-Val），其中DS-Train 和DS-Test被统称为训练测试集（DS-TT）。样本数据集的划分如图3所示。按照惯例，将0.8 m样本数据集与2 m样本数据集，以6∶3∶1的比例划分为DS-Train、DS-Test 和DS-Val；同时由于0.5 m样本数据集的样本数较少，按照4∶1∶5的比例划分。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 数据集划分

Fig.3 Datasets division

3 模型与方法

3.1　评价指标

采用F1-score、MIoU、Kappa系数作为水体提取评价指标。在提取结果中，水体像元识别为水体像元是真正样本数量，背景像元识别为背景像元是真负样本数量，背景像元识别为水体像元是假正样本数量，水体像元识别为背景像元的假负样本数量。

F1⁃score=2×

\frac{p r e c i s i o n \times r e c a l l}{p r e c i s i o n + r e c a l l}

(1)

其中：F1-score是精确率和召回率的调和平均数，F1-score数值在0~1之间且越大越好。Precision（精确率）是真正样本在所有正样本中的占比，recall（召回率）是真正样本在真正样本和假负样本中的占比。

MIoU

= \frac{1}{k + 1} \sum_{i = 0}^{k} \frac{P_{i i}}{\sum_{j = 0}^{k} p_{i j} + \sum_{j = 0}^{k} p_{j i} - p_{i i}}

(2)

其中：P_ij 表示真实值为i，被预测为j的数量；K+1是类别个数；P_ii 是真正样本的数量，P_ij 、P_ji 则分别表示假正样本和假负样本的数量，MIoU在0~1之间且越大越好。

K a p p a = \frac{p_{o} - p_{e}}{1 - p_{e}}

(3)

其中：p_o 是真正样本与真负样本数量之和在总样本数量中的占比；p_e 是真正样本和假正样本的和与真正样本和假负样本的和的乘积加上假负样本和真负样本的和与假负样本和假正样本和的乘积的和在总样本数量平方中的占比，Kappa系数数值在-1到1之间，Kappa系数分为5种不同一致性，数值区间-1~0.2、0.2~0.4、0.4~0.6、0.6~0.8和0.8~1依次对应极低一致性、一般一致性、中等一致性、高度一致性和几乎完全一致性。

3.2　模型结构

U-net模型是编码-解码对称类型，编码部分采用4次下采样，得到特征图，解码部分采用4次上采样，最终选用1×1卷积转为和输入层相同大小的提取结果，采用的模型结构如图4所示。

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 U-net模型结构

Fig.4 U-net model structure

模型的输入样本大小为512×512，使用Tensorflow2.0框架和Adam优化器训练模型，初始学习率为0.001。所采用的计算机配置为NVIDIA GeForce RTX2080Super和Intel Core i9-10900K CPU，开发平台选用JetBrains PyCharm 2018 Community，开发语言为Python3.7。

3.3　特征提取模型选取

在模型结构当中，特征提取模型是核心内容之一。为了确定特征提取模型，这里主要选取了VGG16^［23］、ResNet^［24］、Mobilenet^［25］ 3种卷积模型进行对比。

使用0.8 m样本数据集进行训练，使用了相同的超参数。采用F1-Score、MIoU和Kappa系数3个评价指标对VGG16、ResNet、Mobilenet 3个模型进行定量评价。评价结果如图5所示， Mobilenet-Unet模型的F1-score、MIoU和Kappa系数分别是0.78、0.81、0.77，相比其他两种模型，Mobilenet-Uet是精度最好的模型。同时，使用7 055张0.8 m的样本集进行测试，Mobilenet-Unet运行时间最短，为298.54 s。综合水体提取精度和运行效率两个方面，本文使用Mobilenet-Unet作为迁移学习模型。

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 3种特征提取模型的精度对比

Fig.5 Improved Unet accuracy comparison

4 结果与分析

本文从有水体标签样本和无水体标签样本两部分进行分析。

4.1　有水体标签样本的迁移学习结果分析

为了验证M1、M2、TM1、TM2和TM3 5个模型（如图1所示）的精度，使用了0.5 m样本数据集的验证集DS-Val1、0.8 m样本数据集的验证集DS-Val2和2 m样本数据集的验证集DS-Val3，用于验证相同分辨率的验证结果，如图6所示，提取水体结果对应评价指标F1-score、MIoU、Kappa都在0.80以上。

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 5个模型提取结果指标

Fig.6 Five Model extract result indicators

对比样本迁移模型TM1、TM2（0.5 m）的验证精度发现，使用的迁移样本空间分辨率越相近，水体提取结果越好。TM1的F1-score、MIoU和Kappa系数分别达到0.87、0.88、0.86；TM2的F1-score、MIoU和Kappa系数分别为0.80、0.82和0.79。

对比基础模型M1（0.8 m）和样本迁移模型TM3（0.8 m）的验证精度发现，基础模型的水体提取效果最好。M1的F1-score、MIoU和Kappa系数分别达到0.89、0.90和0.89。TM3的F1-score、MIoU和Kappa系数分别达到0.80、0.83、0.81。M1比TM3水体提取精度高，但TM3提取水体结果也较好，指标高于0.80。

在0.5、0.8和2 m的影像中，从较低空间分辨率样本迁移到较高分辨率影像的方法基本可行。

虽然TM1和TM2的提取结果精度相差不大，但在细小水体提取能力上有所不同，如图7所示。

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 WV细小水体提取展示

Fig.7 Worldview-2 extract Small water body display

在样本数据较少的情况下，使用空间分辨率更相近的数据集样本迁移可以避免细小水体缺失。通过对比TM1和TM2模型精度，也就是对比0.8 m迁移到0.5 m模型和2 m迁移到0.5 m模型，TM1可以提取宽度为4 m的细小水体，TM2模型却无法提取。因此，在缺少0.5 m样本数据集的情况下，推荐使用0.8 m到0.5 m样本迁移进行0.5 m数据的水体提取。无法获取0.8 m数据集时，也可以使用2 m到0.5 m样本迁移进行0.5 m数据的水体提取。

4.2　无水体标签样本的迁移学习结果分析

这里首先分析了同一空间分辨率、不同数据源的遥感影像水体提取结果；其次分析水体提取模型大区域的推广价值。

空间分辨率为0.5 m的Geoeye-1和Superview-1使用TM1模型做水体提取应用，0.8 m的BJ-2使用M1模型，2 m的GF-1\B\C使用M2模型。提取结果如图8所示。

图8

新窗口打开| 下载原图ZIP| 生成PPT

图8 高分辨率影像提取结果

Fig.8 High-resolution image extraction results

从提取结果发现，空间分辨率为0.5 m的Geoeye-1和Superview-1、0.8 m的BJ-2对较宽的水体提取能力强，细小水体的提取能力也有不错表现；空间分辨率为2 m的GF-1\B对较宽的水体提取能力强，细小水体的提取能力较差，会呈现漏提现象。GF-1C影像提取结果较差，是由于影像获取时间为春季，水量较少，细小河段已干涸。

对比高分辨率Geoeye-1、Superview-1、BJ-2、GF-1\B\C影像和水体结果发现，图9（a）~图9（c）水体提取结果边界清晰，可以直接应用于城市水环境遥感水体提取工作中。图9（d）中水体明显存在噪声，影响水体提取结果，建议使用无水体噪声的影像做水体提取应用；图9（e）中岸边存在大量植被遮挡水面，细小水体混合像元未被当作水体提取出来；图9（f）中存在耀斑提取为非水体的现象。

图9

新窗口打开| 下载原图ZIP| 生成PPT

图9 水体提取细节展示

Fig.9 Water extraction details display

对于算法在大区域的推广价值，采用沈阳市高分二数据、宁波的高景数据进行验证。使用TM1和M1模型进行水体提取，沈阳市提取结果如图10所示，宁波市提取结果如图11所示。

图10

新窗口打开| 下载原图ZIP| 生成PPT

图10 沈阳市水体提取结果

Fig.10 Shenyang city water extraction results

图11

新窗口打开| 下载原图ZIP| 生成PPT

图11 宁波市水体提取结果

Fig.11 Ningbo city water extraction results

图10中黄色框为水体提取效果较差结果区域，分析其原因，发现影像水体中存在严重耀斑，但自制数据集中没有将耀斑归类为水体，因此区域水体提取较差；训练和迁移学习数据集主要以缺水型城市影像制作，因此在缺水型城市，沈阳水体提取结果较好。

图11中黄色框为水体提取效果较差结果区域，分析其原因，发现这些区域有薄云和厚云遮挡，影响水体提取结果；还有一些细小区域出现漏提，主要是由于训练和迁移学习数据集主要以缺水型城市影像制作，而宁波市为丰水型城市，宁波市影像与样本迁移学习模型耦合较差。

从缺水型城市和丰水型城市提取结果来看，缺水型城市水体提取结果较好，丰水型城市水体提取结果还需要改进，但是总的来说，可以满足缺水型城市水体提取，模型有一定的局限性，如何提高丰水型城市水体的提取精度是今后工作的重要方向。

5 结论

针对U-net提取高分辨率影像城市水体的问题，首先，本文分析了VGG16、Resnet和Mobilenet 3个特征提取模型对城市水体的提取效果，得到Mobilenet-Unet模型是3个特征提取模型中效果最好的；其次，使用Mobilenet-Unet模型做样本迁移学习，完成较低分辨率样本数据集到较高分辨率样本数据集的分析，主要结果如下：

（1）在空间分辨率相差较小时，可以使用样本迁移学习提取高分辨率水体，结果精度较高。

（2）当数据样本充足时，采用基础模型提取水体效果最好；当数据样本较少时，可以使用空间分辨率相近的数据集进行样本迁移学习，且空间分辨率越相近，样本迁移模型提取的水体效果越好。

（3）使用U-net模型进行水体提取时，影像水体噪声、耀斑和细小水体混合像元现象会严重影响水体提取效果；使用缺水型数据集样本迁移模型只适合缺水型城市水体类型，具有局限性；上述两个问题都是下一步待解决的问题。此外，深度学习图像分割的算法发展较快，研究相关前沿算法的迁移学习水体提取也是急需开展的工作。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

Duan

Hongtao

， Luo

Juhua

， Cao

Zhigang

，et al.

Progress in remote sensing of aquatic environments at the watershed scale

［J］. Progress in Geography，2019，38（8）：1182-1195.