遥感技术与应用, 2021, 36(6): 1299-1305 doi: 10.11873/j.issn.1004-0323.2021.6.1299

LiDAR专栏

基于样本加权PointNet++的输电通道点云分类研究

陈正宇,1, 彭淑雯2, 朱号东1, 张春涛1, 习晓环,2

1.中国能源建设集团江苏省电力设计院有限公司,江苏 南京 211102

2.中国科学院空天信息创新研究院 数字地球重点实验室,北京 100094

LiDAR Point Cloud Classification of Transmission Corridor based on Sample Weighted-PointNet++

Chen Zhengyu,1, Peng Shuwen2, Zhu Haodong1, Zhang Chuntao1, Xi Xiaohuan,2

1.China Energy Engineering Group Jiangsu Power Design Institute Co. ,Ltd. ,Nanjing,211102,China

2.Key Laboratory of Digital Earth,Aerospace Information Research Institute,Chinese Academy of Sciences,Beijing 100094,China

通讯作者: 习晓环(1972-),女,陕西乾县人,副研究员,主要从事激光雷达遥感研究。 E⁃mail:xixh@aircas.ac.cn

收稿日期: 2021-07-24   修回日期: 2021-11-22  

基金资助: 中国能源建设集团科技项目.  CEEC2020-KJ05

Received: 2021-07-24   Revised: 2021-11-22  

作者简介 About authors

陈正宇(1982-),男,江苏南京人,高级工程师,主要从事多源空间数据在电力工程中的应用研究E⁃mail:chenzhengyu@jspdi.com.cn , E-mail:chenzhengyu@jspdi.com.cn

摘要

输电通道内地物要素复杂,机载LiDAR获取的电力线、杆塔、植被等地物点云密度差异大、空间分布不规则,实际应用中“所见即所得”的应用需求对点云的高效自动化分类带来挑战。将深度学习中的PointNet++算法用于输电通道机载点云自动分类研究,分析样本加权对不同密度点云数据分类精度的影响,利用两组实验数据验证算法的精度和效率,并与随机森林分类算法进行比较。结果表明:基于样本加权PointNet++的方法在输电通道点云自动化分类方面适用性更强,平均F1值87.14%,且分类精度和效率均优于随机森林方法。

关键词: 机载LiDAR ; 输电通道 ; 点云分类 ; PointNet++ ; 样本加权

Abstract

Due to the irregular spatial distribution, various density of point cloud data and the complexity of power scenarios, the application requirements of "what you see is what you get" in practical applications and higher requirements are put forward for automatic point cloud classification. In this paper, PointNet++ algorithm of deep learning is applied to the classification of airborne LiDAR point cloud in transmission corridor, and the end-to-end automatic point cloud classification is achieved. At the same time, the effect of sample weighting on classification accuracy is analyzed. Two test datasets are used to verify the accuracy and efficiency of the proposed algorithm, and compared with the results from random forest algorithm. The experimental results show that the algorithm based on sample weighted-PointNet++ is suitable for transmission corridor point cloud classification and reaches 87.14% on the macro average F score. Moreover, the classification performance and time-consuming are better than that of random forest.

Keywords: Airborne LiDAR ; Transmission corridor ; Point cloud classification ; PointNet++ ; Sample weighted

PDF (2169KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

陈正宇, 彭淑雯, 朱号东, 张春涛, 习晓环. 基于样本加权PointNet++的输电通道点云分类研究. 遥感技术与应用[J], 2021, 36(6): 1299-1305 doi:10.11873/j.issn.1004-0323.2021.6.1299

Chen Zhengyu, Peng Shuwen, Zhu Haodong, Zhang Chuntao, Xi Xiaohuan. LiDAR Point Cloud Classification of Transmission Corridor based on Sample Weighted-PointNet++. Remote Sensing Technology and Application[J], 2021, 36(6): 1299-1305 doi:10.11873/j.issn.1004-0323.2021.6.1299

1 引 言

机载LiDAR(Light Detection And Ranging)系统不仅可快速获取地物目标高精度、高密度的三维空间信息,而且能够穿透植被冠层,获取林下地表特征信息,非常有利于输电通道三维信息获取。在电力巡检中,机载LiDAR可提高传统人工手段巡检效率低、解决光学数据缺乏三维信息1和植被遮挡导致的输电通道地形“盲区”等问题,通过对点云数据后处理和地物要素三维数字化重建,可准确获取其中电力线和杆塔的状态、进行危险点分析、安全预警和数字化管理等2

输电通道点云分类是实现线路安全分析和三维重建等应用的基础工作,其目的是从原始点云中提取电力线、杆塔、植被以及建筑等关键要素点云,平均分类精度应不低于80%,尤其关注电力线和杆塔等主体要素的识别和提取3,分类精度应在85%以上。常用的分类算法可分为基于语义规则的点云分类和基于机器学习的点云分类4,前者根据各类地物的空间分布特点设定一系列规则,如高程阈值、线性约束、空间位置关系约束等,逐一提取各要素。电力线提取主要依赖于线性特征检测,如霍夫变换(Hough Transform, HT)、随机采样一致性(Random Sample And Consensus, RANSAC)线性拟合等5。杆塔提取主要根据其空间拓扑特性、密度特征等定位其空间位置,进而实现杆塔精确提取6。基于语义规则的点云分类方法对于地物要素空间分布的规律性要求极高,依赖于多种约束条件和参数阈值,而输电通道地形复杂多变,杆塔类型多样,地形、点云密度和杆塔类型变化以及点云缺失等都会造成该方法在应用中缺乏高抗噪性和泛化性,难以适应业务应用的需求。根据特征提取方式的不同,基于机器学习的点云分类算法可分为基于传统机器学习和基于深度学习方法,目前主流的方法通常根据目标地物特点定义并提取特征,构建多维特征向量、输入分类器进行训练,进而构建分类模型并提取测试集特征,最后输入至分类模型完成分类。根据计算特征时所使用的基元可将该方法分为两类,即基于点的特征和基于对象的特征7。基于传统机器学习的方法根据输入的特征自动寻找合适阈值进行分类,自动化程度较高,但算法精度与特征的有效性密切相关。目前应用中主要特征大多为手工设计,需要根据丰富的先验知识来定义,而且特征的适用性和有效性也难以保证。

深度学习可以从数据中自动学习特征而不再依赖于人工设计,广泛应用于图像处理领域。传统的深度学习模型要求输入的数据具有规则的结构(如图像可被视为一种由像素组成的规则矩阵),而点云具有非结构化、无序性、离散性,无法直接输入传统的二维深度学习模型。近年来,很多学者不断深化深度学习技术并将其用于三维计算机视觉,并提出了多种点云规则化方法,将离散点云转换为规则格式,如图像、三维体素等8-9。基于点的深度学习方法可直接将原始点云作为输入,充分保留了点的三维信息10-11。以上分类算法在公开的室内场景数据集取得了较好的分类效果,但对于复杂的室外场景如Semantic 3D数据集仍有较大的精度提升空间12。输电通道作为一种复杂且重要的室外场景,其点云数据存在典型的类别不均衡性,点云分类精度和效率对机载LiDAR电力巡检业务化有重要意义13

基于经典的PointNet++模型,结合样本加权处理,开展输电通道点云分类研究,并与随机森林(Random Forest, RF)分类算法进行比较,说明本文方法的精度和效率。

2 研究方法

基于样本加权PointNet++的点云分类方法由经典PointNet++模型(图1)和样本加权处理组成,前者包含分层点集特征学习和点特征传播:输入原始点云数据、通过分层点集特征学习提取不同分辨率点特征,再经过点特征传播获取所有原始点的特征,最后通过softmax层得到每个点属于各个类别的得分。

图1

图1   PointNet++点云分类网络架构10

Fig.1   PointNet++ architecture for point cloud classification10


2.1 分层点集特征学习

该方法由多个集合抽象模块(Set Abstraction)组成,其作用是将输入的点云分成多个局部点集并提取每个点集的全局特征,然后使特征不断抽象,从而获取更高维的特征,主要包含以下3个基本单元:①采样层。采用迭代最远点采样算法(Farthest Point Sampling, FPS)完成局部区域质心集的构建14。首先随机选取一个点作为初始点,然后选择离这个点距离最远的点,将该点加入质心集中,并作为起点继续迭代,直至选取的质心个数满足给定个数N'。②分组层。根据质心点集将点云数据分成多个局部点集。输入数据的尺寸为N×(d+C),其中N为输入的点数目,d为点的坐标维数(通常为3),C为其他属性维度,如强度、回波等。以采样层选取的质心点为圆心,根据预先设定的搜索半径r获取球邻域内所有点,输出得到N’个局部点云,其大小为k×dk为每个局部区域点云数目。③PointNet层。该层学习每个局部区域点云的全局特征,即抽象区域点云的整体性特征。输入数据是分组层获取的多组局部点集,其尺寸为N×k×d,每组局部点集都将通过一个PointNet模型学习后得到一组C'维特征向量,因此该层最终输出数据的尺寸为N×d+C',此处的PointNet模型是一个简化的单元,不对输入数据进行T-net变换。

2.2 点特征传播

分层点集特征学习对点云进行下采样操作,仅保留每个点集抽象模块中的质心点,而场景分类问题需要给原始点赋予对应的类别标签,因此需要将点集恢复为原始数据。当分层特征的尺寸为Nl×d+C'时,采用反距离加权法插值出该层采样前Nl-1个点的分层特征。另外,为了减少采样和插值过程中的细节损失,使用拼接操作(concat)将当前插值得到的特征与点集抽象层的特征进行融合,得到尺寸为Nl-1×Cl-1+C'的数据。由于该数据的特征维数过高且部分特征之间相关,影响训练效率和模型鲁棒性,可将这些数据经过一个单元PointNet处理(unit pointnet)以降低特征维度,减少运算量的同时增加网络的非线性程度,进而提高模型的泛化能力。插值和单元PointNet处理需要重复操作直至输出点数为原始点数目。

2.3 样本加权

在一般输电通道场景中,植被和地面点几乎占获取的点云数据量的90%以上,可视作“多数类”,电力线和杆塔点云所占的比重较小,可视作“少数类”。这种类别间样本数差异较大的现象是分类任务中典型的类别数据不均衡问题,在应用监督学习分类方法时会存在一定的局限性3,如模型会趋向于学习多数类的正确分类,而不会重视样本较少的类别。电力线和杆塔是输电通道最为关键的地物,但通常点密度低、样本较少,若直接使用类别不均衡的样本数据构建训练模型和分类,其分类精度会受到影响。本实验采用加权处理,以降低其对少数类分类精度的影响。

原始PointNet++网络采用的损失函数为交叉熵损失函数L0式(1)),为反映点云数目占比差异对分类精度的影响,将L0改为加权交叉熵损失函数L式(2)),该函数可根据类别的总点数占比修改其权重,从而增加分错少数类的成本。

L0=-iK(yilog pi)
L=-iK(wiyilog pi)

其中:yi代表点的真实标签;pi代表该点属于类别i的概率;K代表类别数目;wi为各类别权重;计算方式如下:

(1)统计训练集中各类别出现的频次timei

(2)利用式(3)计算各类别点数占训练集总点数的比重peri,其中sum为训练集总点数;

peri=timeisum

(3)对数函数能够有效的控制增长率,防止类别间差别大而导致权重过大的问题,因此采用式(4)计算每个类别的权重wi

wi=1log (t+peri)

其中:t>1,根据验证集精度确定该参数。分别按照一定间隔设定t的参数范围(如间隔为0.1时,t的参数列表为:1.1, 1.2, 1.3…),选择精度最高时参数t的值作为最优参数,并将此时的模型作为最终模型进行测试。

3 结果与分析

3.1 实验数据

实验数据为江苏省某区域500 kV线路的机载LiDAR扫描数据,地形复杂度较低、起伏较小,点密度约50 pts/m2。使用19档(两个杆塔之间为1档)带标签的点云数据作为原始数据集,覆盖范围约6 959 m(线路长度)×90 m(通道宽),其中用于训练和验证的比例为8∶2。使用2档不带标签的数据作为测试集,测试集1的范围为317 m×90 m,测试集2的范围为658 m×90 m,后者相较于前者档距更大、所处环境更为复杂,一定程度可反映算法在不同数据量和复杂场景中的稳定性。实验将目标地物确定为输电通道的主要组成部分,包括地面、植被、杆塔、电力线以及建筑。训练集和测试集的类别数目统计情况如表1所示。

表1   数据集各类别数目统计

Table 1  Statistics of datasets by category

训练集测试集1测试集2
地面28 862 24362.42%726 39120.19%2 332 92039.36%
植被16 669 54936.05%2 814 94878.24%3 542 65459.76%
杆塔135 4270.29%6 2960.18%10 9190.18%
电力线228 6310.49%11 4140.32%28 5530.48%
建筑341 2120.74%38 6191.07%12 6890.21%
总和46 237 062100%3 597 668100%5 927 735100%

新窗口打开| 下载CSV


3.2 评价指标

总体分类精度(Overall Accuracy, OA)是多类别分类问题中常用的指标,但易受样本分布不均衡的影响,尤其是样本数目较少的类别。为了更科学地评估本文算法对各类别的分类效果,引入精确率(pre)、召回率(rec)和F1值(F1)作为评价指标,其中TP代表作出正确判断的正样本,FN代表作出错误判断的正样本,FP代表作出错误判断的负样本。精确率指标表示所有被预测为正的样本中实际为正的样本的概率,召回率表示在实际为正的样本中被预测为正样本的概率,F1值兼顾了精确率和召回率,是这两种指标的调和平均值。引入平均精确率(P)、平均召回率(R)、平均F1值(F)作为整体的评价指标,三者分别为所有类精确率、召回率和F1值的算术平均值,计算方法如式(5)~(7):

pre=TPTP+FP, P=1ninprei
rec=TPTP+FN, R=1ninreci
F1=2×pre×recpre+rec, F=1ninF1i

3.3 结果分析

所有实验均在一台服务器上完成,配置为:Intel(R) Xeon(R) CPU E5-2603 v3 @ 1.60 GHz,显卡为NVIDIA Tesla K40c、Tesla K40 m,256 G内存。在训练过程中,设置初始学习率为0.01,每迭代4 080次降为原来的0.7倍,学习动量为0.9,批处理大小为16。随机森林算法使用的特征包括基于特征值、纵剖面、密度和高度的特征15

样本加权PointNet++算法分类评价见表2。可以看出,两个测试集的F1值均在85%以上,植被、电力线、杆塔的分类结果较好,其中电力线类别的F1值高于95%,杆塔类别的F1值均高于85%。地面类别分类结果有待改进,Test1中有近1/3的地面点被错分为植被点,Test2中有584 492个植被点被错分为地面点,导致植被类别的召回率明显低于Test1,且建筑的精确率较低,仅65.43%,相较于Test1下降了18.59%,原因在于Test2的地形起伏更为明显,导致坡面上的部分地面点被错分为建筑物点。

表2   样本加权PointNet++分类性能评价

Table 2  The performance of the PointNet++

地面植被杆塔电力线建筑pre/%
测试集1测试集2测试集1测试集2测试集1测试集2测试集1测试集2测试集1测试集2测试集1测试集2
地面508 4631 975 150148 603584 49217710030497477.3377.14
植被212 595354 3282 663 9172 954 056241338006837492.6089.27
杆塔09904855005 58310 3064864860085.1883.91
电力线0640129527410 92828 0670097.3798.81
建筑5 3332 3881 9433 605000038 24711 34184.0265.43
rec/%70.085.6694.6383.3988.6894.3995.7498.3099.0489.38--
F1/%73.4880.7293.6186.2386.8988.8496.5598.5590.9175.55--

新窗口打开| 下载CSV


为减少类别不平衡对分类结果的影响,采用加权交叉熵损失作为损失函数,并以Test1为例,比较加权前后各类别的分类精度(图2)。结果表明,样本加权后,除植被外各类别的精确率都有所下降,而召回率均上升,地面类别的召回率上升尤为明显,说明样本加权处理在损失一定精确率的前提下提升了各类别的召回率。总体而言,样本加权后算法优于未加权的结果。

图2

图2   Test1样本加权前后结果对比

Fig.2   Comparison of the results before and after sample weight in Test1


随机森林算法是目前输电通道点云分类中较为常用的算法16,本实验从精度和效率两方面与之进行比较。图3是采用两种算法对两个测试数据集的分类结果,其中白色框为算法错分较严重的区域。可以看出,随机森林算法对植被的分类结果优于PointNet++方法,一定程度上可分出低植被点和地面点。图4表明,随机森林算法在建筑类别的分类效果远不如PointNet++方法,与地面点、植被混淆严重;在提取杆塔类别时,也出现了较多的漏分和错分,杆塔点多与植被和电力线点混淆。

图3

图3   两种算法在两个测试集的分类结果

Fig.3   Classification results of test set 1 and 2 by using different classification algorithms


图4

图4   两种算法分类结果对比

Fig.4   Comparison of classification results


表3对比了两类算法的性能。总体来说,样本加权PointNet++算法的分类效果优于随机森林算法,F值分别提升了13.07%和9.22%;在区分建筑和杆塔方面,样本加权PointNet++算法的性能更优。分类效率方面,随机森林算法总耗时远大于样本加权PointNet++,主要在于该算法不能直接处理原始点云数据,需要先提取特征,分类模型构建用时是样本加权PointNet++分类模型的6.4倍,对测试集1的分类耗时约为样本加权PointNet++的53倍。另外,随机森林算法的时间复杂度更高,测试集2的点数相对于测试集1增加了0.6倍,随机森林算法耗时增加了约1倍,而样本加权PointNet++算法耗时只增加了约0.5倍,一定程度上说明样本加权PointNet++算法效率高,能快速分类大数据量的点云,更适合于大规模输电通道地物分类。

表3   样本加权PointNet++和随机森林算法的效果对比

Table 3  Performance comparison of sample weighted-PointNet++ and random forest algorithms

算法测试集评估指标
P/%R/%F/%训练耗时 /h分类耗时 /s
样本加权PointNet++187.3089.6288.291.5109
282.9190.0285.98164
随机森林178.0887.1675.229.65 769
274.5385.9876.7611 282

新窗口打开| 下载CSV


4 结 论

实验探讨了样本加权PointNet++模型在输电通道机载LiDAR点云分类中的有效性,分析了样本加权处理对模型分类的影响,并从分类精度和效率两方面与目前常用的随机森林分类算法进行了对比,表明样本加权后,整体分类精度有所提升,但精确率略有下降;样本加权PointNet++算法的分类精度优于随机森林,F值平均87.14%,而且耗时少,能快速分类大数据量的点云,更适合于大规模输电通道点云分类。同时,样本加权操作具有通用性,可适用于其他网络结构,用于减少因类别不均衡造成的精度损失。

研究中采用的实验数据覆盖的研究区相对平坦,地形起伏小,对于复杂和起伏较大的地形,因没有获取到相应的数据,暂未开展算法的应用和评价。另外目前基于深度学习的点云分类研究还处于起步阶段,对于不同生产应用需求,网络架构还需要进一步的改进和优化。在输电通道机载LiDAR点云数据中,地面和植被点云占比非常大,而基于样本加权PointNet++算法进行分类时,地面点和低植被点混淆较为严重。因此,在未来工作中可以考虑结合经典地面滤波算法,如渐进三角网滤波、布料模拟滤波(Cloth Simulation Filter, CSF)等,先去除地面点后再用样本加权PointNet++进行分类,进一步提高分类的精度和效率。

参考文献

Du YuefeiLiu ZhengjunFeng Tianwen.

Application of PPP technology and Airborne LiDAR in power line inspection

[J]. Remote Sensing Technology and Application, 2019342): 263-268.

[本文引用: 1]

杜跃飞刘正军冯天文.

PPP技术与机载激光雷达在电力线巡检中的应用研究

[J]. 遥感技术与应用, 2019342): 263-268.

[本文引用: 1]

Guo TaoShen PingShi Leiet al.

Study on power tower extraction and fast positioning from Airborne LiDAR data

[J]. Remote Sensing Technology and Application, 2018333): 530-535.

[本文引用: 1]

虢韬沈平时磊.

机载LiDAR快速定位高压电塔方法研究

[J]. 遥感技术与应用, 2018333): 530-535.

[本文引用: 1]

Li W.Luo Z.Xiao Z.et al.

A GCN-based method for extracting power lines and pylons from Airborne LiDAR data

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022601-14. DOI: 10.1109/TGRS.2021.3076107.

[本文引用: 2]

Tan JZhao HYang Ret al.

An entropy-weighting method for efficient power-line feature evaluation and extraction from LiDAR point clouds

[J]. Remote Sensing,20211317):3446. DOI: 10.3390/rs13173446.

[本文引用: 1]

Wang PinghuaXi XiaohuanWang Chenget al.

Study on power line fast extraction based on Airborne LiDAR data

[J]. Science of Surveying and Mapping, 2017422): 154-158.

[本文引用: 1]

王平华习晓环王成.

机载激光雷达数据中电力线的快速提取

[J]. 测绘科学, 2017422): 154-158.

[本文引用: 1]

Chen SWang CDai Het al.

Power pylon reconstruction based on abstract template structures using Airborne LiDAR data

[J]. Remote Sensing,20191113):1579. DOI:10.3390/rs11131579.

[本文引用: 1]

Zhang JixianLin XiangguoLiang Xinlian.

Research progress and prospect of point cloud information extraction

[J]. Acta Geodaetica et Cartographica Sinica, 20174610):262-271.

[本文引用: 1]

张继贤林祥国梁欣廉.

点云信息提取研究进展和展望

[J]. 测绘学报, 20174610): 262-271.

[本文引用: 1]

Su HMaji SKalogerakis Eet al.

Multi-view convolutional neural networks for 3D shape recognition

[C]∥ International Conference on Computer VisionSantiago,Chile13-16.

[本文引用: 1]

Dec.2015945-953.

[本文引用: 1]

Qi CSu HMatthias Net al.

Volumetric and multi-view CNNS for object classification on 3D data

[C]∥ IEEE Conference on Computer Vision and Pattern RecognitionLas Vegas, USA27-30.

[本文引用: 1]

June20165648-5656.

[本文引用: 1]

Qi CLi YSu Het al.

Pointnet++: Deep hierarchical feature learning on point sets in a metric space

[C]∥ Neural Information Processing SystemsLong Beach, USA3-9.

[本文引用: 3]

Dec.20175099-5108.

[本文引用: 3]

Li YBu RSun Met al.

PointCNN: convolution on x-transformed points

[C]∥Neural Information Processing SystemsMontreal, Canada3-8

[本文引用: 1]

Dec.2018820-830.

[本文引用: 1]

Hackel TSavinov NLadicky Let al.

Semantic3D.net: a new large-scale point cloud classification benchmark

[J]. ISPRS Annals of Photogrammetry, Remote Sensing and Spatial Information Sciences, 2017, IV-1/W191-98.

[本文引用: 1]

Huang YDu YShi W.

Fast and accurate power line corridor survey using spatial line clustering of point cloud

[J]. Remote Sensing,2021138):1571. DOI:10.3390/rs13081571.

[本文引用: 1]

Kamousi PLazard SMaheshwari Aet al.

Analysis of farthest point sampling for approximating geodesics in a graph

[J]. Computational Geometry,2016571-7. DOI:10.1016/j.comge 0.2016.05.005.

[本文引用: 1]

Kim H BSohn G.

Point-based classification of power line corridor scene using random forests

[J]. Photogrammetric Engineering & Remote Sensing, 2013799):821-833.

[本文引用: 1]

Peng SXi XWang Cet al.

Systematic comparison of power corridor classification methods from ALS point clouds

[J]. Remote Sensing,20191117):1961. DOI:10.3390/rs11171961.

[本文引用: 1]

/