留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

利用卷积神经网络进行绝缘子自动定位

彭向阳 刘洋 王柯 张泊宇 钱金菊 陈驰 杨必胜

彭向阳, 刘洋, 王柯, 张泊宇, 钱金菊, 陈驰, 杨必胜. 利用卷积神经网络进行绝缘子自动定位[J]. 武汉大学学报 ● 信息科学版, 2019, 44(4): 563-569. doi: 10.13203/j.whugis20170175
引用本文: 彭向阳, 刘洋, 王柯, 张泊宇, 钱金菊, 陈驰, 杨必胜. 利用卷积神经网络进行绝缘子自动定位[J]. 武汉大学学报 ● 信息科学版, 2019, 44(4): 563-569. doi: 10.13203/j.whugis20170175
PENG Xiangyang, LIU Yang, WANG Ke, ZHANG Boyu, QIAN Jinju, CHEN Chi, YANG Bisheng. An Automatically Locating Method for Insulator Object Based on CNNs[J]. Geomatics and Information Science of Wuhan University, 2019, 44(4): 563-569. doi: 10.13203/j.whugis20170175
Citation: PENG Xiangyang, LIU Yang, WANG Ke, ZHANG Boyu, QIAN Jinju, CHEN Chi, YANG Bisheng. An Automatically Locating Method for Insulator Object Based on CNNs[J]. Geomatics and Information Science of Wuhan University, 2019, 44(4): 563-569. doi: 10.13203/j.whugis20170175

利用卷积神经网络进行绝缘子自动定位

doi: 10.13203/j.whugis20170175
基金项目: 

南方电网公司重大科技专项 GD-KJXM20150903

国家自然科学基金 41531177

中国博士后科学基金 2016M600614

详细信息
    作者简介:

    彭向阳, 博士, 教授级高工, 主要研究方向为输电线路运行及故障诊断、输变电设备智能高效运维技术、电力系统过电压及绝缘配合等。pigpxy@126.com

    通讯作者: 刘洋, 硕士。lyang@whu.edu.cn
  • 中图分类号: P237

An Automatically Locating Method for Insulator Object Based on CNNs

Funds: 

China Southern Grid Crop Major Science and Technology Projects GD-KJXM20150903

the National Natural Science Foundation of China 41531177

China Postdoctoral Science Foundation 2016M600614

More Information
    Author Bio:

    PENG Xiangyang, PhD, senior engineer at professor grade, specializes in the theories and methods of fault detection with transmission line data. E-mail: pigpxy@126.com

    Corresponding author: LIU Yang, master. E-mail: lyang@whu.edu.cn
图(9) / 表(2)
计量
  • 文章访问数:  1319
  • HTML全文浏览量:  135
  • PDF下载量:  175
  • 被引次数: 0
出版历程
  • 收稿日期:  2017-06-13
  • 刊出日期:  2019-04-05

利用卷积神经网络进行绝缘子自动定位

doi: 10.13203/j.whugis20170175
    基金项目:

    南方电网公司重大科技专项 GD-KJXM20150903

    国家自然科学基金 41531177

    中国博士后科学基金 2016M600614

    作者简介:

    彭向阳, 博士, 教授级高工, 主要研究方向为输电线路运行及故障诊断、输变电设备智能高效运维技术、电力系统过电压及绝缘配合等。pigpxy@126.com

    通讯作者: 刘洋, 硕士。lyang@whu.edu.cn
  • 中图分类号: P237

摘要: 提出一种基于二值化赋范梯度特征和卷积神经网络的航空影像绝缘子自动定位方法。首先利用二值化赋范梯度分类器提取绝缘子候选窗口,而后利用卷积神经网络算法进行精细识别,获得包含绝缘子目标的窗口集,最后对高重叠度窗口集进行加权迭代合并得到最终绝缘子定位结果。采用广东电网大型无人机实际线路巡检获取的可见光影像对自动定位算法进行验证,实验结果表明,在复杂背景下绝缘子整体回调率为90.5%,定位精度为92%,证明该方法能够对复杂背景下可见光影像中的绝缘子进行有效识别定位,且算法通用性较强,可适应不同背景的可见光影像。

English Abstract

彭向阳, 刘洋, 王柯, 张泊宇, 钱金菊, 陈驰, 杨必胜. 利用卷积神经网络进行绝缘子自动定位[J]. 武汉大学学报 ● 信息科学版, 2019, 44(4): 563-569. doi: 10.13203/j.whugis20170175
引用本文: 彭向阳, 刘洋, 王柯, 张泊宇, 钱金菊, 陈驰, 杨必胜. 利用卷积神经网络进行绝缘子自动定位[J]. 武汉大学学报 ● 信息科学版, 2019, 44(4): 563-569. doi: 10.13203/j.whugis20170175
PENG Xiangyang, LIU Yang, WANG Ke, ZHANG Boyu, QIAN Jinju, CHEN Chi, YANG Bisheng. An Automatically Locating Method for Insulator Object Based on CNNs[J]. Geomatics and Information Science of Wuhan University, 2019, 44(4): 563-569. doi: 10.13203/j.whugis20170175
Citation: PENG Xiangyang, LIU Yang, WANG Ke, ZHANG Boyu, QIAN Jinju, CHEN Chi, YANG Bisheng. An Automatically Locating Method for Insulator Object Based on CNNs[J]. Geomatics and Information Science of Wuhan University, 2019, 44(4): 563-569. doi: 10.13203/j.whugis20170175
  • 绝缘子是架空输电线路的重要结构部件,对带电导线同时起到电气绝缘和机械支撑作用,绝缘子故障会对整个输电线路安全造成重大威胁。传统的输电线路绝缘子故障检测通常依靠地面人员肉眼观察或现场专用仪器的检测,费时费力。近些年,直升机、无人机电力巡检技术因其高效、安全的优点,逐渐成为输电线路巡检的应用热点[1-2]。而从无人机影像中自动定位绝缘子的位置则是绝缘子缺陷检测的前提。

    目前,在绝缘子识别与提取方面,国内外已有一些初步成果[3-14]。文献[3]提出了基于Lab空间的最大类间方差和面积形态学的方法对绝缘子进行定位识别;文献[5]提出了利用最大类间方差结合小波模极大值法检测图像边缘以及Hough变换快速检测不完整椭圆来识别绝缘子串的方法,并对绝缘子实现定位识别;文献[8]提出了一种利用曲线平滑和弱纹理表面的方法进行绝缘子识别定位;文献[10]提出了基于差异训练的局部梯度描述子和连续的投票模式进行航拍影像绝缘子检测的方法。

    可见,目前基于无人机可见光影像的绝缘子定位方法主要分为两类,一是根据绝缘子特征进行定位;二是根据阈值分割的方法对绝缘子识别定位。但是根据绝缘子特征进行定位需手动选择或设计特征,往往需要尝试多种模型,且最终选定的特征很可能不具备良好的泛化能力,不能适应多种场景、不同自然条件下的绝缘子提取;基于阈值分割方法提取绝缘子则受背景、光照以及绝缘子材质的影响,难以保证准确率。

    针对无人机可见光影像中的绝缘子自动定位与识别问题,本文提出了一种基于二值化赋范梯度(binarized normed gradients,BING)分类器和卷积神经网络(convolutional neural networks, CNNs)的绝缘子自动识别方法。该方法首先利用BING分类器提取目标候选窗口;再利用卷积神经网络精确定位绝缘子目标;最后采用高重叠度窗口迭代合并算法获得最终绝缘子定位结果。本文以广东电网大型无人直升机实际巡检获取的可见光影像数据为实验数据,验证了算法的可行性和实用效果。实验表明,该方法能够从相对复杂的背景中识别并定位无人机可见光影像中的绝缘子,大大提高了绝缘子目标的识别率且方法通用性较好。

    • 基于卷积神经网络的绝缘子自动定位方法属于深度学习理论在电力巡检领域的重要应用,其实质是判断获取的每个候选窗口中是否包含特定目标的过程。方法具体流程如图 1所示,其中BING分类器参数和卷积神经网络模型参数均由样本训练获得。

      图  1  绝缘子定位流程图

      Figure 1.  Flowchart of Insulator Detection

    • 传统的滑动窗口法虽然可以获取所有包含目标的窗口,但也会产生大量冗余窗口,严重影响算法目标检测效率。目标作为在空间中具有清晰闭合边界的独立事物[15],其归一化小尺寸窗口对应的梯度特征具有良好的区分性。Cheng等[16]根据这种特性提出BING算法来获取候选目标窗口。BING算法获取候选窗口降低了窗口获取的盲目性,可以大大减少冗余窗口数量。本文方法中BING分类器训练流程图如图 2所示。

      图  2  BING分类器训练流程图

      Figure 2.  Flowchart of Training BING Classifier

      图 3所示,分别将包含绝缘子、杆塔和植被背景的3个局部窗口归一化为8×8小窗口,结果显示绝缘子梯度特征图有较为明显的闭合边界,而杆塔和植被则并无此特性。

      图  3  无人机影像及对应局部区域梯度特征图

      Figure 3.  Unmanned Aerial Vehicle (UAV) Image and Corresponding Local Area Gradient Characteristic

      基于BING算法的绝缘子候选窗口确定方法以BING为目标识别特征,级联支持向量机为分类器。依据样本集训练并获取分类器参数,得到每个窗口的特征对应的最终得分(此得分为衡量窗口包含物体的可能性),最终将获取的分类器应用于绝缘子候选区域确定。其具体实现过程如下。

      1) 获取训练样本。人工选择不同尺度下的绝缘子目标局部窗口作为正样本。采集一定数量的长宽随机的局部窗口作为负样本,且要求正负样本的重叠率低于一定数值。重叠率的计算方法如下:

      $$ U = \frac{S}{{S1 + S2 - S}} $$ (1)

      式中,待计算重叠率的窗口1面积为S1;窗口2面积为S2;两者重叠区域面积为S;重叠率为U

      2) 特征计算。对获取的正负样本集统一调整尺寸至8×8并计算每个点的梯度,而后将梯度幅值转化为一个简单的64维特征对窗口进行描述,即BING特征。

      3) 获取分类器模型参数。将计算出的梯度特征作为原始输入数据,训练级联线性支持向量机的第一层分类器,获取其分类模型参数w

      4) 计算窗口得分。在获取分类参数w之后,对于每个窗口,均可使用分类参数w计算对应的表示窗口包含目标可能性[17]大小的窗口得分。

      $$ {S_l} = < w, {\mathit{g}_\mathit{l}} > $$ (2)
      $$ l = \left( {i, x, y} \right) $$ (3)

      式中,Sl为检测窗口所得特征的输出得分;gl为检测窗口特征;w为分类器模型参数;l为检测窗口在原始图像中的位置;i的取值对应不同的检测窗口图像尺度;xy为尺度i下检测窗口在原始图像中的坐标。

      5) 归一化窗口得分。将步骤4)计算的窗口得分作为输入数据,训练一个新的支持向量机分类器,对初次得分进行归一化校正,获取对应分类器参数:

      $$ {O_l}{\rm{ = }}{\mathit{V}_\mathit{i}} \cdot {S_l} + {T_i} $$ (4)

      式中,Ol为输入的图像窗口的最终计算得分(即窗口内包含物体的可能性);ViTi是需要学习的改正系数和偏置项。

      以训练所得BING分类器对原始无人机可见光影像进行检测,以得分大于一定阈值的检测窗口作为绝缘子区域候选窗口。

    • CNNs算法近年来广泛应用于模式识别、图像处理领域,具有结构简单、训练参数少和适应性强等特点[18]。CNNs使用旨在识别候选窗口中真正包含目标的窗口,即进行绝缘子窗口的精确识别, 其模型训练流程图如图 4所示。

      图  4  卷积神经网络训练流程图

      Figure 4.  Flowchart of Training Convolutional Neural Networks

    • 为应对影像中绝缘子数量稀少而背景复杂多样的问题,在获取CNNs训练所需样本时,还需要平衡正负样本数量,以有效避免训练过程中的过拟合现象。

      1) 正负样本获取。为应对影像中绝缘子数量稀少而背景复杂多样的问题,本文以BING分类器的输出结果为基础,选择与原始人工标记窗口重叠率高于一定阈值的结果为正样本(绝缘子样本),其余输出结果窗口为负样本(背景样本)。

      2) 正负样本数量平衡。为解决正负样本数量相差悬殊可能导致的训练过拟合问题,本文对获得的正样本采用Krizhevsky等[19]提出的数据增大的方式进行扩充,有效平衡了正负样本数量。

    • 在不影响绝缘子特征提取的前提下,本文将CNNs的输入数据固定尺寸为196×196像素。为防止网络过拟合,降采样层使用有重叠的降采样方法。

      CNNs用于识别绝缘子窗口时,起始端使用的卷积层和池化层会获取图像中一些基本的浅层绝缘子特征,如颜色特征、边缘特征等。为降低特征对图像平移旋转的敏感度,在卷积层之后分别连接一个池化层对特征图像进行降采样操作。对降采样损失的部分图像特征,以增加卷积核的数量的方式来弥补。在提取浅层特征的卷积层和池化层组合后连接了多个全连接层,全连接层的作用是对已经提取的浅层特征进行组合处理,从而得到一些较为高级的绝缘子结构特征,以提高绝缘子识别的准确率。最后一次的全连接层的输出为一维向量,用于最终的分类计算,网络结构末尾衔接SOFTMAX分类器对绝缘子目标分类结果进行输出。实验参数中,基础学习率base_lr用于控制网络训练的收敛速度,设为0.001;学习率变化比率gamma用于控制学习率在训练过程中的变化,避免网络训练时跨过极值点或者陷入局部最优,设为0.1;步长Stepsize用于控制学习率何时改变,设为1 000;最大迭代次数用于控制训练何时终止,设为30 000;动力项momentum用于控制收敛速度,设为0.000 5;计算模式solve_mode设为GPU;权重衰减项用于约束权重大小,设为0.000 5。

    • 利用CNNs对BING算法的输出绝缘子候选窗口进行分类时存在一个问题:BING算法会在同一个目标附近输出多个高度重叠的候选窗口,由于这些窗口是影像中的同一目标的多个映射,会使得CNNs将这些窗口都判定为目标。而针对每一串绝缘子目标,理想状态下应输出唯一的窗口。所以,在使用CNNs进行目标检测之后,需要找到隶属于同一个目标的窗口集,按照某种方式将它们合并起来,使得同一绝缘子对应窗口输出为唯一,得到最终识别结果,以完成最终的可见光绝缘子精确定位。

      基于这种需求,本文设计了一种加权迭代合并算法来对卷积神经网络分类结果进行后处理,使得同一个目标绝缘子串的窗口合并为一个。算法流程图如图 5所示。

      图  5  加权迭代合并算法流程图

      Figure 5.  Flowchart of Weighted Iterative Merging

      算法步骤为:①假设经过CNNs判定为目标的窗口数量为a;②对这a个窗口做加权合并,设合并后的数量为b;③若a=b,则说明窗口已无法继续合并,即对同一目标已获取唯一窗口,此时可输出结果,若ab,则返回第②步进行迭代合并。加权合并算法的设计基于这样一种假设,即窗口的类别从属概率符合高斯分布。窗口越贴近真实目标绝缘子串,CNNs输出结果得分越高,反之越低。加权合并算法具体步骤如下。

      1) 若窗口已被遍历完,进入第4)步,否则进入第2)步。

      2) 从待合并的窗口中挑选一个窗口wi,若群组列表L为空,则添加一个群组K,并将wi放入K中,若L不为空,则进入步骤3)。

      3) 检测wiL中各群组是否存在重叠率大于阈值ε的窗口,若有,则将wi添加进该群组中;若没有,则向L中添加一个包含wi的新群组,回到步骤1)。

      4) 针对L中每一个群组K,按照式(5)进行合并,其中v为窗口参数,包括最小(xy)坐标与最大(xy)坐标;score为窗口由CNNs计算出的从属概率,即窗口得分。

      $$ \bar v{\rm{ = }}\frac{{\sum\limits_{i \in K} {{v_i} \cdot {\rm{scor}}{{\rm{e}}_i}} }}{{\sum\limits_{i \in K} {{\rm{scor}}{{\rm{e}}_i}} }} $$ (5)

      通过上述迭代加权合并方法,可唯一确定绝缘子串对应的识别窗口,即完成最终的识别输出。

    • 本文以Visual Studio 2013为开发平台,以Caffe为深度学习库,并结合OpenCV库,实现本文提出的基于BING和CNNs的绝缘子自动定位方法并验证其有效性。实验数据由广东电网大型无人机实际运行线路巡检获取,实验数据具有影像背景复杂、数据量大、绝缘子在影像中占比不大的特点。

      图 6为本文实验使用的部分原始图像,图中主要包括绝缘子、杆塔、植被等信息;图 7展示了BING算法绝缘子候选窗口确定结果图;图 8为CNNs精确定位结果;图 9为加权迭代合并结果。

      图  6  无人机影像原始图

      Figure 6.  Original Image of UAV Image

      图  7  BING算法检测结果

      Figure 7.  Detection Results of BING Algorithm

      图  8  卷积神经网络定位结果

      Figure 8.  Localization Results of Convolutional Neural Networks

      图 9所示,本文设计的加权迭代算法能够有效合并CNNs输出结果中同属于一串绝缘子的窗口集,且准确率较高。

      图  9  迭代合并结果

      Figure 9.  Result of Iterative Merging

      图 7所示,基于BING算法的绝缘子候选窗口输出结果在图像中分布密度并不均匀。存在目标的位置,其候选窗口密度明显高于非目标位置,这很直观地说明了基于BING分类器的候选窗口输出结果相比传统的滑动窗口法有相当大的优势。

      图 8所示,基于CNNs的绝缘子定位方法能够准确地从BING分类器获取的候选窗口中筛选出包含绝缘子的局部窗口集,并且从每串绝缘子对应的局部窗口集中可以看出,越接近绝缘子真实位置的区域,被窗口集包含的次数越多。

    • 为验证本方法的可行性,对随机选取的84张无人机可见光影像进行了实验测试,结果见表 1

      表 1  统计结果

      Table 1.  Statistical Results

      绝缘子种类 绝缘子串数量 正确定位 遗漏定位 错误定位
      玻璃绝缘子 72 66 6 3
      复合绝缘子 171 154 17 16
      合计 243 220 23 19

      评估目标检测结果需要用到以下指标:

      $$ {\rm{Precision = }}\frac{{{\rm{TP}}}}{{{\rm{TP}} + {\rm{FP}}}} \times 100\% $$ (6)
      $$ {\rm{Recall = }}\frac{{{\rm{TP}}}}{{{\rm{TP}} + {\rm{FN}}}} \times 100\% $$ (7)

      式中,TP表示正确定位到的目标数;FP代表错误定位的目标数;FN为遗漏定位的目标数;Precision表示精度;Recall表示回调率。因此TP+FP代表分类器最终检测到的窗口个数,TP+FN代表图像中绝缘子串的真实个数。

      表 1结果表明,在包含72串玻璃绝缘子的影像中,TP达到66,回调率为91.6%;FP值为3,因此定位精度为95.6%;在包含171串复合绝缘子的影像中,TP达到了154,回调率为90.0%;FP为16,因此复合绝缘子定位精度为90.6%。实验结果表明,本方法在对复杂背景影像进行绝缘子串定位时,其回调率与定位精度均高于90%,说明本文方法能够有效地从无人机可见光影像中定位出包含绝缘子串的位置,可以为后续的绝缘子缺陷检测提供可靠的可见光绝缘子数据信息。

    • 本文设计了两组对比实验,第一组是将本文使用的CNNs特征与经典梯度方向直方图(histogram of oriented gradients,HOG)特征比较,第二组是将本文方法与现有识别方法比较。

    • 在使用HOG特征算子[20]进行比较时,本文将计算HOG特征的块大小设为(8,8),元胞大小设为(4,4),窗口滑动步长设为(4,4),实验结果对比见表 2

      表 2  不同绝缘子识别效果比较/%

      Table 2.  Contrast Result of HOG with Result of CNNs/%

      方法 玻璃绝缘子 复合绝缘子
      CNNs 91.6 90.0
      HOG 82.6 67.21

      本组实验结果表明,针对复杂背景下的绝缘子定位问题,本文采用的CNNs特征提取方式较经典的HOG特征明显更为有效。

    • 现有方法中,文献[5-6]等方法适用于简单净空背景,对复杂背景中绝缘子识别率较低,在此不做比较。本文方法与文献[3]中提出的基于视觉的绝缘子串检测方法(visual based detection and location, VBDL)、文献[4]提出的基于形状感知的绝缘子识别法(shape perceptual based detection and location, SPBDL)、文献[13]提出的HIS颜色识别绝缘子方法(color image based detection and location, CIBDL)定位效果对比。本文方法、VBDL、SPBDL和CIBDL方法整体识别率分别为90.5%、67.5%、74.9%和69.6%。

      本组实验结果表明,针对复杂背景下的绝缘子定位问题,本文方法定位与VBDL、SPBDL以及CIBDL方法比较明显更为有效。且本文方法基于深度学习理论,不需人工设计复杂的目标识别特征,因此与上述3种方法相比,在保持绝缘子定位高准确率的同时,通用性也更强。

      对于传统的完全依赖分割边缘的绝缘子识别算法,在复杂背景下识别率低于10%,因此本文定位方法与传统方法相比也有绝对优势。

    • 本文提出了一种从可见光影像中自动定位绝缘子的方法。采用无人机实际巡检获取的输电线路可见光影像数据验证了算法的有效性。

      本文方法能够自动从复杂背景的海量可见光影像中较为稳健地识别定位绝缘子,提高了机巡作业效率和智能化水平;采用了深度学习理论,与传统的图像处理方法相比,即使面对复杂的背景环境,也不需设计复杂的绝缘子识别特征。在保持绝缘子定位的高准确度的同时,本文方法的通用性也更强。

参考文献 (20)

目录

    /

    返回文章
    返回