一种新的基于神经网络的直线匹配算法

陈忠尧，李永**

（北京邮电大学电子工程学院，北京 100876）

2.02.02.02.02.02.0Electronic Engineering, Beijing University of Posts and Telecommunications, Beijing 100876；Electronic Engineering, Beijing University of Posts and Telecommunications, Beijing 100876北京邮电大学电子工程学院，北京 100876;北京邮电大学电子工程学院，北京 100876100876;10087613051391975;1871015043713051391975;18710150437北京市海淀区西土城路10号北京邮电大学;北京市海淀区西土城路10号北京邮电大学zychen2019@163.com;yli@bupt.edu.cn陈忠尧（1991-），男，硕士研究生，主要研究方向：直线匹配，深度学习;李永（1978-），男，副教授，主要研究方向：深度学习，计算机视觉陈忠尧;李永CHEN Zhongyao;LI Yong李永 2.02.02.02.02.02.02.02.02.02.02.02.02.02.02.01*|*期刊*|*Zhang L , Koch R . An efficient and robust line segment matching approach based on LBD descriptor and pairwise geometric consistency[J]. Journal of Visual Communication and Image Representation, 2013, 24(7):794-805.<CR>2*|*期刊*|*Fan B , Wu F , Hu Z . Robust line matching through line–point invariants[J]. Pattern Recognition, 2012, 45(2):794-805.<CR>3*|*期刊*|*Al-Shahri M, Yilmaz A. Line matching in wide-baseline stereo: a top-down approach[J]. IEEE Transactions on Image Processing, 2014, 23(9): 4199-4210.<CR>4*|*期刊*|*Al-Saffar A A M, Tao H, Talab M A. Review of deep convolution neural network in image classification[C]//2017 International Conference on Radar, Antenna, Microwave, Electronics, and Telecommunications (ICRAMET). IEEE, 2017: 26-31.<CR>5*|*期刊*|*Mei S, Jiang R, Ji J, et al. Invariant feature extraction for image classification via multi-channel convolutional neural network[C]//2017 International Symposium on Intelligent Signal Processing and Communication Systems (ISPACS). IEEE, 2017: 491-495.<CR>6*|*期刊*|*Peng C, Zhang X, Yu G, et al. Large Kernel Matters--Improve Semantic Segmentation by Global Convolutional Network[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 4353-4361.<CR>7*|*期刊*|*Ke T W, Hwang J J, Liu Z, et al. Adaptive Affinity Fields for Semantic Segmentation[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 587-602.<CR>8*|*期刊*|*Fu C Y, Liu W, Ranga A, et al. Dssd: Deconvolutional single shot detector[J]. arXiv preprint arXiv:1701.06659, 2017.<CR>9*|*期刊*|*Law H, Deng J. Cornernet: Detecting objects as paired keypoints[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 734-750.<CR>10*|*期刊*|*He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 770-778.<CR>11*|*期刊*|*Wei L, Li Y, Yu H, et al. An improved RANSAC algorithm for line matching on multispectral images[C]//Eighth International Conference on Graphic and Image Processing (ICGIP 2016). International Society for Optics and Photonics, 2017, 10225: 1022507.<CR>12*|*期刊*|*Kingma D P, Ba J. Adam: A method for stochastic optimization[J]. arXiv preprint arXiv:1412.6980, 2014.一种新的基于神经网络的直线匹配算法|A Novel Line Matching Algorithm Based On Neural Networks||1|陈忠尧|CHEN Zhongyao|北京邮电大学电子工程学院，北京 100876|Electronic Engineering, Beijing University of Posts and Telecommunications, Beijing 100876|陈忠尧（1991-），男，硕士研究生，主要研究方向：直线匹配，深度学习|北京市海淀区西土城路10号北京邮电大学|100876|zychen2019@163.com|13051391975|13051391975<CR>*|2|李永|LI Yong|北京邮电大学电子工程学院，北京 100876|Electronic Engineering, Beijing University of Posts and Telecommunications, Beijing 100876|李永（1978-），男，副教授，主要研究方向：深度学习，计算机视觉|北京市海淀区西土城路10号北京邮电大学|100876|yli@bupt.edu.cn|18710150437|18710150437

摘要：直线匹配是计算机视觉领域的重要技术之一，是图像拼接、三维重建以及图像配准的一个关键环节，具有非常广泛的应用场景。相比于特征点匹配，特征直线包含物体的结构信息，并且对环境噪声具有较强的抗干扰能力而备受国内外学者关注。然而，直线端点的不精确定位给直线匹配的研究带来了巨大的挑战，为了解决这个问题，本文提出了一种利用深度神经网络提取直线特征并进行直线匹配的新方法。首先，检测图像对中的特征直线，然后根据直线裁剪固定大小的图像块。其次，将裁剪后的图像块输入到本文设计的适合直线匹配的网络（Line Matching Network, LMNet）中，判断直线是否匹配。最后，利用后处理机制剔除重复匹配和错误匹配的直线对。实验证明，本文所提出的方法显著提高了直线匹配的性能，并且有效地解决了直线端点的不精确定位问题。

关键词：直线匹配，计算机视觉，卷积神经网络

中图分类号：TP399

A Novel Line Matching Algorithm Based On Neural Networks

CHEN Zhongyao, LI Yong

(Electronic Engineering, Beijing University of Posts and Telecommunications, Beijing 100876)

Abstract: Line matching is one of the most important technologies in the field of computer vision. It is a key link in image stitching, 3D reconstruction and image registration and widely used in many applications. Compared with point matching, line contains more structure information of object and has strong anti-jamming ability to environmental noise, which attracts much attention of scholars. However, the inaccurate location of line endpoints brings great challenges to the research of line matching. In order to solve this problem, this paper proposed a novel line matching algorithm based on convolutional neural networks to extract line features. Firstly, the feature lines in the images are detected, and then the fixed size image blocks are cropped according to the lines. Secondly, the cropped image block is input to the Line Matching Network(LMNet), which is designed to extract line features, to judge whether the feature lines matched. Finally, the post-processing mechanism is used to eliminate the duplicate matching and the wrong matching. Experimental results show that the proposed algorithm can significantly improve the performance of line matching and effectively solve the problem of inaccurate location of line endpoints.

Key words: line matching; computer vision; convolutional neural network

引言

直线匹配是图像处理领域的一个重要课题，具有重大的研究意义，同时，也是图像处理领域的一个研究难点。近年来，学者对直线匹配进行了大量的研究并取得了较大进展。如Zhang等人[1]提出了一种基于直线的局部外观及其几何属性的直线匹配算法。该方法通过提取尺度空间中的直线以解决子线断裂和几何变化问题，并设计了一种描述直线外观的直线描述符(LBD，Line Band Descriptor)。该算法对低纹理图像匹配精度很高，但是，当存在直线遮挡时，匹配效果仍然较差。Fan等人[2]提出了一种利用直线和点之间的几何关系进行直线匹配的方法，该方法介绍了两种线点不变量，由一条直线与两个相邻点构成的仿射不变量和由一条直线与四个相邻点组成的射影不变量。但是，由于该方法依赖点的对应关系，使得该方法不适合低纹理场景的图像。Mohammed等人[3]提出了一种利用对极几何和直线对之间的共面性约束实现直线匹配的新方法。该方法通过利用对极几何和直线对之间的共面条件，可消除由于直线端点的不精确定位和直线断裂带来的问题。但是，由于多光谱图像像素点受噪声影响较大，像素值之间并没有线性对应关系，因此，该算法对多光谱图像的匹配效果仍然不好。

近年来，卷积神经网络飞速发展，并且在很多图像处理领域取得了突破性进展，如图像分类[4][5]、语义分割[6][7]以及目标检测[8][9]等。卷积神经网络是由一系列的卷积层、池化层以及全连接层组成的，可以自动提取图像中的特征信息。因此，本文提出了一种利用卷积神经网络提取直线特征并进行直线匹配的新方法。利用卷积神经网络描述直线特征以替换构建直线描述符的方法有两个好处：第一，构建直线描述符的方法需要用到专业的知识将特征直线转换为矩阵向量，而卷积神经网络操作更加方便，可以自动提取图像中的直线特征。第二，构建的直线描述符只能描述特征直线的低维特征，而卷积神经网络可以描述特征直线从低维到高维的特征。

基于卷积神经网络的直线匹配算法

本文提出了一种新的基于卷积神经网络的直线匹配算法，该方法利用神经网络将特征直线转化为固定大小特征矢量以替换传统算法中构建直线描述符的方法，并且取得了较好的匹配效果。本文所提出的方法包含以下内容：

大规模数据集的构建。为了使神经网络取得较好的匹配性能，训练数据集中必须包含足够多的数据。本文共搜集了300对红外-可见光图像对，并利用第2节的方法生成了28,800对训练集。

神经网络的设计与搭建。本文提出了一种基于ResNet[10]的网络结构LMNet，相比于ResNet，LMNet卷积层以及卷积核的个数都有所压缩，使得LMNet更加轻量化。LMNet大幅度减少参数数量，匹配效率得到大幅度提升。

剔除重复匹配。网络输出后的直线匹配结果采用得分制（0-1之间，也就是概率值），如果一条直线与多条直线全部匹配，只保留匹配分数最高的匹配对。

后处理机制。利用一种类似于RANSAC的后处理机制[11]以剔除错误匹配。

本文所提出的直线匹配算法的流程如图1所示。匹配流程由三部分构成：直线检测、图像裁剪以及直线匹配。对于待匹配的图像对，首先分别检测红外图像与可见光图像中所包含的特征直线。其次，利用第2部分的方法以特征直线为中心，裁剪固定大小的图像块。最后将裁剪后的图像块与的全零矩阵合成三通道图像输入到网络中，输出待匹配直线对的匹配得分，直到所有直线对全部匹配。

图1 图像裁剪及直线匹配算法流程图

Fig. 1 Flowchart of the algorithm for image cropping and line matching

数据集的构造

大规模的数据集是训练神经网络不可缺少的部分。对于相同的网络结构，训练集数量越多，包含的场景越丰富，则得到的模型鲁棒性越好。本文利用自主搭建的红外-可见光采集系统，共采集约300对红外-可见光图像对，包含足够丰富的场景，如建筑物、台阶、地板等。其中，中波红外图像的波长范围介于之间，可见光图像的波长范围介于。然后将采集到的数据集按7:3分为训练集和验证集。此外，另采集100对红外-可见光图像对作为测试集，验证本文所提方法的有效性。

在将原始图片随机分为训练集和测试集之后，需根据检测到的特征直线生成用于训练直线匹配网络的新的数据集，该数据集分为两类，正样本和负样本。其中正样本的生成过程如下：

利用直线检测算法检测可见光图像中的直线，其中，代表检测到的直线总数。

对检测到的每条直线，延长至图像边界，计算直线的中点和直线与水平方向的夹角，其中，。

将可见光图像与红外图像同时旋转，使直线位于水平方向，如图2所示。根据旋转角度，计算图像的仿射变换矩阵：

（1）

图2 图像块截取示意图

Fig. 2 Diagram of the image block interception

根据仿射变换矩阵，利用公式：

（2）

可以求得点的映射点。其中代表点的坐标，代表点的坐标。

以点为中心，分别在红外图像和可见光图像中截取大小为的图像块、。最后将红外图像和可见光图像中截取的图像块、与大小相同的全零矩阵合成一张3通道的图像。

负样本的生成过程与正样本的生成过程大致相同，不同的是生成正样本时，在红外图像和可见光图像中截取图像块时用的是相同的直线，而生成负样本时，应该选取两条不同的直线，其中，，且。

LMNet网络结构的设计与实现

网络结构

LMNet的网络结构由预处理层、特征提取层以及分类层三部分组成，如图3所示。预处理层的作用是对图片进行归一化处理，以消除图像之间的共性，凸显个体差异，使网络的收敛速度更快。对于输入图像，将其进行预处理后得到的图像:

（3）

其中，表示图像的最大像素值，表示图像的最小像素值。

图3 LMNet网络结构图

Fig. 3 The architecture of LMNet

特征提取层的作用是提取图像中的直线特征，最终用向量的形式表示，类似于传统方法中构建直线描述符的过程。特征提取层的组成如下：对于经过预处理层的图片，首先用一个大小为、步长为2的卷积核进行特征融合，然后接一个步长为2的池化层，扩大感受野，从而使模型可以提取更广范围的特征，同时减少计算量和网络参数，在一定程度上防止过拟合。池化层之后是三个卷积模块，每一个模块都由若干个卷积层构成，三个卷积模块的卷积核数量分别为128、256、128。对于每一个卷积模块，本文首先采用大小为的卷积核进行降维，以减少计算量。其次利用大小为的卷积核提取每个像素点上下左右方向的特征。最后仍然采用大小为的卷积核提升维度。特征提取层之后是分类层，分类层的作用是计算图像块匹配的概率。

实现细节

训练阶段，网络参数采用均值为0方差为1的方式进行随机初始化，损失函数采用交叉熵损失，并且使用Adam[12]优化器进行优化。学习率为0.001，在每次迭代之前将训练集随机打乱，batch size为512，当迭代6,000次时停止训练。

实验结果

评价指标

为了测试本文所提出的利用卷积神经网络进行直线匹配的算法的性能，本文利用LMNet对采集的100组红外-可见光图像对进行了测试，并与通过构建直线描述符进行直线匹配的LBD算法进行了比较。比较方式如下：对于红外-可见光图像中的一对匹配直线对，首先分别计算两条直线的中点，然后根据点到直线的距离公式：

（4）

分别计算中点到的距离，如图4所示。最后取二者的均值作为两条直线的距离，也称之为误差距离。本文将误差距离划分了不同的区间、、、、，以方便进行定量化分析。

图4 误差距离计算示意图

Fig. 4 Diagram of the error distance calculation

实验结果对比与分析

表1所示是本文所用方法LMNet与LBD算法的定量化结果，当误差距离在10个像素值以内时，LMNet比LBD算法高约23%，匹配效果得到显著提升。此外，为了展示可视化

直线匹配结果，同时也为了直观对比不同算法的匹配效果，本文规定当误差距离时是正确的匹配对，并用绿色的直线表示，当误差距离时是错误的匹配对，并用红色的直线表示，如图5所示。其中，图5(a)是LBD算法的可视化匹配结果，图5(b)是本文提

出的LMNet算法的匹配结果。由图可知，在如图所示的红外-可见光图像对中，LBD算法共得到36对匹配结果，其中正确匹配18对，LMNet算法共得到26对匹配结果，其中正确匹配23对，明显优于LBD算法。

LBD

LMNet

图5 不同算法的可视化匹配结果

Fig. 5 Visual matching results of different algorithms

实验结果表明，利用卷积神经网络来提取直线特征并匹配具有技术可行性，并且匹配效果显著优于传统的构建直线描述符的方法。卷积神经网络将卷积层、池化层以及非线性激活

表1 LMNet算法与LBD算法的定量化结果对比

Tab. 1 Comparison of quantitative results between LMNet algorithm and LBD algorithm

方法	误差距离	[0,5]	(5,10]	(10,20]	(20,50]	>50
LBD	匹配对数	990	421	471	542	345
匹配比（%）	35.75	50.96	67.97	87.54	100.00
LMNet	匹配对数	490	147	114	85	26
匹配比（%）	56.84	73.90	87.12	96.98	100.00

函数进行不同方式的组合，提取图像块所包含直线从低层到高层的特征，然后将不同层次的特征进行融合，形成可以表达该条直线的特征矢量。而传统的构建直线描述符的方法表达直线特征时只用到了直线周围有限的像素点，远远少于利用卷积神经网络裁剪的图像块所包含的点，进而直接导致最终构建的描述符不能很好的表达直线特征，使匹配性能下降。此外，利用传统算法构建描述符需要用到专业的知识将像素点表征为特征矢量，而卷积神经网络可以自动提取特征且操作简单。因此，利用卷积神经网络进行直线匹配具有重大的研究意义。

总结

本文提出了一种利用卷积神经网络进行直线匹配的方法，并且取得了较好的匹配效果，为直线匹配的研究开拓了新的方向。本文所提出的LMNet算法已在大量红外-可见光数据集上进行了测试，实验结果表明，相比于传统算法，该方法取得了较好的匹配效果，并且可以解决直线端点的不精确定位问题。本文未来的研究方向将会侧重于图像块尺寸的选择、神经网络的设计等，进一步提升算法性能。同时，扩大训练数据集，解决旋转不变性和尺度变换问题，提高直线匹配算法的鲁棒性。

[参考文献] (References)

[1] Zhang L , Koch R . An efficient and robust line segment matching approach based on LBD descriptor and pairwise geometric consistency[J]. Journal of Visual Communication and Image Representation, 2013, 24(7):794-805.
[2] Fan B , Wu F , Hu Z . Robust line matching through line-point invariants[J]. Pattern Recognition, 2012, 45(2):794-805.
[3] Al-Shahri M, Yilmaz A. Line matching in wide-baseline stereo: a top-down approach[J]. IEEE Transactions on Image Processing, 2014, 23(9): 4199-4210.
[4] Al-Saffar A A M, Tao H, Talab M A. Review of deep convolution neural network in image classification[C]//2017 International Conference on Radar, Antenna, Microwave, Electronics, and Telecommunications (ICRAMET). IEEE, 2017: 26-31.
[5] Mei S, Jiang R, Ji J, et al. Invariant feature extraction for image classification via multi-channel convolutional neural network[C]//2017 International Symposium on Intelligent Signal Processing and Communication Systems (ISPACS). IEEE, 2017: 491-495.
[6] Peng C, Zhang X, Yu G, et al. Large Kernel Matters--Improve Semantic Segmentation by Global Convolutional Network[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 4353-4361.
[7] Ke T W, Hwang J J, Liu Z, et al. Adaptive Affinity Fields for Semantic Segmentation[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 587-602.
[8] Fu C Y, Liu W, Ranga A, et al. Dssd: Deconvolutional single shot detector[J]. arXiv preprint arXiv:1701.06659, 2017.
[9] Law H, Deng J. Cornernet: Detecting objects as paired keypoints[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 734-750.
[10] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 770-778.
[11] Wei L, Li Y, Yu H, et al. An improved RANSAC algorithm for line matching on multispectral images[C]//Eighth International Conference on Graphic and Image Processing (ICGIP 2016). International Society for Optics and Photonics, 2017, 10225: 1022507.
[12] Kingma D P, Ba J. Adam: A method for stochastic optimization[J]. arXiv preprint arXiv:1412.6980, 2014.

作者简介：陈忠尧（1991-），男，硕士研究生，主要研究方向：直线匹配，深度学习

通信联系人：李永（1978-），男，副教授，主要研究方向：深度学习，计算机视觉. E-mail: yli@bupt.edu.cn