基于密集连接空洞编码器的轻量级目标检测网络

杨傲，刘绍华**

（北京邮电大学电子工程学院）

2.02.02.02.02.02.02.0Beijing University of Posts and Telecommunications；Beijing University of Posts and Telecommunications北京邮电大学电子工程学院;北京邮电大学电子工程学院100876;10087619801318031;1368113926219801318031;13681139262北京市西土城路10号北京邮电大学;北京市西土城路10号北京邮电大学yangao23@yeah.net;liushaohua@bupt.edu.cn杨傲（1998-），男，目标检测;刘绍华（1976-），男，博导，人工智能杨傲;刘绍华Yang Ao;Liu Shaohua刘绍华 2.02.02.02.02.02.02.02.02.02.02.02.02.02.02.01*|*论文集*|*Dalal N, Triggs B. Histograms of oriented gradients for human detection[C]//2005 IEEE computer society conference on computer vision and pattern recognition (CVPR'05). Ieee, 2005, 1: 886-893.<CR>2*|*期刊*|*Felzenszwalb P F, Girshick R B, McAllester D, et al. Object detection with discriminatively trained part-based models[J]. IEEE transactions on pattern analysis and machine intelligence, 2009, 32(9): 1627-1645.<CR>3*|*论文集*|*Lin T Y, Goyal P, Girshick R, et al. Focal loss for dense object detection[C]//Proceedings of the IEEE international conference on computer vision. 2017: 2980-2988.<CR>4*|*论文集*|*Redmon J, Divvala S, Girshick R, et al. You only look once: Unified, real-time object detection[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 779-788.<CR>5*|*期刊*|*Zhou X, Wang D, Krähenbühl P. Objects as points[J]. arXiv preprint arXiv:1904.07850, 2019.<CR>6*|*论文集*|*He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 770-778.<CR>7*|*论文集*|*Newell A, Yang K, Deng J. Stacked hourglass networks for human pose estimation[C]//European conference on computer vision. Springer, Cham, 2016: 483-499.<CR>8*|*论文集*|*Ma N, Zhang X, Zheng H T, et al. Shufflenet v2: Practical guidelines for efficient cnn architecture design[C]//Proceedings of the European conference on computer vision (ECCV). 2018: 116-131.<CR>9*|*期刊*|*Ren S, He K, Girshick R, et al. Faster r-cnn: Towards real-time object detection with region proposal networks[J]. Advances in neural information processing systems, 2015, 28: 91-99.<CR>10*|*论文集*|*Liu W, Anguelov D, Erhan D, et al. Ssd: Single shot multibox detector[C]//European conference on computer vision. Springer, Cham, 2016: 21-37.<CR>11*|*论文集*|*Tian Z, Shen C, Chen H, et al. Fcos: Fully convolutional one-stage object detection[C]//Proceedings of the IEEE/CVF international conference on computer vision. 2019: 9627-9636.<CR>12*|*论文集*|*Law H, Deng J. Cornernet: Detecting objects as paired keypoints[C]//Proceedings of the European conference on computer vision (ECCV). 2018: 734-750.<CR>13*|*期刊*|*Iandola F N, Han S, Moskewicz M W, et al. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and< 0.5 MB model size[J]. arXiv preprint arXiv:1602.07360, 2016.<CR>14*|*期刊*|*Howard A G, Zhu M, Chen B, et al. Mobilenets: Efficient convolutional neural networks for mobile vision applications[J]. arXiv preprint arXiv:1704.04861, 2017.<CR>15*|*论文集*|*Sandler M, Howard A, Zhu M, et al. Mobilenetv2: Inverted residuals and linear bottlenecks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 4510-4520.<CR>16*|*论文集*|*Howard A, Sandler M, Chu G, et al. Searching for mobilenetv3[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019: 1314-1324.<CR>17*|*论文集*|*Ghiasi G, Lin T Y, Le Q V. Nas-fpn: Learning scalable feature pyramid architecture for object detection[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019: 7036-7045.<CR>18*|*期刊*|*Law H, Teng Y, Russakovsky O, et al. Cornernet-lite: Efficient keypoint based object detection[J]. arXiv preprint arXiv:1904.08900, 2019.<CR>19*|*论文集*|*Chen Q, Wang Y, Yang T, et al. You only look one-level feature[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 13039-13048.<CR>20*|*论文集*|*Ioffe S, Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[C]//International conference on machine learning. PMLR, 2015: 448-456.<CR>21*|*论文集*|*Nair V, Hinton G E. Rectified linear units improve restricted boltzmann machines[C]//Icml. 2010.<CR>22*|*论文集*|*Huang G, Liu Z, Van Der Maaten L, et al. Densely connected convolutional networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 4700-4708.<CR>23*|*期刊*|*Kingma D P, Ba J. Adam: A method for stochastic optimization[J]. arXiv preprint arXiv:1412.6980, 2014.基于密集连接空洞编码器的轻量级目标检测网络|A Lightweight Object Detection Network Based on Dense Dilated Encoder Net||1|杨傲|Yang Ao|北京邮电大学电子工程学院|Beijing University of Posts and Telecommunications|杨傲（1998-），男，目标检测|北京市西土城路10号北京邮电大学|100876|yangao23@yeah.net|19801318031|19801318031<CR>*|2|刘绍华|Liu Shaohua|北京邮电大学电子工程学院|Beijing University of Posts and Telecommunications|刘绍华（1976-），男，博导，人工智能|北京市西土城路10号北京邮电大学|100876|liushaohua@bupt.edu.cn|13681139262|13681139262

摘要：针对参数量和计算量基于密集连接空洞编码器的轻量级目标检测网络大的目标检测模型在计算能力和资源有限的设备上运行困难的问题，提出了一种基于密集连接空洞编码器的轻量级目标检测网络。参考基于深度可分离卷积的ShuffleNetv2网络，对CenterNet的主干特征提取网络进行优化。通过引入多个级联的空洞卷积，并进行密集跳层连接，构建了密集连接空洞编码器（Light Dense Dilated Encoder, LDDE），LDDE通过改变空洞卷积的膨胀率，在多个尺度上扩大感受野，显著提高了目标检测性能。在PASCAL VOC数据集上，LDDE-Net的平均精度均值（mean average precision）mAP@0.5高于轻量化模型YOLOv4-tiny，并且参数仅为YOLOv4-tiny的68.65%。在NVIDIA GeForce RTX 2080 Ti上，LDDE-Net的FPS为106.1。在嵌入式平台NVIDIA Jetson Nano上，LDDE-Net的推理时间为120ms。

关键词：模式识别与智能系统；空洞卷积；轻量化，计算机视觉；深度学习

中图分类号：TP183

A Lightweight Object Detection Network Based on Dense Dilated Encoder Net

Yang Ao, Liu Shaohua

(Beijing University of Posts and Telecommunications)

Abstract: Aiming at the difficulty of running the CenterNet network with a large number of parameters and computation on devices with limited computing power and resources, a lightweight object detection network based on dense dilated encoder is proposed. Referring to the ShuffleNetv2 network based on depthwise separable convolutions, the backbone of CenterNet is optimized. A Light Dense Dilated Encoder (LDDE) is constructed by introducing multiple concatenated dilated convolutions and performing dense skip-layer connections. LDDE expands the receptive field at multiple scales by changing the dilation rate of dilated convolutions. which significantly improves the object detection performance. On the PASCAL VOC dataset, the mean average precision of LDDE-Net iA Lightweight Object Detection Network Based on Dense Dilated Encoder Nets higher than the lightweight model YOLOv4-tiny, and the parameters are only 68.65% of YOLOv4-tiny. On the NVIDIA GeForce RTX 2080 Ti, LDDE-Net has an FPS of 106.1. On the embedded platform NVIDIA Jetson Nano, the inference time of LDDE-Net is 120ms.

Key words: pattern recognition and intelligent systems; dilated convolution; lightweight, computer vision; deep learning

引言

近年来，在目标检测任务上，相比基于人工制作特征和分类器的传统目标检测算法[1][2]，深度卷积神经网络取得更好的效果和更加广泛的应用。虽说常见的RetinaNet[3]，YOLO[4]和CenterNet[5]等网络在强大的GPU上能达到优异的检测效果，但是模型的参数和计算成本很大，在计算能力和资源有限的嵌入式平台上，进行目标检测仍然具有挑战性。

CenterNet是一种新型单阶段无锚框（anchor-free）目标检测方法，相比YOLOv3，YOLOv4等基于锚框（anchor-based）的目标检测算法，网络不需要创建繁多的边界框，网络架构更加简洁。一般常见的CenterNet网络的主干网络为ResNet[6]系列和HourglassNet[7]系列网络，但其有较大的参数量。因此针对性能较弱的平台，本文认为CenterNet仍然有提升的空间。本文目的是研究一种在性能和轻量化之间平衡的网络架构。

本文提出了一种轻量且高效的目标检测网络架构，该架构专为计算资源受限的环境而设计。本文的主要贡献有两点：

1.本文提出了一个目标检测模型DDE-Net，在CenterNet的基础上引入空洞编码器（Dilated Encoder），保证网络框架简洁，避免较大计算量和参数量，提升网络的感受野，并且融合不同膨胀系数的空洞卷积提取的特征。在空洞卷积的基础上，本文将空洞卷积模块的每个层级之间进行密集连接，加强了空洞卷积模块中特征的传递，使模块能更好地利用不同层次空洞卷积提取出的特征，最大程度保留小尺寸目标的信息，缓解过拟合，使空洞卷积模块训练更加快速和高效。

2.本文提出了一个轻量化目标检测模型（Light Dense Dilated Encoder，LDDE）。该模型通过使用轻量化主干特征提取网络ShuffleNetv2[8]替换了DDE-Net参数量大的主干网络。为了进一步提升密集连接编码器中不同特征的重要性，我们提出了轻量化卷积注意力模块对编码器的输出特征进行注意力加权。因为编码器中密集跳层连接的特征图的特征是有冗余的，所以本文通过使用注意机制来增强编码器的特征表达能力，关注重要的特征并抑制不必要的特征。

相关工作

传统目标检测算法使用滑动窗口从图像中获取特征，它们依赖于人工提取特征和分类器，不能很好地适应不同尺度的目标，并且检测效率和准确性较低。2012年卷积神经网络（Convolutional Neural Network，CNN）的兴起，使目标检测领域有了长足进步。基于CNN的目标检测算法主要有两条发展路线：基于锚框（anchor-based）和无锚框（anchor-free）方法。

基于锚框（anchor-based ）的目标检测算法。目前基于CNN的目标检测器中，最先进的解决方案是基于锚框的算法，如Faster R-CNN[9]、SSD[10]、Retinanet和YOLOv3、v4，算法会创建多个不同尺寸和宽高比的边界框，用作检测候选目标。基于锚框的方法会在图像上生成密集的框，并通过非极大值抑制（Non-Maximum Suppression，NMS）等方法对锚框进行评分，再通过回归优化其坐标来生成最终的预测框。因为网络为了确保预测框与大部分的真实边界框（ground-truth bounding box）充分重叠，算法会通过滑窗的方式产生数量繁多的锚框，这导致计算量大，模型计算推理速度下降，减慢了网络的训练效率。

无锚框（anchor-free）的目标检测算法。近年来提出的无锚框（anchor-free）目标检测算法则摒弃锚框，通过确定关键点的方式来完成检测，大大减少了网络超参数的数量。其中比较常见的方法有FCOS[11]、CornerNet[12]、CenterNet等。FCOS是一种基于全卷积网络的逐像素目标检测算法，不借助锚框，直接使用特征图上的每一个点进行检测框的回归，并且提出了中心度（Centerness）的思想。该算法避免了锚框带来的复杂运算，节省了训练过程中大量的内存占用。CornerNet模型将目标检测问题当作关键点检测问题来解决，通过检测目标框的左上角和右下角两个关键点得到预测框。CenterNet是一种新型无锚框目标检测方法，其不同于CornerNet网络，它摒弃了CornerNet左上角和右下角的两个关键点，借助高斯热力图检测目标的中心点，将目标对象建模为单个点，并以此来对目标的中心点和其他属性进行回归，网络架构简洁有效。

轻量化目标检测器（Lightweight object detectors）。当前的目标检测模型参数量大，计算量大，使得模型在移动设备上的应用受到了限制。为了解决这方面的问题，许多研究人员通过重新设计网络架构，使模型轻量的同时，在移动设备上也能保持优异的性能。SqueezeNet[13]提出了3个降低网络复杂度的策略：将3×3的卷积替换为1×1的卷积；降低3×3卷积的输入通道数；将降采样后置。MobileNetv1[14]利用深度可分离卷积降低计算量，MobileNetv2[15]引入具有线性瓶颈的倒置残差结构，MobileNetv3[16]利用神经架构搜索（Neural Architecture Search）[17]来搜索网络的配置和参数，为给定的问题找到最佳的神经网络架构。CornerNet-Squeeze[18]引入新的紧凑主干网络架构，为Hourglass network、Mobilenet、Squeezenet结构的变体，在实时检测器领域达到速度和精度的双重提升。

模型设计

基于密集连接空洞编码器的轻量级目标检测网络LDDE-Net

为了在资源有限的平台上进行目标检测，本文在CenterNet的基础上，提出了一种简化的卷积神经网络模型，即LDDE-Net，这是一种适用于移动终端的轻量级目标检测框架。其模型架构如图1所示。该模型主要由四部分组成：（1）主干网络，CenterNet一般采用Hourglass-104、ResNet-101、ResNet-50作为主干特征提取网络，但这些网络有着较大的参数量和较慢的推理时间，LDDE-Net采用基于ShuffleNetv2的主干特征提取网络，可以大幅减小模型参数量，显著提高模型的运行速度；（2）密集连接空洞编码器（Dense Dilated Encoder），该模块提升了网络对输入图像的感受野，并且融合不同空洞程度的卷积层提取的特征，使模块能更好地利用不同空洞卷积提取出的特征，提升了模型的性能；（3）上采样模块（Upsample），将提取到的高层特征进行放大，LDDE-Net利用三次反卷积进行上采样，从而获得更高分辨率的特征图，并在该特征图上进行预测。（4）损失函数，主要由三部分组成：热力图损失，代表目标检测的类别数；中心点偏置损失，代表每一个目标中心距离热力点的偏移情况；目标宽高损失，代表每一个目标宽高的预测情况。

图1 LDDE-Net模型架构

Fig. 1 LDDE-Net model architecture

轻量化密集连接空洞编码器

轻量化空洞编码器（Light Dilated Encoder）。受到You Only Look One-level Feature（YOLOF）[19]论文的启发，本文参考了空洞编码器（Dilated Encoder），该模块通过堆叠空洞卷积增大感受野，只使用单层特征图对不同尺度的目标进行分别检测。在空洞编码器的基础上，本文使用深度可分离卷积对网络进行了优化。我们将原有的标准卷积替换为深度可分离卷积来减少网络参数量和计算量，参数量降到原先的33.6%，为527KB。为了弥补模型轻量化带来的性能下降，进一步提升轻量化密集连接编码器的性能，并更好的提取密集连接编码器中特征的重要性，我们参考了卷积注意力模块（Convolutional Block Attention Module, CBAM）, 并对其进行了轻量级优化，以适应我们的应用场景。编码器的密集跳层连接一方面可以使较低层的特征图被传递到深层次的网络中，增加特征融合的同时丰富了特征的表达，减少了信息丢失。但是特征图中的特征是有冗余的，特征信息低的特征图的过度跨层连接，反而会带来特征信息的混乱，减少特征的有效性。所以本文通过使用注意机制来增强编码器的特征表达能力，关注重要的特征并抑制不必要的特征。如图2所示，它包含前后两类组件，分别是Projector和Attention Residual Block，Projector模块用于降低通道数，Attention Residual Block（ARB）模块用于提取图像语义信息。1×1代表卷积核尺寸为1×1的卷积层，3×3代表卷积核尺寸为3×3的深度可分离卷积层，×4代表四个连续的残差块。Projector首先应用一个1×1的卷积层来降低通道维数，然后添加一个3×3深度可分离卷积层来提炼特征信息，接着级联4个卷积核膨胀率不同的注意力残差块ARB，生成具有多个感受野的输出特征。在残差块中的所有卷积层的输出接上批量归一化层（Batch Normalization Layer）[20]和一个ReLU[21]层。在Projector中仅使用卷积层和批量归一化层。

图2 轻量化注意力空洞编码器

Fig. 2 Light Dilated Encoder

轻量化密集连接空洞编码器（Light Dense Dilated Encoder）。随着网络深度的加深，使得特征和梯度的传递更加困难，网络也就更难训练。发现在卷积网络的输入层和输出层之间构建更短的跳层连接，有助于训练过程中梯度的反向传播。本文的轻量化空洞编码器级联4个卷积核膨胀率不同的注意力残差模块，在保证网络中层与层之间最大程度的信息传输的前提下，本文将空洞卷积模块中具有相同输出特征图大小和通道数的层相连。传统的分层卷积中每一层和它的后一层之间仅有一条连接，ResNet模型的核心模块建立前面层与后面层之间的“短路连接”。如图3所示，本文比ResNet卷积模块更进一步，将模块中每层的输入包含前面所有的卷积块的特征映射，最终的输出汇集了四个注意力残差模块和Projector的输出。通过密集的跳层连接，增加了后续空洞卷积层输入的变化，提升模型的检测性能，使模型的mAP@0.5上升12.18。

图3 轻量化密集连接注意力空洞编码器

Fig. 3 Light Dense Dilated Encoder

损失函数设计

本文按照CenterNet[5]论文的方法训练关键点预测网络。LDDE-Net网络中loss计算由三个部分组成：热力图损失、中心点偏置损失、目标宽高损失。输入图像, 为图像宽度，为图像高度。网络预测的关键点热力图为。参考了文献[12]使用下采样步长。在分辨率为输入图像1/4的热力图中，预测的关键点为，是预测点的x轴坐标，是预测点的y轴坐标。为真实框中属于类别的关键点，是目标大小自适应标准偏差。本文中使用的高斯核函数计算公式如(1)。

本文将所有真实框中的关键点放在热力图上， 表示真实值，表示预测值， 和 是焦点损失的超参数，是输入图像中关键点的数量，通过将所有正焦点损失归一化。本文在所有实验中使用 α = 2 和 β = 4，遵循 Law 和 Deng [12]。热力图损失计算公式如(2)。

为了恢复由于下采样引起的误差，用表示网络预测的偏移量，使用平均绝对误差（MAE）训练，中心点偏置损失计算公式如(3)。

本文使用平均绝对误差（MAE）训练目标宽高损失，表示目标的真实尺寸，表示预测的尺寸，计算公式如(4)。

为了平衡三个损失函数，本文利用常量和来进行缩放。本文在所有实验中设置了和，遵循 Law 和 Deng [12]。总体损失函数计算公式如(5)。

实验结果

本文中模型使用1张NVIDIA GeForce RTX 2080 Ti。进行训练，然后分别在2080Ti和Jetson nano上进行测试。NVIDIA Jetson Nano是一款128-core Maxwell架构的深度学习开发板，硬件性能与2080 Ti差异巨大，如表1所示，但二者配置的软件环境类似，均为Ubuntu18. 04，采用 Python3. 6 和 Pytorch1. 2. 0 框架。

表1 NVIDIA GeForce RTX 2080 Ti 和 NVIDIA Jetson Nano 的性能比较

Tab. 1 NVIDIA GeForce RTX 2080 Ti vs NVIDIA Jetson Nano Performance Comparison

Computing platform	NVIDIA GeForce RTX 2080 Ti	NVIDIA Jetson nano
GPU	NVIDIA Turing 4352 CUDA Cores	128-core Maxwell GPU
内存	11GB,352-bit,GDDR6	2 GB,64-bit, LPDDR4, 25.6GB/s
功率	250W	5W | 10W
计算能力	76 TOPS	472 GFLOPS(=0.472TOPS)

实现细节

网络训练参数如下: 图像输入尺寸为512×512，总训练次数为 100轮，前50轮冻结主干网络参数，初始学习率为1x10-3，训练批量大小为 32。训练后50轮，学习率下降为1x10-4，训练批量大小为 16。优化算法采用Adam[23]算法，权重衰减为5 x 10-4。在测试时，设置批量大小为1，不使用图像翻转和图像多尺度等技巧。

实验数据集

本文实验中使用的数据集是PASCAL VOC，该数据集是一个包含20个类别的公共对象检测数据集，20个类分属四个大类别：人、动物、交通工具和室内物品。在实验中，使用由PASCAL VOC 2007和2012组成的混合数据集进行训练和测试。训练集包含 16511 张图像，测试集包含 4592 张图像。每张图像包含一个或多个对象，每个对象属于所使用的20个类别之一。

消融实验

为了说明LDDE-Net的有效性和各个模块对模型的影响，本文在PASCAL VOC数据集上，对LDDE-Net模型进行了一系列消融实验。

密集连接空洞编码器中残差块的数量：如表2所示，N代表密集连接空洞编码器LDDE-Net中残差块的数量。可以看出级联适当数量的残差块会并提升模型的性能，这是因为编码器能进行更多尺度的特征融合。实验发现当N大于4时，过多的残差块使编码器更加复杂，造成部分特征在传递的过程中丢失，反而使编码器的性能下降。结合消融实验，我们默认设置密集连接空洞编码器LDDE-Net中残差块数量为4。

表2 密集连接空洞编码器中残差块的数量

Tab. 2 Number of residual blocks in the dense dilated encoder

N	mAP@0.5	BFLOPs	params(M)
2	68.73	8.16	3.73
4	70.70	8.27	4.16
6	70.38	8.38	4.59
8	70.33	8.49	5.02

密集连接空洞编码器中残差块的膨胀率：在密集连接空洞编码器中，为了比较不同的膨胀率对模块性能的影响，本文设置密集连接空洞编码器LDDE-Net中残差块数量为4。对残差块设置了不同的参数，2,4,6,8代表设置模块中4个卷积核膨胀率分别设置为2,4,6,8。如表3所示，当卷积核膨胀率设置为2,4,6,8时，mAP@0.5提升效果最为显著，达到70.70。在一定范围内增加卷积核膨胀率有利于提升网络大中尺度目标对象检测性能，可能会稍微恶化小尺度目标对象的检测性能。当膨胀率设置过大时，空洞编码器过于稀疏的采样输入会带来严重的棋盘效应，使得远距离卷积得到的信息之间没有相关性，造成局部信息丢失影响分类结果。本文中不特殊说明时，在实验中卷积核膨胀率设置为2,4,6,8。

表3 密集连接空洞编码器中残差块的膨胀率

Tab. 3 Dilated rate of residual blocks in the dense dilated encoder

Dilated	mAP@0.5
1,1,1,1	69.55
2,2,2,2	70.19
2,4,6,8	70.70
4,8,12,16	70.32
8,12,16,20	69.18

模型性能比较

如表4所示，主干网络为ResNet50的CenterNet-ResNet50模型参数大小为32.65M，针对CenterNet-ResNet50参数量大而移动设备资源有限的情况，本文参考了ShuffleNetv2网络，对CenterNet-ResNet50的主干网络进行了优化。

CenterNet-ShuffleNetv2将主干网络替换为ShuffleNetv2，降低模型的大小，并提高模型的运行速度，但也带来相当大的精度损失。在CenterNet-ShuffleNetv2的基础上，CenterNet-Dilated添加了空洞编码器，模型参数比CenterNet-ShuffleNetv2大0.71M，模型的mAP@0.5提高了8.4。

LDDE-Net在此基础上进行密集连接，由于密集空洞编码器中没有引入新的卷积层，这使模型参数没有发生变化，相比没有添加模块的CenterNet- ShuffleNetv2，mAP@0.5提升了12.18。由于卷积层的减少，网络深度的下降，使模型推理时间大大缩短，在2080Ti上，LDDE-Net的FPS为105.6，约为CenterNet-ResNet50模型FPS的1.4倍。在Jetson nano上，对LDDE-Net模型进行测试，推理耗时在120ms，FPS为8.3。

表4 CenterNet和LDDE-Net系列模型的性能对比

Tab. 4 Performance comparison of CenterNet and LDDE-Net series models

Model	Backbone	Size	mAP@0.5	BFLOPs	params(M)	FPS
CenterNet	ResNet50	512×512	77.12	34.99	32.65	75.3
CenterNet	ShuffleNetv2	512×512	58.52	8.74	3.45	112.3
CenterNet-Dilated	ShuffleNetv2	512×512	66.92	8.27	4.16	107.6
LDDE-Net	ShuffleNetv2	512×512	70.70	8.27	4.16	106.1

图4可视化了PASCAL VOC数据集上的几个测试示例。通常，CenterNet-ShuffleNetv2和LDDE-Net都可以识别简单场景的检测目标。但是，在检测场景中具有大目标时，CenterNet-ShuffleNetv2可能会丢失和错误检测，而LDDE-Net则不会发生这种情况。此外，对于同一目标，LDDE-Net具有更高的检测精度。

(a) CenterNet-ShuffleNetv2 (b) LDDE-Net

图4 PASCAL VOC 测试可视化示例

Fig. 4 PASCAL VOC test visualization example

LDDE-Net和YOLO系列性能比较

本文在PASCAL VOC数据集上将LDDE-Net与YOLO 系列中的其他型号进行了性能比较。表5显示了对比实验的结果。YOLOv3-tiny和YOLOv4-tiny是分别基于YOLOv3和YOLOv4设计的轻量级目标检测网络，YOLOv4-tiny的模型参数为6.06M，mAP@0.5为64.83。LDDE-Net的模型参数大小为YOLOv4-tiny的68.65%，但mAP@0.5提高5.87。LDDE-Net在参数量小于其他YOLO系列模型的同时，mAP@0.5优于其他YOLO系列模型，进一步实现了检测能力和存储空间占用之间的平衡。

表5 LDDE-Net与其他轻量目标检测模型的性能对比

Tab. 5 Performance comparison between LDDE-Net and other lightweight target detection models

Model	size	mAP@0.5	BFLOPs
YOLOv3-tiny	416×416	51.72	5.48
YOLOv4-tiny	416×416	64.83	6.82
LDDE-Net	512×512	70.70	8.27

结论

本文针对CenterNet参数量大而移动设备资源有限的情况，本文结合轻量级网络ShuffleNetv2和密集连接空洞编码器，提出了轻量级无锚框检测模型LDDE-Net。密集连接空洞编码器在保证网络架构简洁的前提下，提升网络的感受野，融合不同膨胀率的空洞卷积提取的特征。模型在保证检测精度的同时极大地减少网络参数量，模型参数大小仅4.16M，在PASCAL-VOC数据集上mAP@0.5为70.70，与经典模型yolov4-tiny相比，LDDE-Net的模型大小为YOLOv4-tiny的68.65%，mAP@0.5提高了5.87，为轻量化目标检测网络的开发和进一步优化提供了新的思路。

[参考文献] (References)

[1] Dalal N, Triggs B. Histograms of oriented gradients for human detection[C]//2005 IEEE computer society conference on computer vision and pattern recognition (CVPR'05). Ieee, 2005, 1: 886-893.
[2] Felzenszwalb P F, Girshick R B, McAllester D, et al. Object detection with discriminatively trained part-based models[J]. IEEE transactions on pattern analysis and machine intelligence, 2009, 32(9): 1627-1645.
[3] Lin T Y, Goyal P, Girshick R, et al. Focal loss for dense object detection[C]//Proceedings of the IEEE international conference on computer vision. 2017: 2980-2988.
[4] Redmon J, Divvala S, Girshick R, et al. You only look once: Unified, real-time object detection[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 779-788.
[5] Zhou X, Wang D, Krähenbühl P. Objects as points[J]. arXiv preprint arXiv:1904.07850, 2019.
[6] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 770-778.
[7] Newell A, Yang K, Deng J. Stacked hourglass networks for human pose estimation[C]//European conference on computer vision. Springer, Cham, 2016: 483-499.
[8] Ma N, Zhang X, Zheng H T, et al. Shufflenet v2: Practical guidelines for efficient cnn architecture design[C]//Proceedings of the European conference on computer vision (ECCV). 2018: 116-131.
[9] Ren S, He K, Girshick R, et al. Faster r-cnn: Towards real-time object detection with region proposal networks[J]. Advances in neural information processing systems, 2015, 28: 91-99.
[10] Liu W, Anguelov D, Erhan D, et al. Ssd: Single shot multibox detector[C]//European conference on computer vision. Springer, Cham, 2016: 21-37.
[11] Tian Z, Shen C, Chen H, et al. Fcos: Fully convolutional one-stage object detection[C]//Proceedings of the IEEE/CVF international conference on computer vision. 2019: 9627-9636.
[12] Law H, Deng J. Cornernet: Detecting objects as paired keypoints[C]//Proceedings of the European conference on computer vision (ECCV). 2018: 734-750.
[13] Iandola F N, Han S, Moskewicz M W, et al. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and< 0.5 MB model size[J]. arXiv preprint arXiv:1602.07360, 2016.
[14] Howard A G, Zhu M, Chen B, et al. Mobilenets: Efficient convolutional neural networks for mobile vision applications[J]. arXiv preprint arXiv:1704.04861, 2017.
[15] Sandler M, Howard A, Zhu M, et al. Mobilenetv2: Inverted residuals and linear bottlenecks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 4510-4520.
[16] Howard A, Sandler M, Chu G, et al. Searching for mobilenetv3[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019: 1314-1324.
[17] Ghiasi G, Lin T Y, Le Q V. Nas-fpn: Learning scalable feature pyramid architecture for object detection[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019: 7036-7045.
[18] Law H, Teng Y, Russakovsky O, et al. Cornernet-lite: Efficient keypoint based object detection[J]. arXiv preprint arXiv:1904.08900, 2019.
[19] Chen Q, Wang Y, Yang T, et al. You only look one-level feature[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 13039-13048.
[20] Ioffe S, Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[C]//International conference on machine learning. PMLR, 2015: 448-456.
[21] Nair V, Hinton G E. Rectified linear units improve restricted boltzmann machines[C]//Icml. 2010.
[22] Huang G, Liu Z, Van Der Maaten L, et al. Densely connected convolutional networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 4700-4708.
[23] Kingma D P, Ba J. Adam: A method for stochastic optimization[J]. arXiv preprint arXiv:1412.6980, 2014.

作者简介：杨傲（1998-），男，目标检测

通信联系人：刘绍华（1976-），男，博导，人工智能. E-mail: liushaohua@bupt.edu.cn