前言
为了支持自动驾驶，通常采用激光雷达传感器的3D点云来检测车辆附近的目标。 为了满足实际需求，特别是自动驾驶领域的需要，三维目标检测要求在高精度的基础上提高效率。因此，另一个工作流，例如SA-SSD和Associate-3Ddet，旨在利用辅助任务或进一步的约束来改进特征表示，而不引入额外的计算开销在推理过程中。根据这一工作流程，本文制定了自集成单级目标检测器(SE-SSD)，以解决仅基于激光雷达点云的具有挑战性的三维检测任务。
02
点云自集成单级目标探测器
SE-SSD
论文解读
《SE-SSD: Self-Ensembling Single-Stage Object Detector From Point Cloud》介绍了一个新的单阶段3D目标检测框架，即点云自集成单级目标探测器(SE-SSD)，用于在室外点云中准确高效地检测3D目标。 重点是利用软目标和硬目标以及本文制定的约束来联合优化模型，而不在推理中引入额外的计算。 它在KITTI基准测试中获得了最高的汽车检测精度（在BEV和3D排行榜上分别排名第一和第二），具有极高的推理速度。
论文链接：
https://arxiv.org/abs/2104.09804
代码：
https://github.com/Vegeta2020/SE-SSD
KITTI数据集：
http://www.cvlibs.net/datasets/kitti/eval_object.php?obj_benchmark=3d
摘要:
本文提出了一种基于自集成单级目标检测器(SE-SSD ) 的室外点云三维目标检测方法。本文的重点是利用本文的公式约束开发软目标和硬目标来联合优化模型，而不引入额外的计算在推理中。具体来说，SE-SSD包含一对教师和学生SSD，在其中本文设计了一个有效的基于IoU的匹配策略，从教师中过滤软目标，并制定一致性损失对齐学生的预测与他们。此外，为了最大限度地利用提炼出来的知识来集成教师，本文设计了一种新的增强方案来产生形状感知的增强样本来训练学生，目的是鼓励学生推断出完整的物体形状。最后，为了更好地利用硬目标，本文设计了一个ODIoU损失来监督学生与预测盒中心和方向的约束。SE-SSD达到顶级性能相比之前所有出版的作品。此外，它还以超高的推理速度在KITTI基准测试中获得了最高的汽车检测精度(在BEV和3D排行榜上分别排名第一和第二)。
贡献:
（1） 提出了 自组装单级目标检测器(SE-SSD)框架，通过本文制定的一致性约束进行优化，以更好地将预测与软目标对齐 。
（2 ） 提出了 一种新的增强方案，以产生形状感知的增强地物 。
（3 ） 提出了 一个方向感知的Distance-IoU (ODIoU)损失来监督探测器使用硬目标 。 SE-SSD在KITTI基准测试中获得了最先进的3D和BEV汽车检测性能，并在普通CPU-GPU上展示了超高的推理速度(32 FPS)，明显优于所有之前发表的作品。
SE-SSD 网络结构:
图2显示了本文的自集成单级目标检测器(SE-SSD)的框架，它有一个教师SSD(左)和一个学生SSD(右)。 不同于以往的室外三维目标检测工作，同时使用并训练了两个相同架构的ssd，这样学生可以通过增强的样本探索更大的数据空间，并更好地利用老师预测的相关软目标进行优化。 为了训练整个SE-SSD本文首先用预先训练好的SSD模型对教师和学生进行初始化。 然后，从一个输入点云开始，本文的框架有两个处理路径:
1. 在第一个路径中(图2中的蓝色箭头)，教师从原始的输入点云产生相对精确的预测。然后，对预测结果应用一组全局变换，并将其作为软目标来监督学生SSD。
2. 在第二个路径中(图2中的绿色箭头)，通过与第一个路径相同的全局变换加上本文的形状感知数据增强来干扰相同的输入。然后，将增加的输入输入给学生，并使用本文的一致性损失来训练它，以使学生的预测与软目标相一致；当增加输入时，本文带着它的硬目标(图2(右上角))，用本文的方向感知距离-欠条损失来监督学生。
在培训中，本文对两个SSD模型进行迭代更新:使用上述两个损失优化学生，使用标准指数移动平均(EMA)仅使用学生参数更新教师。这样，教师就可以从学生身上获得提炼的知识，产生软目标来监督学生。所以，本文把最后一个经过训练的学生称为自集成单级目标检测器。
一致性损失：
在三维目标检测中，由于距离和目标遮挡形式的不同，预定义锚点的点云模式可能会有很大的差异。因此，相同硬目标的样本可能有非常不同的点模式和特征。相比之下，每个训练样本的软目标可以提供更多的信息，有助于揭示同一类数据样本之间的差异。这促使本文将相对较精确的教师预测作为软目标，利用它们来共同优化学生与硬目标。据此，本文制定了一个一致性损失来优化学生网络的软目标。
在计算一致性损失之前，首先设计了一种有效的基于借据的匹配策略，目的是对非常稀疏的户外点云预测的非轴向的教师盒和学生盒进行配对。 为了获得高质量的软目标，首先 过滤掉那些置信度小于τc的预测边界框(教师和学生)，从而减少一致性损失的计算。 接下来，计算每一对剩余学生和教师边界框之间的欠条，并过滤掉欠条小于阈值τI的对，从而避免使用不相关的软目标误导学生；本文将N和n0分别表示为盒对的初始数量和最终数量。 因此，本文只保留高度重叠的学生-教师对。 最后，对于每个学生盒，本文将其与拥有最大欠条的教师边框盒配对，以增加软目标的信心。 与硬目标相比，过滤后的软目标通常更接近学生的预测，因为它们是基于相似的特征进行预测的。 因此，软目标可以更好地引导学生对预测进行微调，减少梯度方差，从而获得更好的训练。
与IoU loss 不同，Smooth-L1loss在预测中可以均匀地对待所有维度，不偏向任何一个特定的维度，不同维度对应的特征也可以均匀地优化。 因此，本文用它来表示本文的边界盒一致性损失(Lc盒)，以最小化每对教师和学生边界盒之间的错位误差:
{x, y, z}, {w、l、h}, r表示中心的位置,大小和方向的边界框,分别预测的老师(下标t)或学生(下标s), Lcδe表示δe的Smooth-L1loss和IoUidenotes最大的借据的第i个学生与所有老师边框边界框。接下来，为了最小化学生和教师预测置信度的差异，本文制定了分类分数的一致性损失(Lc cls):
其中Lc δc表示δc的平滑- l1损失，σ(cs)和σ(ct)分别表示学生和教师的sigmoid分类分数。这里本文采用sigmoid函数对两个预测置信值进行归一化，使归一化值之间的偏差保持在一个小范围内。结合式(1)(2)，可得整体一致性损失为：
本文为两个术语设置了相同的权重。
定向感知Distance-IoU (ODIoU)损失
在有监督的硬目标训练中，经常采用平滑l1损失约束边界盒回归。然而，在室外场景中，由于距离较长和遮挡，很难从稀疏点获取足够的信息来精确预测边界盒的所有维度。为了更好地利用回归边界盒的硬目标，本文设计了方向感知的距离iou损失(ODIoU)，以更加关注预测的边界盒与ground-truth边界盒之间的盒子中心和方向的对齐，如图3。
本文的ODIoU损失是这样表述的：
其中Bp、Bg分别表示预测的和真实的边界盒，c表示两个边界盒三维中心之间的距离，d表示两个边界盒所包围的最小长方体的对角线长度|AC|；
为B p 与Bg的BEV取向差；γ是一个超参数重量。
在本文的ODIoU损失公式中，(1−|cos(
)|)是一个重要的术语，本文专门设计它来鼓励预测的边界盒旋转到与ground-truth方向平行的最近方向。当4r等于π 2或−π 2时，也就是说，两个盒子的方向是相互垂直的，因此这一项达到最大值。当4r等于0、π或−π时，这一项达到其最小值，即0。如图4所示，可以进一步观察(1−|cos( )|)的梯度。当训练过程最小化这一项时，它的梯度将使4r趋于0、π或−π，这是使损失最小化的最近位置。这是因为梯度幅度与角度差正相关，从而促进了不同训练阶段的快速收敛和平滑微调。
此外，本文还分别使用Focal loss和cross-entropy loss进行边界盒分类(Ls cls)和方向分类(Ls dir)。因此，培养学生SSD的总体损失是：
其中，Ls盒为回归盒的ODIoU损失，损失权值为ω1、ω2、µ皮重超参数。此外，本文的SSD可以预先训练与SE-SSD相同的设置，但没有一致性损失和教师SSD。
形状感知数据增强
数据扩充对于提高模型的可泛化性非常重要。为了使学生SSD能够探索更大的数据空间，本文设计了一个新的形状感知数据增强方案来提高本文的检测器的性能。本文的见解来自于观察，ground-truth物体的点云模式可能会由于遮挡、距离的变化和在实践中物体形状的多样性而显著变化。因此，设计了形状感知的数据增强方案来模拟点云在增强数据样本时受这些因素的影响。
实验结果：
定性结果，图6显示了本文的SE-SSD模型对6种不同输入的3D边界框(第2行和第5行)和BEV边界框(第3行和第6行)的预测结果，展示了其高质量的预测结果。
与KITTI汽车检测测试集上的最先进方法进行比较：
与KITTI val上最新最好的两个单级和两级检测器进行比较：
消融研究：
总结：
提出了一种新的用于室外三维点云的自集成单级目标检测器。主要贡献包括通过本文制定的与软目标的一致性约束优化的SE-SSD框架，用ODIoU损失来监督与硬目标的网络，以及形状感知数据增强方案来扩大训练样本的多样性。该系列实验验证了SE-SSD的有效性和所提出的各个模块的有效性，并显示了高效的优势。总的来说，本文的SE-SSD在KITTI基准中优于3D和BEV汽车检测的所有最先进的方法，并获得超高的推理速度。
END