一、BEVFormer

BEVFormer: Learning Bird’s-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers

https://arxiv.org/pdf/2203.17270

主要研究：如何仅使用多路摄像头图像，生成车辆周围环境的鸟瞰图，并用于三维目标监测和地图分割。

BEVFormer的核心：

使用多摄像头图像作为输入，通过BEV Query，空间交叉注意力和时间自注意力，把不同摄像头、不同时间的信息融合到统一的鸟瞰图坐标系中，再用于三维目标监测和语义地图分割

二、BEVFusion

BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation

基于统一鸟瞰图标识的多任务多传感器融合

https://arxiv.org/abs/2205.13542

主要研究：如何将摄像头和Lidar的信息统一转换到鸟瞰图中（BEV）空间中，再用于三维目标检测和语义地图分割

BEVFusion：

BEVFusion是一种将摄像头和LIDAR都转换到统一的鸟瞰图空间中进行融合的多传感器感知框架，主要用于三维目标检测和语义地图分割，而不是用于SLAM建图或机器人定位

三、Sparse4D

Sparse4D：Multi-view 3D Object Detection with Sparse Spatial-Temporal Fusion

Sparse 4D：基于稀疏时空融合的多视角三维目标检测

https://arxiv.org/abs/2211.10581
主要研究：
如何避免构建密集BEV特征图，只在可能存在目标的位置采样图像特征，从而降低多视角三维检测的计算量

Sparse4D：Sparse4D是一种不构建密集BEV地图，而是围绕三维候选框稀疏采样多摄像头，多尺度和历史帧特征，并通过多次迭代细化三维框的视觉3D检测方法

主要优点：计算量较低、时空信息利用充分、适合边缘设备、为目标检测方法

四、Sparse4D V2

Sparse4D V2: Recurrent Temporal Fusion with Sparse with Sparse Model

Sparse4D:基于稀疏模型的循环式时间融合

https://arxiv.org/abs/2211.10581

主要研究:

论文是上一代Sparse4D的改进版本，主要研究多摄像头视频中的三维目标检测，核心改进是：把原来的“同时读取多帧历史图像”改成 “逐帧传递目标特征”，从而降低计算量并利用更长时间范围的信息

Spase4D v2是在Sparse 4D基础上提出的循环式时序融合方法，它不生成密集BEV地图，而是把上一帧的稀疏三维目标特征帧传递到当前帧，使时间融合的计算复杂度从随历史帧数增长的O（T）降为近似固定的O（1），从而提高多摄像头三维检测的速度、显存效率和长时间信息利用能力。

五、四篇论文的区别

方法	主要思想	是否建立密集 BEV	时间融合方式
BEVFormer	多摄像头特征生成 BEV	是	融合历史 BEV
BEVFusion	摄像头和 LiDAR在 BEV中融合	是	重点不是循环传播
Sparse4D	围绕三维候选框稀疏采样	否	多帧采样
Sparse4D v2	稀疏目标特征逐帧传递	否	循环式融合

六、BEVDet

BEVDet：High-Performance Multi-Camera 3D Object Dection in Bird-Eye-View

BEVDet:基于鸟瞰图的高性能多摄像头三维目标检测

[https://arxiv.org/pdf/2112.11790](https://arxiv.org/pdf/2112.11790)

核心思想：先把摄像头图像转换到统一的鸟瞰图（BEV）坐标系，再在BEV空间中检测车辆、行人和其他目标

主要特点：

特点	含义
Camera-only	主要使用多摄像头图像
BEV表示	在统一车辆坐标系中进行检测
模块化	图像编码、视角转换、BEV编码和检测头互相独立
LSS转换	通过深度分布把图像特征投影到BEV
计算效率较高	可以通过缩小图像和模型规模实现较快推理
适合多任务扩展	BEV特征可以用于检测、道路分割等任务

BEVDet是一种将多摄像头图像转换到鸟瞰图空间，并在BEV中完成三维目标检测的方法。它的主要贡献是采用模块化LSS结构、BEV空间数据增强和Scale-NMS，在较低计算量下获得较好的多摄像头三维检测性能

七、与前面几篇论文的关系

方法	输入	核心思想
BEVDet	多摄像头	通过LSS将图像特征转换到BEV
BEVformer	多摄像头	使用Transformer和BEV Query 生成BEV
BEVFusion	摄像头+Lidar	将多传感器特征统一到BEV后融合
Sparse4D	多摄像头	围绕稀疏三维候选框采样特征
Sparse4D V2	多摄像头视频	逐帧传递稀疏目标特征

区分记忆：

BEVDet：采用比较直接的LSS方式，把整张图像特征转换到BEV

BEVFormer：使用Transformer和BEV Query生成BEV 特征

BEVFusion：在BEV空间融合摄像头和LIDAR

Sparse4D：减少密集，BEV计算，只围绕候选目标采样