多摄像头多目标跟踪调研

引言#

多摄像头多目标跟踪（MC-MOT）旨在通过多个摄像头的协同工作，实现对场景中多个目标的持续跟踪。根据MC-MOT的应用场景的不同，主要可以分为两大类： 重叠视角 和 非重叠视角。 重叠视角的MC-MOT主要应用场景有：①多个摄像头覆盖 同一场景 的不同角度，通过融合多视角的信息来提升跟踪的鲁棒性和准确性；② 自动驾驶 中车辆周围的多摄像头系统，通过多视角信息实现对周围环境中目标的全面感知和跟踪。非重叠视角的MC-MOT主要应用于：智能监控系统中，多个摄像头覆盖不同区域，通过跨摄像头的目标关联实现对目标的持续跟踪。

常用数据集#

非重叠视角的MC-MOT常用的数据集包括以下几个：

重叠视角的MC-MOT常用的数据集包括以下几个：

研究重点#

对于重叠视角的MC-MOT，主要的目标是如何有效地融合多视角的信息来提升跟踪的鲁棒性和准确性。常见的方法包括基于 图神经网络 的多视角特征融合、基于 注意力机制 的跨视角信息交互等。重叠视角的MC-MOT方法通常需要处理视角变化、遮挡等问题，且当前的研究多集中在自动驾驶领域，跟踪质量的好坏与3D检测性能密切相关（注意到目前在nuScenes数据集上的性能最好的方法是基于3D检测器的目标查询进行跟踪的，亦或是端到端3D检测方法直接拓展实现跟踪，比如Sparse4D-v3，StreamPETR）。

对于非重叠视角的MC-MOT，主要的挑战在于如何实现跨摄像头的目标关联，以确保目标在不同摄像头视野中的连续跟踪和重识别。常见的方法包括基于 外观特征 和 运动轨迹 的目标关联、基于 时空信息 的跨摄像头跟踪等。非重叠视角的MC-MOT方法更接近于单摄像头的多目标跟踪（MOT）方法，通常可以将单摄像头MOT方法与跨摄像头关联策略相结合。