单目深度估计（Monocular Depth Estimation）是计算机视觉中的一个经典任务，目标是通过一张单目摄像头（即仅包含一个视角的二维图像）来估计场景中每个像素的深度信息。这是一项具有挑战性的任务，因为缺少立体视觉信息（如双目视差）使得系统必须仅依赖图像中的线索来推断三维空间的深度。
1. 单目深度估计任务的定义：
在 单目深度估计 中，输入是一张 单目图像（通常是 RGB 图片），输出是一张 深度图（Depth Map），即图像中每个像素的深度值。深度图的每个像素表示摄像机与场景中该像素对应的物体之间的距离。
单目深度估计的应用场景广泛，如自动驾驶、机器人导航、增强现实（AR）等，这些任务中，理解场景的几何结构和物体的相对距离至关重要。
2. 单目深度估计的挑战：
单目深度估计比其他深度估计任务（如双目、LIDAR等）更具挑战性，主要原因包括：
- 缺乏视差信息：由于单目摄像头没有立体视差，无法从不同视角直接估计深度。
- 尺度不确定性：图像中的物体大小没有明确的尺度参照（例如，一辆远处的小汽车可能看起来和近处的自行车一样大），这使得估计真实物体的深度更加困难。
- 遮挡和模糊：场景中的遮挡、光线变化、以及纹理模糊等问题会影响深度估计的准确性。
3. 单目深度估计的发展现状：
1. 早期方法：基于传统计算机视觉的几何方法
早期的单目深度估计任务主要依赖于传统的计算机视觉算法：
- 基于特征的深度估计：使用手工提取的特征，如边缘、纹理、透视、物体的几何特性来推测物体的深度。这些方法通常借助于场景中的特定几何线索（如平行线的透视收敛），但在复杂场景下性能受限。
- 形状与阴影推理：一些方法基于场景中的阴影信息或物体的形状进行深度估计，但通常对光照条件和物体的形状假设敏感。
2. 深度学习方法：卷积神经网络 (CNN) 的引入
随着深度学习的发展，卷积神经网络 (CNN) 被广泛应用于单目深度估计任务。CNN 能够自动学习从图像中提取复杂的特征，因此成为了这一领域的主流方法。
-
监督学习：使用带有深度标注的数据集进行训练，如 KITTI 数据集，模型在每个像素上进行回归，学习从 RGB 图像预测深度值。这些方法表现出色，但依赖于大量带有真实深度标签的数据。
- 代表性工作：Eigen et al. (2014) 提出的深度回归网络是最早使用深度学习进行单目深度估计的模型之一。
-
无监督或自监督学习：由于获取大规模带有深度标签的数据非常昂贵，无监督或自监督学习方法被提出。这些方法通常利用图像之间的几何关系来推断深度。比如，使用视频帧之间的运动（视差或光流）来推测深度。
- 代表性工作：Godard et al. (2017) 提出的自监督单目深度估计方法，通过将左、右图像进行视差匹配，并利用重建损失来训练模型。
3. Transformer 在深度估计中的应用
最近，Transformer 架构由于其强大的全局上下文建模能力，开始被引入到单目深度估计任务中。与传统的 CNN 只能局部感知相比，Transformer 能够更好地捕捉全局信息，并通过注意力机制在场景中进行深度推理。
- 代表性工作：Ranftl et al. (2021) 提出的 DPT（Vision Transformer for Depth Prediction） 是基于 Transformer 的深度估计模型，显著提高了深度估计的精度和泛化能力。
4. 数据集和评估标准：
-
数据集：单目深度估计的标准数据集包括 KITTI（自动驾驶场景）、NYU Depth v2（室内场景）、Make3D（户外场景）等。这些数据集提供了 RGB 图像及其对应的深度图，便于模型训练和评估。
-
评估指标：常用的评估指标包括：
- 绝对误差（Abs Rel Error）：真实深度和预测深度的相对误差。
- 均方根误差（RMSE）：真实深度和预测深度之间的均方根误差。
- 精度（Accuracy）：评估预测深度与真实深度之间的相对准确性。
5. 最新进展与趋势：
- 跨域泛化：模型在一个数据集上训练，在另一个数据集上进行测试。研究者们正在研究如何提高模型的泛化能力，使其在不同场景中表现一致。
- 多任务学习：结合其他视觉任务（如语义分割、物体检测）进行联合训练，利用额外的任务辅助深度估计。
- 高效计算：随着移动设备和嵌入式设备对深度估计的需求增加，研究者正在开发轻量化模型，能够在有限的计算资源下实现高效的深度估计。
总结：
单目深度估计是计算机视觉中的一个重要任务，尽管缺乏立体视觉信息，基于深度学习的方法，尤其是自监督学习和 Transformer 架构的引入，已经显著提升了单目深度估计的准确性和效率。未来的研究方向可能集中在更好的跨域泛化、高效计算以及与其他视觉任务的联合学习上。