相机标定：几何计算机视觉的基石

在快速发展的计算机视觉领域，从二维图像中精确解读和理解我们物理环境的三维几何结构的能力至关重要。无论是让自动驾驶汽车能够驾驭复杂的城市景观，还是赋能增强现实体验，将虚拟与现实无缝融合，亦或是促进精确的工业自动化，几乎所有这些应用的基础步骤都是相机标定。这一过程是几何计算机视觉的基石，确保世界被数字化解读时能够与物理现实保持一致。

对于全球的专业人士和爱好者而言，理解相机标定不仅有益；它是构建强大且可靠的计算机视觉系统的基础。本综合指南将揭开相机标定的神秘面纱，探讨其理论基础、实用技术以及在各种全球应用中的关键作用。

什么是相机标定？

本质上，相机标定是指确定相机参数的过程，这些参数对于关联三维世界点与二维图像点至关重要。将相机视为一个复杂的 光学系统，而非世界的完美窗口，它具有可能偏离理想模型的特定特性。标定过程对这些偏差进行量化，并建立相机坐标系与真实世界坐标系之间的精确关系。

标定的主要目标是创建一个数学模型，该模型描述了空间中的三维点如何投影到相机的二维传感器上。这个模型使我们能够：

• 重建三维场景：通过了解相机的投影特性，我们可以从多个二维图像推断出物体的深度和空间排列。
• 精确测量：将像素坐标转换为实际世界的距离和尺寸。
• 校正畸变：处理镜头中的光学缺陷，这些缺陷可能导致图像变形。
• 对齐多视图：理解不同相机或视点之间的相对姿态和方向，这对于立体视觉和多视图几何至关重要。

相机模型：从三维到二维

标准的针孔相机模型通常是理解投影的起点。在该模型中，世界中的三维点 X = (X, Y, Z) 投影到图像平面上的二维点 x = (u, v)。投影过程由相机的内参和外参进行协调。

内参（Intrinsic Parameters）

内参描述了相机的内部特性，特别是其光学系统和图像传感器。它们定义了三维点如何映射到图像平面上的像素坐标，假设相机位于原点并沿着 Z 轴看向前方。对于给定的相机，这些参数通常是固定的，除非更换了镜头或传感器。

内参通常由一个 3x3 的相机矩阵 (K) 表示：

K = [ fx s cx ] [ 0 fy cy ] [ 0 0 1 ]

• fx 和 fy：以像素单位表示的焦距。它们分别代表从光心到图像平面的距离，并根据 x 和 y 方向的像素大小进行缩放。
• cx 和 cy：主点，即光轴与图像平面的交点。它通常位于图像中心附近，但由于制造公差可能存在偏移。
• s：倾斜系数。理想情况下，像素网格的 x 和 y 轴是垂直的，此时 s = 0。在大多数现代数码相机中，情况确实如此，但这里为了完整性而包含。

外参（Extrinsic Parameters）

外参描述了相机在三维空间中相对于世界坐标系的姿态。它们定义了将点从世界坐标系映射到相机坐标系的刚性变换（旋转和翻译）。如果相机移动或旋转，这些参数会发生变化。

外参通常由一个 3x3 的旋转矩阵 (R) 和一个 3x1 的翻译向量 (t) 表示。

对于世界坐标中的点 Xw = (Xw, Yw, Zw)，其在相机坐标 Xc = (Xc, Yc, Zc) 中的表示为：

Xc = R * Xw + t

结合内参和外参，三维世界点 Xw 到二维图像点 x = (u, v) 的投影可以表示为：

s * [ u ] = K * [R | t] * [ Xw ] [ v ] [ 1 ]

其中 s 是一个缩放因子。矩阵 [R | t] 被称为 3x4 的外参矩阵。

镜头畸变（Lens Distortion）

真实世界的镜头并非完美的针孔。它们会引入偏离理想针孔模型的畸变。最常见的类型是：

• 径向畸变（Radial Distortion）：这会导致直线看起来弯曲，向内弯曲（枕形畸变）或向外弯曲（桶形畸变）。在图像的边缘区域更为明显。
• 切向畸变（Tangential Distortion）：当镜头元件与图像平面不完全平行时发生。

畸变通常使用多项式方程进行建模。对于径向畸变，通常使用系数 k1、k2 和 k3。对于切向畸变，使用 p1 和 p2 系数。标定后的相机模型包含这些畸变系数，使我们能够对图像点进行去畸变，或预测现实世界中的点在图像中会如何出现畸变。

标定过程

相机标定通常通过拍摄已知标定目标（例如，棋盘格图案、圆点阵列，甚至随机点）在相对于相机不同位置和方向的图像来完成。通过观察图像中目标点的已知三维点及其对应的二维投影，我们可以求解未知的内参和外参。

常用标定方法

存在几种成熟的方法，各有其优缺点：

1. 张正友方法（平面标定目标）

这可以说是最广泛使用且最鲁棒的相机标定方法。它使用一个平面标定目标（如棋盘格）并且至少需要一张目标图像。该方法依赖于平面图案的投影会产生特定的几何约束这一事实。

涉及的步骤：

• 检测角点：算法用于找到棋盘格方块交点（角点）的精确像素坐标。
• 估计内参：基于观察到的图案，可以估计出相机的内参矩阵 (K)。
• 估计外参：对于每张图像，估计旋转 (R) 和翻译 (t)，定义了目标相对于相机的姿态。
• 估计畸变系数：通过比较检测到的角点位置与其理想投影，细化畸变系数。

优点：实现相对简单，仅需平面目标，对噪声鲁棒，单张图像即可完成（但多视图可提高精度）。

缺点：对角点的精确检测敏感；假定目标是完全平面的。

2. 直接线性变换 (DLT)

DLT 是一种直接的代数方法，它直接从一组三维世界点及其二维图像对应点来估计投影矩阵（包括内参和外参）。它需要至少 6 个非共面点来确定投影矩阵的 11 个唯一参数。

优点：实现简单，计算效率高。

缺点：不显式建模镜头畸变；不如迭代方法鲁棒；可能对噪声敏感。

3. 迭代优化（例如，Levenberg-Marquardt）

一旦获得了相机参数的初始估计（例如，来自 DLT 或张正友方法），就可以使用迭代优化技术通过最小化重投影误差来优化这些参数。重投影误差是指通过当前相机参数将估计的三维点重新投影得到的二维图像点与实际观察到的二维图像点之间的差异。

优点：通过最小化误差实现高精度；能很好地处理复杂模型。

缺点：需要良好的初始估计；计算量较大。

4. 立体标定

当使用两个或多个相机观察同一场景时，需要进行立体标定。此过程不仅确定每个相机的内参，还确定它们相对于彼此的相对姿态（旋转和翻译）。这个相对姿态对于执行三角测量和从立体图像重建三维点至关重要。

立体标定通常包括：

• 单独标定每个相机以找到其内参。
• 同时使用两个相机拍摄标定目标的图像。
• 估计两个相机之间的相对旋转 (R) 和翻译 (t)。

这使得能够计算对极几何，它限制了在立体图像中搜索对应点的搜索范围，并且是三维重建的基础。

标定目标

标定目标的选择很重要：

• 棋盘格：对于张正友方法很受欢迎，因为其角点易于检测。需要多张视图。
• 圆点阵列：也用于张正友方法，提供精确的质心检测。
• 三维标定对象：对于更复杂的场景，特别是多相机或当精确的内参和外参至关重要时，可以使用具有已知尺寸和特征位置的预定义三维对象。

实际实现与库

幸运的是，强大的计算机视觉库极大地简化了相机标定的实现。其中最 prominent 的是 OpenCV（开源计算机视觉库）。

OpenCV 提供了以下功能：

• 检测棋盘格和圆点阵列图案上的角点。
• 使用各种算法（包括张正友方法）执行相机标定。
• 对图像进行去畸变以校正镜头畸变。
• 标定立体相机对以找到它们之间的相对姿态。

OpenCV 中单相机标定的典型工作流程包括：

1. 定义棋盘格尺寸（沿宽度和高度的方块/圆数）。
2. 初始化数组以存储目标特征的对象点（三维坐标）和图像点（检测到的特征的二维像素坐标）。
3. 遍历一组标定图像：
   • 检测标定图案（例如，findChessboardCorners）。
   • 如果检测到，细化角点位置并将其添加到图像点列表中。
   • 将对应的对象点添加到对象点列表中。
4. 调用标定函数（例如，calibrateCamera），传入收集到的对象点和图像点。该函数返回相机矩阵、畸变系数、旋转向量和翻译向量。

对于立体标定，在同时获取两个相机的对应特征点后，可以使用 stereoCalibrate 等函数。

标定中的挑战与考虑因素

虽然标定是一个定义明确的过程，但要获得准确可靠的结果，通常需要仔细考虑几个因素：

• 光照条件：一致且充足的光照对于准确的特征检测至关重要，特别是对于基于角点的方法。阴影或过度曝光会影响性能。
• 目标质量和分辨率：标定目标应以高精度打印或制造。相机传感器的分辨率也很重要；低分辨率相机可能难以精确检测到细微特征。
• 相机姿态和视图数量：为了获得鲁棒的标定，必须从各种视点、方向和距离拍摄标定目标的图像。这确保了所有内参和畸变系数都得到良好的约束。一个普遍的建议是拍摄至少 10-20 个不同的视图。
• 镜头特性：广角镜头往往具有更显著的径向畸变，需要更仔细的标定。鱼眼镜头会引入极端畸变，需要专门的标定模型和技术。
• 计算精度：浮点运算的精度和所使用的算法会影响最终的标定精度。
• 动态场景：如果相机 intended 用于物体移动的动态环境，重要的是要确保标定过程能够捕获相机*静态*的内部参数。标定过程中场景中移动的物体可能会引入错误。
• 温度和振动：极端温度变化或振动会影响相机和镜头的物理特性，可能导致标定参数随时间变化。在这些环境中可能需要重新标定。

相机标定的全球应用

相机标定的影响涵盖了全球众多行业和研究领域：

1. 自动驾驶汽车和机器人

自动驾驶汽车高度依赖相机来感知周围环境。精确的相机标定对于以下方面至关重要：

• 深度感知：自动驾驶汽车中常见的立体视觉系统使用标定相机来三角化障碍物、行人和其他车辆的距离。
• 车道线检测和路标识别：标定相机确保检测到的车道线和标志被准确地映射到它们的真实世界位置和尺寸。
• 物体跟踪：跨多帧跟踪物体需要对相机投影模型进行一致的理解。

在机器人领域，标定相机使机器人能够抓取物体、在未知地形中导航并执行精确的组装任务。

2. 增强现实 (AR) 和虚拟现实 (VR)

AR/VR 应用需要现实世界与虚拟世界之间的精确对齐。相机标定对于以下方面至关重要：

• 跟踪用户视点：智能手机和 AR 眼镜使用相机来理解用户的.位置和方向，从而将虚拟对象逼真地叠加到实时相机视图上。
• 场景理解：标定相机可以估计真实世界环境的几何结构，使虚拟对象能够与表面进行逼真的交互（例如，虚拟球在真实桌子上弹跳）。

苹果 (ARKit) 和谷歌 (ARCore) 等公司在其 AR 平台中大量利用相机标定。

3. 医疗影像和医疗保健

在医疗应用中，精度是不可妥协的。相机标定用于：

• 手术导航系统：标定相机跟踪手术器械和患者解剖结构，为外科医生提供实时指导。
• 器官三维重建：内窥镜和其他医学成像设备使用标定相机创建内部器官的三维模型，用于诊断和规划。
• 显微镜：标定后的显微镜可以实现对细胞结构的精确测量。

4. 工业自动化和质量控制

制造业从中受益匪浅：

• 机器人抓取：标定相机使机器人能够识别并从无序的料箱中抓取零件。
• 自动化检测：检测产品缺陷需要精确的测量和来自标定相机的空间理解。
• 装配验证：确保组件在装配过程中被正确放置。

从德国的汽车制造到亚洲东部的电子产品组装，标定视觉系统正在推动效率。

5. 摄影测量和测绘

摄影测量是从照片进行测量的科学。相机标定是其基石：

• 三维城市建模：配备标定相机的无人机捕获航空影像，以创建详细的城市环境三维模型，用于规划和管理。
• 考古记录：创建文物和历史遗迹的精确三维模型。
• 地理信息系统 (GIS)：制图和空间分析依赖于从标定图像派生的精确几何表示。

全球测绘公司使用这些技术来绘制地形、监测基础设施和评估环境变化。

6. 娱乐和电影制作

从视觉效果到动作捕捉：

• 动作捕捉：标定后的多相机系统跟踪演员和物体的运动，以制作动画数字角色。
• 虚拟制作：结合真实和虚拟场景通常需要精确的相机跟踪和标定。

基础标定之外：高级主题

虽然内参和外参的原理涵盖了大多数应用，但更高级的场景可能需要进一步的考虑：

• 非线性畸变模型：对于高度畸变的镜头（例如，鱼眼镜头），可能需要更复杂的多项式或有理模型。
• 自标定：在某些场景下，可以通过观察场景本身的结构来在没有显式标定目标的情况下标定相机。这通常在运动恢复结构 (SfM) 流水线中使用。
• 动态标定：对于相机内参可能随时间变化的系统（例如，由于温度波动），使用在线或动态标定技术来持续更新参数。
• 相机阵列和传感器融合：标定固定阵列中的多个相机或融合来自不同传感器模态（例如，相机和 LiDAR）的数据，需要复杂的传感器融合标定程序。

结论

相机标定不仅仅是一个预处理步骤；它是连接二维图像域与三维物理世界的根本赋能技术。深入理解其原理——内参、外参和镜头畸变——以及 OpenCV 等库中提供的实用技术和工具，对于任何希望构建精确可靠的几何计算机视觉系统的从业者至关重要。

随着计算机视觉不断扩展其在世界各地技术和行业各个领域的影响力，精确相机标定的重要性只会日益增长。通过掌握这项基本技能，您将获得释放视觉数据的全部潜力的能力，从而在全球各种应用中推动创新和解决复杂的挑战。