Калибриране на камерата: Крайъгълният камък на геометричното компютърно зрение

В бързо развиващия се свят на компютърното зрение, способността за точно интерпретиране и разбиране на 3D геометрията на нашата физическа среда от 2D изображения е от първостепенно значение. Независимо дали става въпрос за даване на възможност на самоуправляващите се автомобили да се движат в сложни градски пейзажи, захранване на изживявания с добавена реалност, които безпроблемно смесват виртуалното и реалното, или улесняване на прецизна индустриална автоматизация, основната стъпка за почти всички тези приложения е калибриране на камерата. Този процес е основата на геометричното компютърно зрение, като гарантира, че цифровата интерпретация на света е в съответствие с неговата физическа реалност.

За професионалистите и ентусиастите по целия свят разбирането на калибрирането на камерата не е просто полезно; то е от съществено значение за изграждането на стабилни и надеждни системи за компютърно зрение. Това изчерпателно ръководство ще демистифицира калибрирането на камерата, ще проучи неговите теоретични основи, практични техники и неговата критична роля в различни глобални приложения.

Какво е калибриране на камерата?

В основата си, калибрирането на камерата е процесът на определяне на параметрите на камерата, които са необходими за свързване на 3D световни точки с 2D точки на изображението. Мислете за камерата не като за перфектен прозорец към света, а като за сложна оптична система със специфични характеристики, които могат да се отклоняват от идеален модел. Калибрирането определя количествено тези отклонения и установява прецизната връзка между координатната система на камерата и координатната система на реалния свят.

Основната цел на калибрирането е да се създаде математически модел, който описва как 3D точка в пространството се проектира върху 2D сензора на камерата. Този модел ни позволява да:

• Възстановяваме 3D сцени: Чрез познаване на свойствата на проекцията на камерата можем да изведем дълбочината и пространственото разположение на обектите от множество 2D изображения.
• Точни измервания: Преобразуване на пикселните координати в реални разстояния и размери.
• Коригираме изкривяванията: Отчитане на оптичните несъвършенства в обектива, които могат да изкривят изображението.
• Подравняваме множество изгледи: Разбиране на относителната поза и ориентация между различни камери или гледни точки, което е от решаващо значение за стерео зрението и геометрията с много изгледи.

Моделът на камерата: От 3D към 2D

Стандартният модел на камера с пинхол често е отправната точка за разбиране на проекцията. В този модел 3D точка X = (X, Y, Z) в света се проектира върху 2D изображение в точка x = (u, v). Проекцията се медиира от вътрешните и външните параметри на камерата.

Вътрешни параметри

Вътрешните параметри описват вътрешните характеристики на камерата, по-специално нейната оптична система и сензор за изображение. Те определят как 3D точката се картографира към пикселните координати върху равнината на изображението, като се предполага, че камерата се намира в началото и гледа надолу по Z-ос. Тези параметри обикновено са фиксирани за дадена камера, освен ако обективът или сензорът не бъдат променени.

Вътрешните параметри обикновено са представени от 3x3 матрица на камерата (K):

K = [ fx s cx ] [ 0 fy cy ] [ 0 0 1 ]

• fx и fy: Фокусни разстояния в пикселни единици. Те представляват разстоянието от оптичния център до равнината на изображението, мащабирано според размера на пиксела в x и y посоките, съответно.
• cx и cy: Основната точка, която е пресечната точка на оптичната ос с равнината на изображението. Често е близо до центъра на изображението, но може да бъде отместена поради производствени отклонения.
• s: Коефициентът на наклона. В идеалния случай осите x и y на пикселната мрежа са перпендикулярни, което прави s = 0. В повечето съвременни цифрови камери това наистина е така, но е включено за пълнота.

Външни параметри

Външните параметри описват позата на камерата в 3D пространството спрямо световна координатна система. Те дефинират твърдото преобразуване (завъртане и транслация), което картографира точки от световната координатна система към координатната система на камерата. Тези параметри се променят, ако камерата се движи или върти.

Външните параметри обикновено са представени от 3x3 матрица на въртене (R) и 3x1 вектор на транслация (t).

За точка Xw = (Xw, Yw, Zw) в световни координати, нейното представяне в координати на камерата Xc = (Xc, Yc, Zc) е дадено от:

Xc = R * Xw + t

Комбинирайки вътрешни и външни параметри, проекцията на 3D световна точка Xw към 2D точка на изображението x = (u, v) може да бъде изразена като:

s * [ u ] = K * [R | t] * [ Xw ] [ v ] [ 1 ]

където s е коефициент на мащабиране. Матрицата [R | t] е известна като 3x4 външна матрица.

Изкривяване на обектива

Реалните обективи не са перфектни пинхоли. Те въвеждат изкривявания, които се отклоняват от идеалния пинхол модел. Най-често срещаните видове са:

• Радиално изкривяване: Това кара правите линии да изглеждат извити, или огъващи се навътре (изкривяване на буре), или навън (изкривяване на възглавничка). По-изразено е в периферията на изображението.
• Тангенциално изкривяване: Това се случва, когато елементите на обектива не са перфектно успоредни на равнината на изображението.

Изкривяването обикновено се моделира с помощта на полиномни уравнения. За радиално изкривяване обикновено се използват коефициенти k1, k2 и k3. За тангенциално изкривяване се използват коефициентите p1 и p2. Калибрираният модел на камерата включва тези коефициенти на изкривяване, което ни позволява да коригираме точките на изображението или да предвидим как ще изглеждат изкривени точките от реалния свят.

Процесът на калибриране

Калибрирането на камерата обикновено се извършва чрез заснемане на изображения на известен калибриращ таргет (напр. шаблон на шахматна дъска, мрежа от кръгове или дори произволни точки), поставен на различни позиции и ориентации спрямо камерата. Чрез наблюдение на известните 3D точки на таргета и съответните им 2D проекции в изображенията можем да решим неизвестните вътрешни и външни параметри.

Обичайни методи за калибриране

Съществуват няколко утвърдени метода, всеки със своите силни и слаби страни:

1. Метод на Zhang (Планарна калибрираща цел)

Това е може би най-широко използваният и надежден метод за калибриране на камера. Той използва планарна калибрираща цел (като шахматна дъска) и изисква поне едно изображение на таргета. Методът се основава на факта, че проекцията на планарна схема води до специфични геометрични ограничения.

Включени стъпки:

• Откриване на ъгли: Алгоритмите се използват за намиране на прецизните пикселни координати на пресечните точки (ъглите) на шахматните квадрати.
• Оценка на вътрешните параметри: Въз основа на наблюдаваната схема, може да се оцени вътрешната матрица на камерата (K).
• Оценка на външните параметри: За всяко изображение се оценяват въртенето (R) и транслацията (t), определяйки позата на таргета спрямо камерата.
• Оценка на коефициентите на изкривяване: Чрез сравняване на откритите местоположения на ъглите с техните идеални проекции се уточняват коефициентите на изкривяване.

Предимства: Относително лесен за прилагане, изисква само планарни цели, устойчив на шум, може да се извърши с едно изображение (въпреки че множество изгледи подобряват точността).

Недостатъци: Чувствителен към точно откриване на ъгли; предполага, че таргета е перфектно плосък.

2. Директна линейна трансформация (DLT)

DLT е прост алгебричен метод, който директно оценява матрицата на проекция (включително вътрешни и външни параметри) от набор от 3D световни точки и техните 2D съответствия на изображения. Изисква най-малко 6 некопланарни точки, за да се определят 11-те уникални параметъра на матрицата на проекция.

Предимства: Лесен за прилагане, изчислително ефективен.

Недостатъци: Не моделира изрично изкривяването на обектива; по-малко надежден от итеративните методи; може да бъде чувствителен към шум.

3. Итеративна оптимизация (напр. Levenberg-Marquardt)

След като бъдат получени първоначални оценки за параметрите на камерата (напр. от DLT или метода на Zhang), итеративните техники за оптимизация могат да бъдат използвани за уточняване на тези параметри чрез минимизиране на грешката при репроекция. Грешката при репроекция е разликата между наблюдаваните 2D точки на изображението и 2D точките, препроектирани от оценените 3D точки, използвайки текущите параметри на камерата.

Предимства: Постига висока точност чрез минимизиране на грешки; борави добре със сложни модели.

Недостатъци: Изисква добри първоначални оценки; изчислително по-интензивен.

4. Стерео калибриране

Когато използвате две или повече камери за преглед на една и съща сцена, се изисква стерео калибриране. Този процес определя не само вътрешните параметри на всяка камера, но и тяхната относителна поза (завъртане и транслация) една спрямо друга. Тази относителна поза е от решаващо значение за извършване на триангулация и възстановяване на 3D точки от стерео изображения.

Стерео калибрирането обикновено включва:

• Калибриране на всяка камера поотделно, за да се намерят нейните вътрешни параметри.
• Заснемане на изображения на калибрираща цел и с двете камери едновременно.
• Оценка на относителното въртене (R) и транслация (t) между двете камери.

Това позволява изчисляването на епиполярната геометрия, която ограничава търсенето на съответните точки в стерео изображения и е фундаментална за 3D реконструкцията.

Калибриращи цели

Изборът на калибрираща цел е важен:

• Шахматни дъски: Популярни за метода на Zhang поради лесното им откриване на ъглите. Изисква множество изгледи.
• Кръгови мрежи: Също използвани за метода на Zhang, предлагащи прецизно откриване на центроиди.
• 3D калибриращи обекти: За по-сложни сценарии, особено с множество камери или когато прецизните вътрешни и външни параметри са критични, могат да се използват предварително дефинирани 3D обекти с известни размери и местоположения на характеристиките.

Практическо прилагане и библиотеки

За щастие, прилагането на калибрирането на камерата е значително опростено от мощни библиотеки за компютърно зрение. Най-изтъкнатата сред тях е OpenCV (Open Source Computer Vision Library).

OpenCV предоставя функции за:

• Откриване на ъгли върху шахматна дъска и кръгови мрежи.
• Извършване на калибриране на камерата с помощта на различни алгоритми (включително метода на Zhang).
• Коригиране на изображенията за коригиране на изкривяването на обектива.
• Калибриране на стерео двойки камери, за да намерите тяхната относителна поза.

Типичният работен процес в OpenCV за калибриране на една камера включва:

1. Дефиниране на размерите на дъската (брой квадрати/кръгове по ширина и височина).
2. Инициализиране на масиви за съхранение на обектни точки (3D координати на характеристиките на таргета) и точки на изображението (2D пикселни координати на откритите характеристики).
3. Повтаряне през набор от калибриращи изображения:
• Откриване на калибриращия шаблон (напр. findChessboardCorners).
• Ако бъдат открити, уточняване на местоположенията на ъглите и добавянето им към списъка с точки на изображението.
• Добавяне на съответните обектни точки към списъка с обектни точки.
4. Извикване на функцията за калибриране (напр. calibrateCamera) със събраните точки на обекта и изображението. Тази функция връща матрицата на камерата, коефициентите на изкривяване, векторите на въртене и векторите на транслация.

За стерео калибриране са налични функции като stereoCalibrate след придобиване на съответните характерни точки от двете камери едновременно.

Предизвикателства и съображения при калибрирането

Докато калибрирането е добре дефиниран процес, постигането на точни и надеждни резултати често изисква внимателно разглеждане на няколко фактора:

• Условия на осветеност: Постоянното и адекватно осветление е от решаващо значение за точно откриване на характеристиките, особено за методите, базирани на ъгли. Сенките или преекспонирането могат да попречат на работата.
• Качество и разделителна способност на таргета: Калибриращата цел трябва да бъде отпечатана или произведена с висока прецизност. Разделителната способност на сензора на камерата също играе роля; камера с ниска разделителна способност може да се бори да открие фини характеристики точно.
• Поза на камерата и брой изгледи: За стабилно калибриране е от съществено значение да се заснемат изображения на калибриращата цел от различни гледни точки, ориентации и разстояния. Това гарантира, че всички вътрешни параметри и коефициенти на изкривяване са добре ограничени. Обща препоръка е да се заснемат поне 10-20 различни изгледа.
• Характеристики на обектива: Широкоъгълните обективи са склонни да имат по-значително радиално изкривяване, изискващо по-внимателно калибриране. Обективът тип рибешко око въвежда екстремно изкривяване, което налага специализирани модели и техники за калибриране.
• Изчислителна прецизност: Прецизността на аритметиката с плаваща запетая и използваните алгоритми може да повлияе на крайната точност на калибрирането.
• Динамични сцени: Ако камерата е предназначена за използване в динамични среди, където обектите се движат, важно е да се гарантира, че процесът на калибриране улавя *статичните* вътрешни параметри на камерата. Движещите се обекти в сцената по време на калибрирането могат да въведат грешки.
• Температура и вибрации: Екстремните температурни промени или вибрации могат да повлияят на физическите свойства на камерата и обектива, потенциално променяйки параметрите на калибриране с течение на времето. Може да се наложи повторно калибриране в такива среди.

Глобални приложения на калибрирането на камерата

Влиянието на калибрирането на камерата се усеща в широк спектър от глобални индустрии и области на изследване:

1. Автономни превозни средства и роботика

Самоуправляващите се автомобили разчитат силно на камерите, за да възприемат заобикалящата ги среда. Точното калибриране на камерата е жизненоважно за:

• Възприемане на дълбочина: Стерео зрение системите, често срещани в автономните превозни средства, използват калибрирани камери за триангулиране на разстояния до препятствия, пешеходци и други превозни средства.
• Откриване на ленти и разпознаване на пътни знаци: Калибрираните камери гарантират, че откритите линии и знаци са точно картографирани към техните позиции и размери в реалния свят.
• Проследяване на обекти: Проследяването на обекти в множество кадри изисква последователно разбиране на модела на проекция на камерата.

В роботиката калибрираните камери позволяват на роботите да хващат обекти, да се движат по непознати терени и да извършват прецизни монтажни задачи.

2. Добавена реалност (AR) и виртуална реалност (VR)

AR/VR приложенията изискват прецизно подравняване между реалните и виртуалните светове. Калибрирането на камерата е основно за:

• Проследяване на гледната точка на потребителя: Смартфоните и AR слушалките използват камери, за да разберат позицията и ориентацията на потребителя, позволявайки виртуални обекти да бъдат реалистично наложени върху емисията от живата камера.
• Разбиране на сцената: Калибрираните камери могат да оценят геометрията на реалната среда, позволявайки на виртуалните обекти да взаимодействат реалистично с повърхности (напр. виртуална топка, отскачаща от истинска маса).

Компании като Apple (ARKit) и Google (ARCore) силно използват калибрирането на камерата за своите AR платформи.

3. Медицинско изображение и здравеопазване

В медицинските приложения точността е незадължителна. Калибрирането на камерата се използва в:

• Системи за хирургическа навигация: Калибрираните камери проследяват хирургическите инструменти и анатомията на пациентите, осигурявайки насоки в реално време на хирурзите.
• 3D реконструкция на органи: Ендоскопите и други медицински устройства за изображения използват калибрирани камери, за да създадат 3D модели на вътрешни органи за диагностика и планиране.
• Микроскопия: Калибрираните микроскопи могат да позволят прецизни измервания на клетъчни структури.

4. Индустриална автоматизация и контрол на качеството

Производствените процеси се възползват значително от компютърното зрение:

• Роботизирано вземане от контейнери: Калибрираните камери позволяват на роботите да идентифицират и взимат части от неструктурирани контейнери.
• Автоматизирана проверка: Откриването на дефекти на продуктите изисква точни измервания и пространствено разбиране, получени от калибрирани камери.
• Проверка на монтажа: Гарантиране, че компонентите са поставени правилно в процес на сглобяване.

Във всички индустрии от автомобилното производство в Германия до монтажа на електроника в Източна Азия, калибрираните визуални системи повишават ефективността.

5. Фотограметрия и геодезия

Фотограметрията е науката за измерване от фотографии. Калибрирането на камерата е нейната основа:

• 3D моделиране на град: Дроните, оборудвани с калибрирани камери, заснемат въздушни изображения, за да създадат подробни 3D модели на градски среди за планиране и управление.
• Археологическа документация: Създаване на прецизни 3D модели на артефакти и исторически обекти.
• Географски информационни системи (GIS): Картографирането и пространственият анализ разчитат на точни геометрични представяния, получени от калибрирани изображения.

Глобалните геодезически компании използват тези техники за картографиране на терен, наблюдение на инфраструктурата и оценка на промените в околната среда.

6. Забавление и филмова продукция

От визуални ефекти до улавяне на движение:

• Улавяне на движение: Калибрираните системи с множество камери проследяват движението на актьори и обекти, за да анимират дигитални герои.
• Виртуална продукция: Комбинирането на реални и виртуални декори често включва прецизно проследяване и калибриране на камерата.

Отвъд основното калибриране: Разширени теми

Докато принципите на вътрешните и външните параметри обхващат повечето приложения, по-разширените сценарии може да изискват допълнителни съображения:

• Нелинейни модели на изкривяване: За силно изкривени обективи (напр. рибешко око) може да са необходими по-сложни полиномни или рационални модели.
• Самокалибриране: В определени сценарии е възможно да се калибрира камера, без изрични цели за калибриране, като се наблюдава структурата на самата сцена. Това често се използва във вериги за обработка на Structure from Motion (SfM).
• Динамично калибриране: За системи, където вътрешните параметри на камерата могат да се променят с течение на времето (напр. поради температурни колебания), се използват онлайн или динамични техники за калибриране, за да се актуализират непрекъснато параметрите.
• Масиви от камери и сливане на сензори: Калибрирането на множество камери във фиксиран масив или сливането на данни от различни сензорни модалности (напр. камери и LiDAR) изисква сложни процедури за калибриране на множество сензори.

Заключение

Калибрирането на камерата не е просто стъпка за предварителна обработка; това е основната позволяваща технология, която запълва празнината между 2D домейна на изображението и 3D физическия свят. Задълбоченото разбиране на нейните принципи — вътрешни параметри, външни параметри и изкривявания на обектива — заедно с практически техники и инструментите, налични в библиотеки като OpenCV, е от решаващо значение за всеки, който се стреми да изгради точни и надеждни системи за геометрично компютърно зрение.

Тъй като компютърното зрение продължава да разширява обхвата си във всяка сфера на глобалните технологии и индустрия, значението на прецизното калибриране на камерата само ще нараства. Овладявайки този основен умение, вие се оборудвате със способността да отключите пълния потенциал на визуалните данни, стимулирайки иновациите и решавайки сложни предизвикателства в различни приложения по целия свят.