Калібрування камери: наріжний камінь геометричного комп'ютерного зору

У світі комп'ютерного зору, що швидко розвивається, здатність точно інтерпретувати та розуміти 3D-геометрію нашого фізичного середовища з 2D-зображень має першорядне значення. Будь то надання можливості автомобілям з автопілотом пересуватися складними міськими ландшафтами, забезпечення роботи AR-додатків, які бездоганно поєднують віртуальне та реальне, або сприяння точній промисловій автоматизації, основним кроком майже для всіх цих додатків є калібрування камери. Цей процес є основою геометричного комп'ютерного зору, гарантуючи, що цифрова інтерпретація світу узгоджується з його фізичною реальністю.

Для професіоналів та ентузіастів у всьому світі розуміння калібрування камери не просто корисне; воно необхідне для створення надійних та стабільних систем комп'ютерного зору. Це вичерпне керівництво розвіє міфи навколо калібрування камери, дослідить його теоретичні основи, практичні методи та його вирішальну роль у різних глобальних додатках.

Що таке калібрування камери?

В основі своєї суті калібрування камери – це процес визначення параметрів камери, необхідних для зіставлення 3D-точок світу з 2D-точками зображення. Думайте про камеру не як про ідеальне вікно у світ, а як про складну оптичну систему з певними характеристиками, які можуть відхилятися від ідеальної моделі. Калібрування кількісно оцінює ці відхилення та встановлює точний взаємозв'язок між системою координат камери та системою координат реального світу.

Основна мета калібрування – створити математичну модель, яка описує, як 3D-точка в просторі проектується на 2D-сенсор камери. Ця модель дозволяє нам:

• Реконструювати 3D-сцени: Знаючи властивості проекції камери, ми можемо вивести глибину та просторове розташування об'єктів з кількох 2D-зображень.
• Точні вимірювання: Перетворювати координати пікселів у відстані та розміри реального світу.
• Коригувати дисторсії: Враховувати оптичні дефекти об'єктива, які можуть спотворювати зображення.
• Вирівнювати кілька видів: Розуміти відносну позу та орієнтацію між різними камерами або точками огляду, що важливо для стереозору та багатовимірної геометрії.

Модель камери: від 3D до 2D

Стандартна модель камери-дірки часто є відправною точкою для розуміння проекції. У цій моделі 3D-точка X = (X, Y, Z) у світі проектується на 2D-площину зображення в точці x = (u, v). Проекція опосередковується внутрішніми та зовнішніми параметрами камери.

Внутрішні параметри

Внутрішні параметри описують внутрішні характеристики камери, зокрема її оптичну систему та датчик зображення. Вони визначають, як 3D-точка відображається на координати пікселів на площині зображення, припускаючи, що камера розташована у вихідній точці та дивиться вниз по осі Z. Ці параметри зазвичай фіксовані для даної камери, якщо не змінюється об'єктив або сенсор.

Внутрішні параметри зазвичай представлені 3x3 матрицею камери (K):

K = [ fx s cx ] [ 0 fy cy ] [ 0 0 1 ]

• fx та fy: Фокусні відстані в піксельних одиницях. Вони представляють відстань від оптичного центру до площини зображення, масштабовану розміром пікселя у напрямках x та y відповідно.
• cx та cy: Головна точка, яка є перетином оптичної осі з площиною зображення. Вона часто знаходиться поблизу центру зображення, але може бути зміщена через виробничі допуски.
• s: Коефіцієнт перекосу. В ідеалі осі x та y піксельної сітки перпендикулярні, що робить s = 0. У більшості сучасних цифрових камер це дійсно так, але він включений для повноти.

Зовнішні параметри

Зовнішні параметри описують положення камери в 3D-просторі відносно системи координат світу. Вони визначають жорстке перетворення (обертання та переміщення), яке відображає точки із системи координат світу в систему координат камери. Ці параметри змінюються, якщо камера рухається або обертається.

Зовнішні параметри зазвичай представлені матрицею обертання 3x3 (R) та вектором переміщення 3x1 (t).

Для точки Xw = (Xw, Yw, Zw) в світових координатах, її представлення в координатах камери Xc = (Xc, Yc, Zc) визначається як:

Xc = R * Xw + t

Об'єднуючи внутрішні та зовнішні параметри, проекція 3D-точки світу Xw на 2D-точку зображення x = (u, v) може бути виражена як:

s * [ u ] = K * [R | t] * [ Xw ] [ v ] [ 1 ]

де s — масштабний коефіцієнт. Матриця [R | t] відома як зовнішня матриця 3x4.

Дисторсія об'єктива

Реальні об'єктиви не є ідеальними дірками. Вони вводять спотворення, які відхиляються від ідеальної моделі дірки. Найбільш поширеними типами є:

• Радіальна дисторсія: Це призводить до того, що прямі лінії виглядають вигнутими, або вигинаючись всередину (бочкоподібна дисторсія), або назовні (подушкоподібна дисторсія). Вона більш виражена на периферії зображення.
• Тангенціальна дисторсія: Це відбувається, коли елементи об'єктива не ідеально паралельні площині зображення.

Дисторсія зазвичай моделюється за допомогою поліноміальних рівнянь. Для радіальної дисторсії зазвичай використовуються коефіцієнти k1, k2 та k3. Для тангенціальної дисторсії використовуються коефіцієнти p1 та p2. Відкалібрована модель камери включає ці коефіцієнти дисторсії, що дозволяє нам виправляти точки зображення або передбачати, як будуть виглядати спотвореними точки реального світу.

Процес калібрування

Калібрування камери зазвичай виконується шляхом захоплення зображень відомої мішені калібрування (наприклад, шахової дошки, сітки кіл або навіть випадкових крапок), розташованої в різних положеннях та орієнтаціях відносно камери. Спостерігаючи відомі 3D-точки мішені та їхні відповідні 2D-проекції на зображеннях, ми можемо розв'язати невідомі внутрішні та зовнішні параметри.

Поширені методи калібрування

Існує кілька усталених методів, кожен з яких має свої сильні та слабкі сторони:

1. Метод Чжана (плоска мішень калібрування)

Це, мабуть, найбільш широко використовуваний та надійний метод калібрування камери. Він використовує плоску мішень калібрування (наприклад, шахову дошку) та вимагає принаймні одного зображення мішені. Метод ґрунтується на тому, що проекція плоского малюнка призводить до певних геометричних обмежень.

Залучені кроки:

• Виявлення кутів: Алгоритми використовуються для знаходження точних координат пікселів точок перетину (кутів) квадратів шахової дошки.
• Оцінка внутрішніх параметрів: Виходячи зі спостережуваного малюнка, можна оцінити внутрішню матрицю камери (K).
• Оцінка зовнішніх параметрів: Для кожного зображення оцінюються обертання (R) та переміщення (t), що визначають позу мішені відносно камери.
• Оцінка коефіцієнтів дисторсії: Порівнюючи виявлені місця розташування кутів з їхніми ідеальними проекціями, коефіцієнти дисторсії уточнюються.

Переваги: Відносно простий у реалізації, вимагає лише плоских мішеней, стійкий до шуму, може виконуватися з одним зображенням (хоча кілька видів покращують точність).

Недоліки: Чутливий до точного виявлення кутів; передбачає, що мішень ідеально плоска.

2. Пряме лінійне перетворення (DLT)

DLT – це простий алгебраїчний метод, який безпосередньо оцінює матрицю проекції (включаючи внутрішні та зовнішні параметри) із набору 3D-точок світу та їхніх 2D-відповідностей зображення. Для визначення 11 унікальних параметрів матриці проекції потрібно щонайменше 6 некопланарних точок.

Переваги: Простота у реалізації, обчислювальна ефективність.

Недоліки: Явно не моделює дисторсію об'єктива; менш надійний, ніж ітераційні методи; може бути чутливим до шуму.

3. Ітеративна оптимізація (наприклад, Levenberg-Marquardt)

Як тільки отримано початкові оцінки параметрів камери (наприклад, з DLT або методу Чжана), ітераційні методи оптимізації можна використовувати для уточнення цих параметрів шляхом мінімізації помилки перепроекції. Помилка перепроекції – це різниця між спостережуваними 2D-точками зображення та 2D-точками, перепроектованими із оцінених 3D-точок, використовуючи поточні параметри камери.

Переваги: Досягає високої точності шляхом мінімізації помилок; добре обробляє складні моделі.

Недоліки: Вимагає хороших початкових оцінок; обчислювально більш інтенсивний.

4. Стереокалібрування

При використанні двох або більше камер для перегляду однієї й тієї ж сцени потрібне стереокалібрування. Цей процес визначає не тільки внутрішні параметри кожної камери, але й їхню відносну позу (обертання та переміщення) по відношенню один до одного. Ця відносна поза має вирішальне значення для виконання триангуляції та реконструкції 3D-точок із стереозображень.

Стереокалібрування зазвичай включає:

• Калібрування кожної камери окремо для знаходження її внутрішніх параметрів.
• Захоплення зображень мішені калібрування обома камерами одночасно.
• Оцінка відносного обертання (R) та переміщення (t) між двома камерами.

Це дозволяє обчислити епіполярну геометрію, яка обмежує пошук відповідних точок на стереозображеннях і є основою для 3D-реконструкції.

Мішені калібрування

Вибір мішені калібрування важливий:

• Шахові дошки: Популярні для методу Чжана завдяки їхнім легко виявленим кутам. Потрібно кілька видів.
• Сітки кіл: Також використовуються для методу Чжана, пропонуючи точне виявлення центроїдів.
• 3D-об'єкти калібрування: Для більш складних сценаріїв, особливо з кількома камерами або коли критично важливі точні внутрішні та зовнішні параметри, можуть використовуватися заздалегідь визначені 3D-об'єкти з відомими розмірами та розташуванням функцій.

Практична реалізація та бібліотеки

На щастя, реалізація калібрування камери значно спрощена потужними бібліотеками комп'ютерного зору. Найбільш видатним з них є OpenCV (бібліотека комп'ютерного зору з відкритим вихідним кодом).

OpenCV надає функції для:

• Виявлення кутів на шахових дошках та сітках кіл.
• Виконання калібрування камери за допомогою різних алгоритмів (включаючи метод Чжана).
• Виправлення дисторсії зображень для корекції дисторсії об'єктива.
• Калібрування стереопар камер для знаходження їхньої відносної пози.

Типовий робочий процес в OpenCV для калібрування однієї камери включає:

1. Визначення розмірів дошки (кількість квадратів/кіл по ширині та висоті).
2. Ініціалізація масивів для зберігання точок об'єкта (3D-координати особливостей мішені) та точок зображення (2D-координати пікселів виявлених особливостей).
3. Ітерація через набір зображень калібрування:
• Виявлення малюнка калібрування (наприклад, findChessboardCorners).
• Якщо виявлено, уточнення розташування кутів та додавання їх до списку точок зображення.
• Додавання відповідних точок об'єкта до списку точок об'єкта.
4. Виклик функції калібрування (наприклад, calibrateCamera) із зібраними точками об'єкта та зображення. Ця функція повертає матрицю камери, коефіцієнти дисторсії, вектори обертання та вектори переміщення.

Для стереокалібрування доступні функції, такі як stereoCalibrate, після отримання відповідних точок особливостей з обох камер одночасно.

Проблеми та міркування при калібруванні

Хоча калібрування є чітко визначеним процесом, досягнення точних та надійних результатів часто вимагає ретельного врахування кількох факторів:

• Умови освітлення: Стабільне та адекватне освітлення має вирішальне значення для точного виявлення особливостей, особливо для методів на основі кутів. Тіні або перетримка можуть перешкоджати продуктивності.
• Якість та роздільна здатність мішені: Мішень калібрування слід друкувати або виготовляти з високою точністю. Роздільна здатність датчика камери також відіграє певну роль; камера з низькою роздільною здатністю може мати труднощі з точним виявленням дрібних деталей.
• Поза камери та кількість видів: Для надійного калібрування важливо захоплювати зображення мішені калібрування з різних точок огляду, орієнтацій та відстаней. Це гарантує, що всі внутрішні параметри та коефіцієнти дисторсії добре обмежені. Поширена рекомендація – захопити принаймні 10-20 різних видів.
• Характеристики об'єктива: Ширококутні об'єктиви, як правило, мають більш значну радіальну дисторсію, що вимагає більш ретельного калібрування. Об'єктиви «риб'яче око» вводять екстремальні спотворення, які потребують спеціалізованих моделей калібрування та методів.
• Обчислювальна точність: Точність арифметики з плаваючою комою та використаних алгоритмів може вплинути на кінцеву точність калібрування.
• Динамічні сцени: Якщо камеру передбачається використовувати в динамічному середовищі, де об'єкти рухаються, важливо переконатися, що процес калібрування фіксує *статичні* внутрішні параметри камери. Рухомі об'єкти в сцені під час калібрування можуть призвести до помилок.
• Температура та вібрація: Екстремальні перепади температури або вібрації можуть вплинути на фізичні властивості камери та об'єктива, потенційно змінюючи параметри калібрування з часом. У такому середовищі може знадобитися повторне калібрування.

Глобальні застосування калібрування камери

Вплив калібрування камери відчувається у широкому спектрі глобальних галузей та науково-дослідних областях:

1. Автономні транспортні засоби та робототехніка

Автомобілі з автопілотом значною мірою покладаються на камери для сприйняття навколишнього середовища. Точне калібрування камери має життєво важливе значення для:

• Сприйняття глибини: Стереосистеми зору, поширені в автономних транспортних засобах, використовують відкалібровані камери для триангуляції відстаней до перешкод, пішоходів та інших транспортних засобів.
• Виявлення смуг та розпізнавання дорожніх знаків: Відкалібровані камери гарантують, що виявлені лінії та знаки точно відображаються на їхніх позиціях та розмірах у реальному світі.
• Відстеження об'єктів: Відстеження об'єктів у кількох кадрах вимагає послідовного розуміння моделі проекції камери.

У робототехніці відкалібровані камери дозволяють роботам захоплювати об'єкти, переміщатися невідомою місцевістю та виконувати точні завдання зі збірки.

2. Доповнена реальність (AR) та віртуальна реальність (VR)

AR/VR-додатки вимагають точного вирівнювання між реальним та віртуальним світами. Калібрування камери є основоположним для:

• Відстеження точки зору користувача: Смартфони та AR-гарнітури використовують камери, щоб зрозуміти положення та орієнтацію користувача, дозволяючи віртуальним об'єктам реалістично накладатись на живий канал камери.
• Розуміння сцени: Відкалібровані камери можуть оцінювати геометрію реального навколишнього середовища, дозволяючи віртуальним об'єктам реалістично взаємодіяти з поверхнями (наприклад, віртуальний м'яч, що відскакує від реального столу).

Такі компанії, як Apple (ARKit) та Google (ARCore), активно використовують калібрування камери для своїх AR-платформ.

3. Медична візуалізація та охорона здоров'я

У медичних додатках точність не підлягає обговоренню. Калібрування камери використовується в:

• Системи хірургічної навігації: Відкалібровані камери відстежують хірургічні інструменти та анатомію пацієнта, забезпечуючи керівництво хірургам у режимі реального часу.
• 3D-реконструкція органів: Ендоскопи та інші медичні пристрої візуалізації використовують відкалібровані камери для створення 3D-моделей внутрішніх органів для діагностики та планування.
• Мікроскопія: Відкалібровані мікроскопи можуть забезпечувати точні вимірювання клітинних структур.

4. Промислова автоматизація та контроль якості

Виробничі процеси значно виграють від комп'ютерного зору:

• Роботизоване збирання з бункера: Відкалібровані камери дозволяють роботам ідентифікувати та вибирати деталі з неструктурованих бункерів.
• Автоматизована перевірка: Виявлення дефектів на продуктах вимагає точних вимірювань та просторового розуміння, отриманого з відкаліброваних камер.
• Перевірка збірки: Забезпечення правильного розміщення компонентів у процесі збірки.

У різних галузях промисловості, від автомобілебудування в Німеччині до збирання електроніки у Східній Азії, відкалібровані системи зору підвищують ефективність.

5. Фотограмметрія та геодезія

Фотограмметрія – це наука про вимірювання з фотографій. Калібрування камери є її основою:

• 3D-моделювання міст: Безпілотники, оснащені відкаліброваними камерами, захоплюють аерофотознімки для створення детальних 3D-моделей міського середовища для планування та управління.
• Археологічна документація: Створення точних 3D-моделей артефактів та історичних місць.
• Географічні інформаційні системи (GIS): Картографування та просторовий аналіз покладаються на точні геометричні зображення, отримані з відкаліброваних зображень.

Глобальні геодезичні компанії використовують ці методи для картографування місцевості, моніторингу інфраструктури та оцінки змін навколишнього середовища.

6. Розваги та кіновиробництво

Від візуальних ефектів до захоплення руху:

• Захоплення руху: Відкалібровані багатокамерні системи відстежують рух акторів та об'єктів, щоб анімувати цифрові персонажі.
• Віртуальне виробництво: Поєднання реальних та віртуальних наборів часто передбачає точне відстеження та калібрування камери.

Крім базового калібрування: розширені теми

Хоча принципи внутрішніх та зовнішніх параметрів охоплюють більшість додатків, більш складні сценарії можуть вимагати подальших міркувань:

• Нелінійні моделі дисторсії: Для сильно спотворених об'єктивів (наприклад, «риб'яче око») можуть знадобитися більш складні поліноміальні або раціональні моделі.
• Самокалібрування: У певних сценаріях можна відкалібрувати камеру без явних мішеней калібрування, спостерігаючи структуру самої сцени. Це часто використовується в конвеєрах Structure from Motion (SfM).
• Динамічне калібрування: Для систем, де внутрішні параметри камери можуть змінюватися з часом (наприклад, через коливання температури), для постійного оновлення параметрів використовуються онлайн або динамічні методи калібрування.
• Масиви камер та злиття сенсорів: Калібрування кількох камер у фіксованому масиві або злиття даних із різних модальностей сенсорів (наприклад, камер та LiDAR) вимагає складних процедур калібрування кількох сенсорів.

Висновок

Калібрування камери – це не просто крок попередньої обробки; це фундаментальна технологія, яка усуває розрив між 2D-доменом зображення та 3D-фізичним світом. Ретельне розуміння його принципів – внутрішні параметри, зовнішні параметри та дисторсії об'єктива – разом із практичними методами та інструментами, доступними в таких бібліотеках, як OpenCV, має вирішальне значення для тих, хто прагне створити точні та надійні системи геометричного комп'ютерного зору.

Оскільки комп'ютерний зір продовжує розширювати сферу своєї діяльності в кожній грані глобальних технологій та промисловості, важливість точного калібрування камери лише зростатиме. Оволодівши цим важливим навиком, ви озброюєтесь здатністю розкрити весь потенціал візуальних даних, стимулюючи інновації та вирішуючи складні завдання в різних додатках по всьому світу.