Kameros kalibravimas: geometrinės kompiuterinės regos pagrindas

Sparčiai besivystančiame kompiuterinės regos pasaulyje gebėjimas tiksliai interpretuoti ir suprasti mūsų fizinės aplinkos 3D geometriją iš 2D vaizdų yra itin svarbus. Nesvarbu, ar tai būtų autonominių automobilių navigacija sudėtinguose miesto peizažuose, papildytos realybės patirčių, kurios sklandžiai sulieja virtualų ir realų pasaulius, kūrimas, ar tikslios pramoninės automatikos užtikrinimas, pagrindinis žingsnis beveik visose šiose srityse yra kameros kalibravimas. Šis procesas yra geometrinės kompiuterinės regos pamatas, užtikrinantis, kad skaitmeninė pasaulio interpretacija atitiktų jo fizinę realybę.

Profesionalams ir entuziastams visame pasaulyje kameros kalibravimo supratimas yra ne tik naudingas, bet ir būtinas norint kurti patikimas ir stabilias kompiuterinės regos sistemas. Šis išsamus vadovas išaiškins kameros kalibravimą, išnagrinės jo teorinius pagrindus, praktines technikas ir esminį vaidmenį įvairiose pasaulinėse srityse.

Kas yra kameros kalibravimas?

Iš esmės, kameros kalibravimas yra procesas, kurio metu nustatomi kameros parametrai, būtini norint susieti 3D pasaulio taškus su 2D vaizdo taškais. Įsivaizduokite kamerą ne kaip tobulą langą į pasaulį, o kaip sudėtingą optinę sistemą su specifinėmis savybėmis, kurios gali nukrypti nuo idealaus modelio. Kalibravimas kiekybiškai įvertina šiuos nukrypimus ir nustato tikslų ryšį tarp kameros koordinačių sistemos ir realaus pasaulio koordinačių sistemos.

Pagrindinis kalibravimo tikslas – sukurti matematinį modelį, aprašantį, kaip 3D taškas erdvėje projektuojamas į 2D kameros jutiklį. Šis modelis mums leidžia:

• Rekonstruoti 3D scenas: Žinodami kameros projekcijos savybes, galime nustatyti objektų gylį ir erdvinį išdėstymą iš kelių 2D vaizdų.
• Atlikti tikslius matavimus: Paversti pikselių koordinates realaus pasaulio atstumais ir matmenimis.
• Koreguoti iškraipymus: Atsižvelgti į optinius objektyvo netobulumus, kurie gali iškreipti vaizdą.
• Suderinti kelis vaizdus: Suprasti santykinę skirtingų kamerų ar požiūrio taškų padėtį ir orientaciją, kas yra labai svarbu stereo regai ir daugelio vaizdų geometrijai.

Kameros modelis: nuo 3D iki 2D

Standartinis kiauryminės kameros (angl. pinhole) modelis dažnai yra atspirties taškas norint suprasti projekciją. Šiame modelyje 3D taškas pasaulyje X = (X, Y, Z) yra projektuojamas į 2D vaizdo plokštumą taške x = (u, v). Projekciją lemia vidiniai ir išoriniai kameros parametrai.

Vidiniai parametrai

Vidiniai parametrai aprašo vidines kameros charakteristikas, ypač jos optinę sistemą ir vaizdo jutiklį. Jie apibrėžia, kaip 3D taškas yra atvaizduojamas į pikselių koordinates vaizdo plokštumoje, darant prielaidą, kad kamera yra koordinačių pradžioje ir žiūri Z ašies kryptimi. Šie parametrai paprastai yra fiksuoti tam tikrai kamerai, nebent pakeičiamas objektyvas ar jutiklis.

Vidiniai parametrai paprastai yra vaizduojami 3x3 kameros matrica (K):

K = [ fx s cx ] [ 0 fy cy ] [ 0 0 1 ]

• fx ir fy: Židinio nuotoliai pikselių vienetais. Jie atspindi atstumą nuo optinio centro iki vaizdo plokštumos, padaugintą iš pikselio dydžio atitinkamai x ir y kryptimis.
• cx ir cy: Pagrindinis taškas, kuris yra optinės ašies ir vaizdo plokštumos susikirtimo taškas. Jis dažnai yra arti vaizdo centro, bet gali būti pasislinkęs dėl gamybos netikslumų.
• s: Pasvirimo koeficientas. Idealiu atveju pikselių tinklelio x ir y ašys yra statmenos, todėl s = 0. Daugumoje šiuolaikinių skaitmeninių kamerų taip ir yra, tačiau jis įtraukiamas dėl išsamumo.

Išoriniai parametrai

Išoriniai parametrai aprašo kameros padėtį 3D erdvėje pasaulio koordinačių sistemos atžvilgiu. Jie apibrėžia standžiąją transformaciją (sukimą ir poslinkį), kuri atvaizduoja taškus iš pasaulio koordinačių sistemos į kameros koordinačių sistemą. Šie parametrai keičiasi, jei kamera juda ar sukasi.

Išoriniai parametrai paprastai yra vaizduojami 3x3 sukimo matrica (R) ir 3x1 poslinkio vektoriumi (t).

Taškui Xw = (Xw, Yw, Zw) pasaulio koordinatėse, jo atvaizdavimas kameros koordinatėse Xc = (Xc, Yc, Zc) yra apskaičiuojamas taip:

Xc = R * Xw + t

Sujungus vidinius ir išorinius parametrus, 3D pasaulio taško Xw projekcija į 2D vaizdo tašką x = (u, v) gali būti išreikšta taip:

s * [ u ] = K * [R | t] * [ Xw ] [ v ] [ 1 ]

kur s yra mastelio koeficientas. Matrica [R | t] yra žinoma kaip 3x4 išorinių parametrų matrica.

Objektyvo iškraipymas

Realaus pasaulio objektyvai nėra tobulos kiaurymės. Jie sukelia iškraipymus, kurie nukrypsta nuo idealaus kiauryminės kameros modelio. Dažniausi tipai yra:

• Radialinis iškraipymas: Dėl jo tiesios linijos atrodo išlenktos, arba linkstančios į vidų (statinės iškraipymas), arba į išorę (pagalvėlės iškraipymas). Jis labiau pastebimas vaizdo pakraščiuose.
• Tangentinis iškraipymas: Atsiranda, kai objektyvo elementai nėra visiškai lygiagretūs vaizdo plokštumai.

Iškraipymas paprastai modeliuojamas naudojant polinomines lygtis. Radialiniam iškraipymui dažniausiai naudojami koeficientai k1, k2 ir k3. Tangentiniam iškraipymui naudojami koeficientai p1 ir p2. Kalibruotas kameros modelis apima šiuos iškraipymo koeficientus, leidžiančius mums ištaisyti vaizdo taškų iškraipymus arba numatyti, kaip realaus pasaulio taškai atrodys iškraipyti.

Kalibravimo procesas

Kameros kalibravimas paprastai atliekamas fotografuojant žinomą kalibravimo taikinį (pvz., šachmatų lentos raštą, apskritimų tinklelį ar net atsitiktinius taškus), esantį įvairiose padėtyse ir orientacijose kameros atžvilgiu. Stebėdami žinomus 3D taikinio taškus ir jų atitinkamas 2D projekcijas vaizduose, galime išspręsti nežinomus vidinius ir išorinius parametrus.

Dažniausiai naudojami kalibravimo metodai

Egzistuoja keli nusistovėję metodai, kurių kiekvienas turi savo privalumų ir trūkumų:

1. Zhang metodas (plokščias kalibravimo taikinys)

Tai, be abejonės, plačiausiai naudojamas ir patikimiausias kameros kalibravimo metodas. Jis naudoja plokščią kalibravimo taikinį (pavyzdžiui, šachmatų lentą) ir reikalauja bent vieno taikinio vaizdo. Metodas remiasi tuo, kad plokščio rašto projekcija sukuria specifinius geometrinius apribojimus.

Metodo žingsniai:

• Kampų aptikimas: Naudojami algoritmai, siekiant rasti tikslias šachmatų lentos kvadratų susikirtimo taškų (kampų) pikselių koordinates.
• Vidinių parametrų įvertinimas: Remiantis stebimu raštu, galima įvertinti vidinę kameros matricą (K).
• Išorinių parametrų įvertinimas: Kiekvienam vaizdui įvertinamas sukimasis (R) ir poslinkis (t), apibrėžiantys taikinio padėtį kameros atžvilgiu.
• Iškraipymo koeficientų įvertinimas: Lyginant aptiktų kampų vietas su jų idealiomis projekcijomis, patikslinami iškraipymo koeficientai.

Privalumai: Gana paprasta įgyvendinti, reikalauja tik plokščių taikinių, atsparus triukšmui, galima atlikti su vienu vaizdu (nors keli vaizdai pagerina tikslumą).

Trūkumai: Jautrus tiksliam kampų aptikimui; daroma prielaida, kad taikinys yra visiškai plokščias.

2. Tiesioginė tiesinė transformacija (DLT)

DLT yra paprastas algebrinis metodas, kuris tiesiogiai įvertina projekcijos matricą (įskaitant vidinius ir išorinius parametrus) iš 3D pasaulio taškų ir jų 2D vaizdo atitikmenų aibės. Norint nustatyti 11 unikalių projekcijos matricos parametrų, reikia mažiausiai 6 nekomplanarių taškų.

Privalumai: Paprasta įgyvendinti, skaičiavimo požiūriu efektyvus.

Trūkumai: Akivaizdžiai nemodeliuoja objektyvo iškraipymo; mažiau patikimas nei iteratyvūs metodai; gali būti jautrus triukšmui.

3. Iteratyvus optimizavimas (pvz., Levenberg-Marquardt)

Gavus pradinius kameros parametrų įvertinimus (pvz., iš DLT ar Zhang metodo), galima naudoti iteratyvias optimizavimo technikas šiems parametrams patikslinti, minimizuojant atgalinės projekcijos paklaidą. Atgalinės projekcijos paklaida yra skirtumas tarp stebėtų 2D vaizdo taškų ir 2D taškų, atgal projektuotų iš įvertintų 3D taškų, naudojant esamus kameros parametrus.

Privalumai: Pasiekiamas didelis tikslumas minimizuojant paklaidas; gerai veikia su sudėtingais modeliais.

Trūkumai: Reikalauja gerų pradinių įvertinimų; reikalauja daugiau skaičiavimo resursų.

4. Stereo kalibravimas

Naudojant dvi ar daugiau kamerų tai pačiai scenai stebėti, reikalingas stereo kalibravimas. Šis procesas nustato ne tik kiekvienos kameros vidinius parametrus, bet ir jų santykinę padėtį (sukimą ir poslinkį) viena kitos atžvilgiu. Ši santykinė padėtis yra labai svarbi atliekant trianguliaciją ir rekonstruojant 3D taškus iš stereo vaizdų.

Stereo kalibravimas paprastai apima:

• Kiekvienos kameros individualų kalibravimą, siekiant rasti jos vidinius parametrus.
• Kalibravimo taikinio fotografavimą abiem kameromis vienu metu.
• Santykinio sukimosi (R) ir poslinkio (t) tarp dviejų kamerų įvertinimą.

Tai leidžia apskaičiuoti epipoliarinę geometriją, kuri apriboja atitinkamų taškų paiešką stereo vaizduose ir yra pagrindas 3D rekonstrukcijai.

Kalibravimo taikiniai

Kalibravimo taikinio pasirinkimas yra svarbus:

• Šachmatų lentos: Populiarios Zhang metodui dėl lengvai aptinkamų kampų. Reikia kelių vaizdų.
• Apskritimų tinkleliai: Taip pat naudojami Zhang metodui, siūlantys tikslų centroidų aptikimą.
• 3D kalibravimo objektai: Sudėtingesniais atvejais, ypač su keliomis kameromis arba kai būtini tikslūs vidiniai ir išoriniai parametrai, gali būti naudojami iš anksto apibrėžti 3D objektai su žinomais matmenimis ir ypatybių vietomis.

Praktinis įgyvendinimas ir bibliotekos

Laimei, kameros kalibravimo įgyvendinimas buvo labai supaprastintas galingų kompiuterinės regos bibliotekų dėka. Žinomiausia iš jų yra OpenCV (Open Source Computer Vision Library).

OpenCV teikia funkcijas, skirtas:

• Aptikti kampus šachmatų lentos ir apskritimų tinklelio raštuose.
• Atlikti kameros kalibravimą naudojant įvairius algoritmus (įskaitant Zhang metodą).
• Ištaisyti vaizdų iškraipymus, siekiant koreguoti objektyvo iškraipymą.
• Kalibruoti stereo kamerų poras, siekiant rasti jų santykinę padėtį.

Tipinė darbo eiga OpenCV vienos kameros kalibravimui apima:

1. Lentos matmenų apibrėžimą (kvadratų/apskritimų skaičius pločio ir aukščio kryptimis).
2. Masyvų inicializavimą objektų taškams (3D taikinio ypatybių koordinatėms) ir vaizdo taškams (2D aptiktų ypatybių pikselių koordinatėms) saugoti.
3. Iteravimą per kalibravimo vaizdų rinkinį:
• Kalibravimo rašto aptikimą (pvz., findChessboardCorners).
• Jei aptikta, kampų vietų patikslinimą ir jų pridėjimą į vaizdo taškų sąrašą.
• Atitinkamų objektų taškų pridėjimą į objektų taškų sąrašą.
4. Kalibravimo funkcijos iškvietimą (pvz., calibrateCamera) su surinktais objektų ir vaizdo taškais. Ši funkcija grąžina kameros matricą, iškraipymo koeficientus, sukimosi vektorius ir poslinkio vektorius.

Stereo kalibravimui, gavus atitinkamus ypatybių taškus iš abiejų kamerų vienu metu, yra prieinamos tokios funkcijos kaip stereoCalibrate.

Kalibravimo iššūkiai ir aspektai

Nors kalibravimas yra gerai apibrėžtas procesas, norint pasiekti tikslius ir patikimus rezultatus, dažnai reikia atidžiai apsvarstyti kelis veiksnius:

• Apšvietimo sąlygos: Nuoseklus ir tinkamas apšvietimas yra labai svarbus tiksliam ypatybių aptikimui, ypač metodams, pagrįstiems kampais. Šešėliai ar per didelis apšvietimas gali pakenkti našumui.
• Taikinio kokybė ir raiška: Kalibravimo taikinys turėtų būti atspausdintas ar pagamintas labai tiksliai. Kameros jutiklio raiška taip pat vaidina svarbų vaidmenį; žemos raiškos kamera gali sunkiai tiksliai aptikti smulkias ypatybes.
• Kameros padėtis ir vaizdų skaičius: Norint atlikti patikimą kalibravimą, būtina fotografuoti kalibravimo taikinį iš įvairių požiūrio taškų, orientacijų ir atstumų. Tai užtikrina, kad visi vidiniai parametrai ir iškraipymo koeficientai yra gerai apriboti. Dažnai rekomenduojama nufotografuoti bent 10-20 skirtingų vaizdų.
• Objektyvo charakteristikos: Plataus kampo objektyvai paprastai turi didesnį radialinį iškraipymą, reikalaujantį atidesnio kalibravimo. „Žuvies akies“ (fisheye) objektyvai sukelia ekstremalų iškraipymą, kuriam reikalingi specializuoti kalibravimo modeliai ir technikos.
• Skaičiavimo tikslumas: Slankiojo kablelio aritmetikos tikslumas ir naudojami algoritmai gali paveikti galutinį kalibravimo tikslumą.
• Dinaminės scenos: Jei kamera skirta naudoti dinaminėje aplinkoje, kurioje objektai juda, svarbu užtikrinti, kad kalibravimo procesas užfiksuotų *statinius* vidinius kameros parametrus. Judantys objektai scenoje kalibravimo metu gali sukelti klaidų.
• Temperatūra ir vibracija: Ekstremalūs temperatūros pokyčiai ar vibracijos gali paveikti fizines kameros ir objektyvo savybes, galbūt laikui bėgant pakeisdami kalibravimo parametrus. Tokiose aplinkose gali prireikti perkalibravimo.

Pasauliniai kameros kalibravimo pritaikymai

Kameros kalibravimo poveikis jaučiamas plačiame pasaulinių pramonės šakų ir tyrimų sričių spektre:

1. Autonominės transporto priemonės ir robotika

Autonominiai automobiliai labai priklauso nuo kamerų, kad suvoktų savo aplinką. Tikslus kameros kalibravimas yra gyvybiškai svarbus:

• Gylio suvokimui: Stereo regos sistemos, dažnai naudojamos autonominėse transporto priemonėse, naudoja kalibruotas kameras atstumams iki kliūčių, pėsčiųjų ir kitų transporto priemonių trianguliuoti.
• Eismo juostų aptikimui ir kelio ženklų atpažinimui: Kalibruotos kameros užtikrina, kad aptiktos linijos ir ženklai būtų tiksliai atvaizduoti į jų realaus pasaulio pozicijas ir dydžius.
• Objektų sekimui: Objektų sekimas keliuose kadruose reikalauja nuoseklaus kameros projekcijos modelio supratimo.

Robotikoje kalibruotos kameros leidžia robotams paimti objektus, naršyti nežinomose teritorijose ir atlikti tikslias surinkimo užduotis.

2. Papildyta realybė (AR) ir virtuali realybė (VR)

AR/VR programoms reikalingas tikslus suderinimas tarp realaus ir virtualaus pasaulių. Kameros kalibravimas yra pagrindinis veiksnys:

• Vartotojo požiūrio taško sekimui: Išmanieji telefonai ir AR akiniai naudoja kameras, kad suprastų vartotojo padėtį ir orientaciją, leidžiant virtualius objektus realistiškai uždėti ant tiesioginio kameros vaizdo.
• Scenos supratimui: Kalibruotos kameros gali įvertinti realaus pasaulio aplinkos geometriją, leidžiant virtualiems objektams realistiškai sąveikauti su paviršiais (pvz., virtualus kamuolys atšoka nuo realaus stalo).

Tokios įmonės kaip „Apple“ (ARKit) ir „Google“ (ARCore) plačiai naudoja kameros kalibravimą savo AR platformoms.

3. Medicininis vaizdavimas ir sveikatos apsauga

Medicinos srityje tikslumas yra neginčijamas. Kameros kalibravimas naudojamas:

• Chirurginės navigacijos sistemose: Kalibruotos kameros seka chirurginius instrumentus ir paciento anatomiją, teikdamos realaus laiko nurodymus chirurgams.
• Organų 3D rekonstrukcijoje: Endoskopai ir kiti medicininio vaizdavimo prietaisai naudoja kalibruotas kameras, kad sukurtų 3D vidaus organų modelius diagnozei ir planavimui.
• Mikroskopijoje: Kalibruoti mikroskopai gali leisti atlikti tikslius ląstelių struktūrų matavimus.

4. Pramoninė automatika ir kokybės kontrolė

Gamybos procesai gauna didelę naudą iš kompiuterinės regos:

• Robotizuotam dalių paėmimui iš dėžės: Kalibruotos kameros leidžia robotams identifikuoti ir paimti dalis iš nestruktūrizuotų dėžių.
• Automatizuotai inspekcijai: Defektų aptikimas gaminiuose reikalauja tikslių matavimų ir erdvinio supratimo, gauto iš kalibruotų kamerų.
• Surinkimo patikrai: Užtikrinimui, kad komponentai surinkimo procese yra teisingai išdėstyti.

Įvairiose pramonės šakose, nuo automobilių gamybos Vokietijoje iki elektronikos surinkimo Rytų Azijoje, kalibruotos regos sistemos didina efektyvumą.

5. Fotogrametrija ir geodezija

Fotogrametrija yra mokslas apie matavimų atlikimą iš fotografijų. Kameros kalibravimas yra jos pagrindas:

• 3D miesto modeliavimui: Dronai su kalibruotomis kameromis fiksuoja aerofotografijas, kad sukurtų detalius 3D miesto aplinkos modelius planavimui ir valdymui.
• Archeologinei dokumentacijai: Tikslių 3D artefaktų ir istorinių vietų modelių kūrimui.
• Geografinėms informacinėms sistemoms (GIS): Žemėlapių sudarymas ir erdvinė analizė remiasi tiksliais geometriniais atvaizdais, gautais iš kalibruotų vaizdų.

Pasaulinės geodezijos įmonės naudoja šias technikas reljefui kartografuoti, infrastruktūrai stebėti ir aplinkos pokyčiams vertinti.

6. Pramogų ir filmų gamyba

Nuo vizualinių efektų iki judesio fiksavimo:

• Judesio fiksavimas: Kalibruotos daugiakamerės sistemos seka aktorių ir objektų judesius, kad animuotų skaitmeninius personažus.
• Virtuali gamyba: Realių ir virtualių scenų derinimas dažnai apima tikslų kameros sekimą ir kalibravimą.

Ne tik pagrindinis kalibravimas: pažangesnės temos

Nors vidinių ir išorinių parametrų principai apima daugumą pritaikymų, sudėtingesniais atvejais gali prireikti papildomų svarstymų:

• Netiesiniai iškraipymo modeliai: Labai iškraipytiems objektyvams (pvz., „žuvies akies“) gali prireikti sudėtingesnių polinominių ar racionaliųjų modelių.
• Savikalibravimas: Tam tikrais atvejais galima kalibruoti kamerą be aiškių kalibravimo taikinių, stebint pačios scenos struktūrą. Tai dažnai taikoma „Struktūros iš judesio“ (Structure from Motion, SfM) procesuose.
• Dinaminis kalibravimas: Sistemoms, kuriose kameros vidiniai parametrai gali keistis laikui bėgant (pvz., dėl temperatūros svyravimų), naudojamos internetinės arba dinaminės kalibravimo technikos, siekiant nuolat atnaujinti parametrus.
• Kamerų masyvai ir jutiklių sintezė: Kelių kamerų kalibravimas fiksuotame masyve arba duomenų iš skirtingų jutiklių modalumų (pvz., kamerų ir LiDAR) sintezė reikalauja sudėtingų daugelio jutiklių kalibravimo procedūrų.

Išvada

Kameros kalibravimas nėra tik pirminio apdorojimo žingsnis; tai yra pagrindinė technologija, jungianti 2D vaizdų sritį su 3D fiziniu pasauliu. Išsamus jo principų – vidinių parametrų, išorinių parametrų ir objektyvo iškraipymų – supratimas, kartu su praktinėmis technikomis ir įrankiais, esančiais tokiose bibliotekose kaip OpenCV, yra labai svarbus kiekvienam, siekiančiam kurti tikslias ir patikimas geometrinės kompiuterinės regos sistemas.

Kompiuterinei regai toliau plečiantis į visas pasaulio technologijų ir pramonės sritis, tikslaus kameros kalibravimo svarba tik augs. Įvaldę šį esminį įgūdį, jūs įgyjate galimybę atskleisti visą vizualinių duomenų potencialą, skatinti inovacijas ir spręsti sudėtingus iššūkius įvairiose srityse visame pasaulyje.