Nepilnības pieņemšana: dziļa iedziļināšanās aptuvenajā skaitļošanā un precizitātes kompromisā

Nebeidzamajos centienos pēc ātrākas, jaudīgākas un efektīvākas skaitļošanas mēs tradicionāli esam darbojušies saskaņā ar pamatpieņēmumu: katram aprēķinam jābūt pilnīgi precīzam. No finanšu darījumiem līdz zinātniskām simulācijām, bitu līmeņa precizitāte ir bijis zelta standarts. Bet ko darīt, ja šī tiekšanās pēc pilnības kļūst par šķērsli? Ko darīt, ja lielai daļai mūsdienu lietojumprogrammu būt "pietiekami labam" ir ne tikai pieņemami, bet arī daudz pārāk?

Laipni lūdzam aptuvenās skaitļošanas pasaulē – revolucionārā paradigmā, kas izaicina mūsu ierasto pareizības definīciju. Tā ir dizaina filozofija, kas apzināti ievieš kontrolētas, pārvaldāmas kļūdas aprēķinos, lai sasniegtu ievērojamus ieguvumus veiktspējā, energoefektivitātē un resursu izmantošanā. Runa nav par kļūdainu sistēmu veidošanu; runa ir par inteliģentu neliela, bieži vien nemanāma precizitātes daudzuma iemainīšanu pret milzīgiem uzlabojumiem rādītājos, kas mūsdienās ir vissvarīgākie: ātrums un enerģijas patēriņš.

Kāpēc tagad? Aptuvenās skaitļošanas virzītājspēki

Pāreja uz aptuveno skaitļošanu nav patvaļīga. Tā ir tieša atbilde uz fundamentāliem fiziskiem un tehnoloģiskiem ierobežojumiem, ar kuriem mēs saskaramies 21. gadsimtā. Vairāki galvenie faktori saplūst, lai padarītu šo paradigmu ne tikai interesantu, bet arī nepieciešamu.

Ēras beigas: Mūra likums un Denarda mērogošana

Gadu desmitiem tehnoloģiju nozare guva labumu no divām paredzamām tendencēm. Mūra likums novēroja, ka tranzistoru skaits mikroshēmā dubultojas aptuveni ik pēc diviem gadiem, izraisot eksponenciālu apstrādes jaudas pieaugumu. To papildināja Denarda mērogošana, kas noteica, ka, tranzistoriem kļūstot mazākiem, to jaudas blīvums paliek nemainīgs. Tas nozīmēja, ka mēs varējām ievietot vairāk tranzistoru, mikroshēmai proporcionāli nesakarstot.

Ap 2000. gadu vidu Denarda mērogošana faktiski beidzās. Tranzistori kļuva tik mazi, ka noplūdes strāvas kļuva par lielu problēmu, un mēs vairs nevarējām proporcionāli samazināt spriegumu. Lai gan Mūra likums ir palēninājies, tā galvenais izaicinājums tagad ir jauda. Mēs joprojām varam pievienot vairāk tranzistoru, bet mēs nevaram tos visus vienlaikus darbināt ar pilnu ātrumu, neizkausējot mikroshēmu. To sauc par "tumšā silīcija" problēmu, un tā ir radījusi steidzamu vajadzību pēc jauniem veidiem, kā uzlabot energoefektivitāti.

Enerģijas siena

Sākot ar milzīgiem, pilsētas izmēra datu centriem, kas darbina mākoni, līdz sīkiem, ar baterijām darbināmiem sensoriem lietu internetā (IoT), enerģijas patēriņš ir kritisks ierobežojums. Datu centri veido ievērojamu daļu no pasaules elektroenerģijas patēriņa, un to enerģijas pēda ir nozīmīgas ekspluatācijas izmaksas un vides problēma. Otrā spektra galā IoT ierīces lietderību bieži nosaka tās akumulatora darbības laiks. Aptuvenā skaitļošana piedāvā tiešu ceļu uz enerģijas patēriņa samazināšanu, vienkāršojot pamatā esošās aparatūras un programmatūras darbības.

Kļūdām noturīgu lietojumprogrammu uzplaukums

Iespējams, visnozīmīgākais virzītājspēks ir mūsu darba slodžu mainīgā daba. Daudzām no vissvarīgākajām un skaitļošanas ziņā intensīvākajām lietojumprogrammām mūsdienās ir raksturīga noturība pret nelielām kļūdām. Apsveriet:

• Mašīnmācīšanās (MI): Neironu tīkla lēmums klasificēt attēlu kā "kaķis" vai "suns" ir balstīts uz statistiskām varbūtībām. Neliela viena no miljoniem svaru vērtības perturbācija, visticamāk, nemainīs galīgo, augsta līmeņa rezultātu.
• Multivides apstrāde: Cilvēka uztveres sistēma ir piedodoša. Jūs nepamanīsiet, ja daži pikseļi vienā 4K video kadrā būs nedaudz citā krāsā vai ja audio straumei būs niecīgs, nedzirdams artefakts.
• Lielo datu analīze: Analizējot tīmekļa mēroga datu kopas, lai identificētu tendences, svarīga ir rezultāta statistiskā nozīmība. Dažu atsevišķu datu punktu precīzā vērtība no miljardiem bieži ir nenozīmīgs troksnis.

Šīm lietojumprogrammām prasīt bitu līmeņa precizitāti ir skaitļošanas pārspīlējums. Tas ir kā izmantot mikrometru, lai mērītu futbola laukumu — papildu precizitāte nesniedz praktisku vērtību un prasa milzīgas laika un enerģijas izmaksas.

Pamatprincips: Precizitātes-veiktspējas-enerģijas trīsstūris

Aptuvenā skaitļošana darbojas uz vienkārša, bet spēcīga kompromisa pamata. Iedomājieties to kā trīsstūri ar trim virsotnēm: Precizitāte, Veiktspēja (Ātrums) un Enerģija. Tradicionālajā skaitļošanā precizitāte ir fiksēta 100% līmenī. Lai uzlabotu veiktspēju vai samazinātu enerģijas patēriņu, mums ir jāievieš jauninājumi citās jomās (piemēram, arhitektūrā vai materiālzinātnē), kas kļūst arvien grūtāk.

Aptuvenā skaitļošana pārvērš Precizitāti par elastīgu mainīgo. Atļaujot nelielu, kontrolētu precizitātes samazinājumu, mēs atveram jaunas optimizācijas dimensijas:

• Precizitāte pret ātrumu: Vienkāršāki aprēķini tiek izpildīti ātrāk. Izlaižot sarežģītus soļus vai izmantojot mazāk precīzu loģiku, mēs varam dramatiski palielināt caurlaidspēju.
• Precizitāte pret enerģiju: Vienkāršākas loģiskās shēmas prasa mazāk tranzistoru un var darboties ar zemāku spriegumu, kas noved pie ievērojama gan statiskā, gan dinamiskā enerģijas patēriņa samazinājuma.
• Precizitāte pret platību/izmaksām: Aptuvenās aparatūras komponenti var būt mazāki, kas nozīmē, ka uz vienas mikroshēmas var ietilpt vairāk apstrādes vienību, samazinot ražošanas izmaksas un palielinot paralēlismu.

Mērķis ir atrast katrai lietojumprogrammai "ideālo punktu" – punktu, kurā mēs sasniedzam maksimālus veiktspējas un enerģijas ieguvumus ar minimālu, pieņemamu kvalitātes zudumu.

Kā tas darbojas: Aptuvenās skaitļošanas metodes

Aproksimāciju var ieviest katrā skaitļošanas steka līmenī, sākot no fundamentālajiem loģiskajiem vārtiem procesorā līdz augsta līmeņa algoritmiem lietojumprogrammā. Šīs metodes bieži tiek izmantotas kombinācijā, lai maksimizētu to priekšrocības.

Aparatūras līmeņa aproksimācijas

Šīs metodes ietver datora fizisko komponentu pārveidošanu, lai tie būtu pēc būtības neprecīzi.

• Aptuvenās aritmētiskās shēmas: CPU pamatelementi ir aritmētiskās shēmas, piemēram, summatori un reizinātāji. Precīzs 32 bitu reizinātājs ir sarežģīta, energoietilpīga loģikas daļa. Aptuvenais reizinātājs varētu būt izstrādāts tā, lai ignorētu aprēķinus mazāk nozīmīgajiem bitiem. Tā rezultātā tiek iegūta shēma, kas ir ievērojami mazāka, ātrāka un energoefektīvāka, vienlaikus radot tikai niecīgu kļūdu gala produktā.
• Sprieguma pārmērogošana (Voltage Over-scaling - VOS): Katrai mikroshēmai ir minimālais drošais darba spriegums. Zem tā var rasties laika kļūdas, jo signāliem nav pietiekami daudz enerģijas, lai savlaicīgi izplatītos caur shēmām. VOS apzināti darbina mikroshēmu zem šī drošā sprieguma. Tas krasi ietaupa enerģiju, bet ievieš neregulāras laika kļūdas. Aptuvenā kontekstā šīs nejaušās, retās kļūdas ir pieņemamas, ja to ietekme uz gala rezultātu ir niecīga.
• Aptuvenā atmiņa: Atmiņas sistēmas, piemēram, SRAM un DRAM, ir lieli enerģijas patērētāji. Aptuveni atmiņas dizaini pieļauj augstākus kļūdu līmeņus, lai ietaupītu enerģiju. Piemēram, varētu samazināt DRAM šūnu atsvaidzes intensitāti, ietaupot enerģiju, riskējot ar dažu bitu apvēršanos. Atmiņā saglabātā attēla gadījumā daži apgriezti biti var izpausties kā nemanāms "dzirksteļu" troksnis.

Programmatūras līmeņa aproksimācijas

Šīs metodes bieži var ieviest bez īpašas aparatūras, padarot tās pieejamas plašākam izstrādātāju lokam.

• Ciklu perforācija: Daudzos algoritmos visvairāk laika aizņem cikls, kas tiek izpildīts miljoniem vai miljardiem reižu. Ciklu perforācija sistemātiski izlaiž noteiktu skaitu šo iterāciju. Piemēram, tā vietā, lai apstrādātu katru atsevišķo pikseli attēla filtrā, algoritms varētu apstrādāt katru otro pikseli un interpolēt rezultātus. Tas var gandrīz uz pusi samazināt izpildes laiku ar minimālu ietekmi uz vizuālo kvalitāti.
• Precizitātes mērogošana (kvantēšana): Mūsdienu datori bieži pēc noklusējuma izmanto 64 bitu (dubultas precizitātes) vai 32 bitu (vienkāršas precizitātes) peldošā punkta skaitļus. Tomēr daudzām lietojumprogrammām nav nepieciešams šāds precizitātes līmenis. Izmantojot mazākus datu tipus, piemēram, 16 bitu pusprecizitātes peldošā punkta skaitļus vai pat 8 bitu veselus skaitļus, mēs varam ievērojami samazināt atmiņas nospiedumu, samazināt atmiņas joslas platuma prasības un nodrošināt ātrākus aprēķinus specializētā aparatūrā (piemēram, GPU un MI paātrinātājos).
• Uzdevumu izlaišana: Reāllaika sistēmās dažreiz ir labāk atmest uzdevumu, nekā aizkavēt visu. Iedomājieties pašbraucošas automašīnas uztveres sistēmu. Ja viena sensora kadra apstrāde aizņem pārāk ilgu laiku un ir pienācis jauns, svarīgāks kadrs, labāk ir izlaist veco un strādāt ar pašreizējiem datiem, lai saglabātu reāllaika reakciju.
• Memoizācija ar aproksimāciju: Memoizācija ir klasiska optimizācijas tehnika, kurā dārgu funkciju izsaukumu rezultāti tiek kešoti. Aptuvenā memoizācija to paplašina, ļaujot "pietiekami tuvinātam" ievaddatam izgūt kešoto rezultātu. Piemēram, ja tiek pieprasīts `f(2.001)` un `f(2.0)` jau ir kešatmiņā, sistēma var atgriezt saglabāto rezultātu, ietaupot dārgu pārrēķinu.

Reālās pasaules pielietojumi: Kur nepilnība spīd

Aptuvenās skaitļošanas teorētiskās priekšrocības kļūst taustāmas, ja tās tiek pielietotas reālās pasaules problēmām. Tas nav futūristisks koncepts; to jau izmanto lielākās tehnoloģiju kompānijas visā pasaulē.

Mašīnmācīšanās un MI

Šis, iespējams, ir galvenais aptuvenās skaitļošanas pielietojums. Lielu neironu tīklu apmācība un darbināšana ir neticami resursietilpīga. Tādas kompānijas kā Google (ar savām Tensor Processing Units jeb TPU) un NVIDIA (ar Tensor Cores savos GPU) ir izveidojušas specializētu aparatūru, kas izceļas ar zemas precizitātes matricu reizināšanu. Tās ir pierādījušas, ka samazinātas precizitātes formātu, piemēram, Bfloat16 vai INT8, izmantošana var dramatiski paātrināt apmācību un secinājumu izdarīšanu ar nelielu vai nekādu modeļa precizitātes zudumu, tādējādi veicinot MI revolūciju, ko mēs redzam šodien.

Multivides apstrāde

Katru reizi, kad straumējat video YouTube vai Netflix, jūs gūstat labumu no principiem, kas saistīti ar aproksimāciju. Video kodeki (piemēram, H.264 vai AV1) pamatā ir "zudumradoši". Tie atmet vizuālo informāciju, ko cilvēka acs, visticamāk, nepamanīs, lai sasniegtu neticamus kompresijas koeficientus. Aptuvenā skaitļošana to var virzīt tālāk, nodrošinot reāllaika video renderēšanu un efektus mazjaudas mobilajās ierīcēs, aprēķinot krāsas vai apgaismojumu ar pietiekamu precizitāti, lai izskatītos reālistiski.

Lielo datu analīze un zinātniskā skaitļošana

Meklējot konkrētu gēnu sekvenci milzīgā genomu datubāzē vai analizējot petabaitiem lielu sensoru datu apjomu no daļiņu paātrinātāja, aproksimācija var būt nenovērtējama. Algoritmus var izstrādāt tā, lai veiktu sākotnēju, ātru "aptuveno meklēšanu", lai ātri identificētu daudzsološus reģionus, kurus pēc tam var analizēt ar pilnu precizitāti. Šī hierarhiskā pieeja ietaupa milzīgu laika daudzumu.

Lietu internets (IoT) un malas ierīces

Ar baterijām darbināmam vides sensoram ilgmūžība ir viss. Ierīces mērķis ir ziņot par apkārtējās vides temperatūru. Vai ir svarīgi, vai tas ziņo 22.5°C vai 22.51°C? Pilnīgi nē. Izmantojot aptuvenās shēmas un agresīvas enerģijas taupīšanas metodes, šī sensora akumulatora darbības laiku var pagarināt no mēnešiem līdz gadiem, kas ir izšķiroši, lai izvietotu masīvus, mazapkopes sensoru tīklus viedajām pilsētām, lauksaimniecībai un vides monitoringam.

Aptuvenās skaitļošanas izaicinājumi un robežas

Lai gan solījums ir milzīgs, ceļš uz plašu ieviešanu nav bez būtiskiem šķēršļiem. Šī ir aktīva un aizraujoša pētniecības joma gan akadēmiskajās aprindās, gan industrijā.

• Kvalitātes kontrole un kļūdu ierobežošana: Lielākais izaicinājums ir aproksimācijas pārvaldība. Kā mēs varam garantēt, ka kļūda nepārsniegs pieņemamu slieksni? Mums ir nepieciešamas robustas metodes, lai analizētu un ierobežotu kļūdu, nodrošinot, ka neliela, kontrolēta aproksimācija nekaskadējas un neizplatās pa sistēmu, izraisot katastrofālu neveiksmi. Pašbraucoša automašīna, kas pārmērīgas aproksimācijas dēļ nepareizi klasificē stop zīmi, ir nepieņemams rezultāts.
• Programmētāju un rīku atbalsta trūkums: Pašreizējā programmēšanas ekosistēma ir veidota precizitātei. Izstrādātājiem trūkst valodu, kompilatoru un atkļūdotāju, lai viegli norādītu "aproksimējamību". Mums ir nepieciešami rīki, kas ļauj programmētājam vienkārši atzīmēt funkciju vai datu struktūru kā "aptuvenu" un ļaut kompilatoram un izpildlaika sistēmai automātiski pārvaldīt kompromisus.
• Atkļūdošana un verifikācija: Kā atkļūdot programmu, kas ir izstrādāta, lai radītu mainīgus vai nedaudz nepareizus rezultātus? Tradicionālā atkļūdošana balstās uz reproducējamu, deterministisku uzvedību. Aptuveno programmu atkļūdošana prasa fundamentālu domāšanas maiņu, koncentrējoties uz statistiskajām īpašībām un izvades kvalitātes sadalījumiem, nevis precīzām vērtībām.
• Pārnesamība un paredzamība: Aptuvena programma var radīt augstas kvalitātes rezultātu uz viena veida aparatūras, bet nepieņemami sliktu rezultātu uz citas. Paredzama pakalpojuma kvalitātes (QoS) nodrošināšana dažādās platformās ir liels izaicinājums programmatūras izstrādātājiem un sistēmu arhitektiem.

Nākotne ir aptuvena: praktiski ieskati profesionāļiem

Aptuvenā skaitļošana ir paradigmas maiņa, kas ietekmēs profesionāļus visā tehnoloģiju spektrā. Tās principu izpratne kļūst izšķiroša, lai saglabātu konkurētspēju.

Programmatūras izstrādātājiem un datu zinātniekiem:

Sāciet domāt par savām lietojumprogrammām kļūdu noturības kontekstā. Identificējiet moduļus, kur precizitāte ir kritiska (piemēram, finanšu aprēķini, drošība), un tos, kur tā nav (piemēram, lietotāja saskarnes animācijas, statistisko datu apstrāde). Eksperimentējiet ar zemākas precizitātes datu tipiem savos mašīnmācīšanās modeļos. Profilējiet savu kodu, lai atrastu skaitļošanas karstvietas un jautājiet: "Ko darīt, ja šai daļai nebūtu jābūt pilnīgai?"

Aparatūras arhitektiem un mikroshēmu dizaineriem:

Specializētās aparatūras nākotne slēpjas aproksimācijas pieņemšanā. Izstrādājot nākamās paaudzes ASIC vai FPGA mākslīgajam intelektam, signālu apstrādei vai datorredzei, iekļaujiet aptuvenās aritmētiskās vienības. Izpētiet jaunas atmiņas arhitektūras, kas iemaina nelielu, labojamu kļūdu līmeni pret zemāku enerģijas patēriņu un lielāku blīvumu. Lielākie veiktspējas uz vatu ieguvumi nāks no aparatūras un programmatūras kopīgas izstrādes ap aproksimāciju.

Biznesa līderiem un tehnoloģiju stratēģiem:

Atzīstiet, ka "pietiekami laba" skaitļošana ir spēcīga konkurences priekšrocība. Tā var novest pie produktiem, kas ir lētāki ražošanā, ātrāki darbībā un ilgtspējīgāki. Sacensībā par MI dominanci un lietu interneta paplašināšanos, uzņēmumi, kas apgūs precizitātes un efektivitātes kompromisu, būs tie, kas piegādās visinovatīvākos un rentablākos risinājumus globālajam tirgum.

Secinājums: Jaunas "pareizības" definīcijas pieņemšana

Aptuvenā skaitļošana nav par kļūdainu rezultātu pieņemšanu. Tā ir par pareizības pārdefinēšanu lietojumprogrammas kontekstā. Tā ir pragmatiska un inteliģenta atbilde uz skaitļošanas fiziskajiem ierobežojumiem, pārvēršot pašu "kļūdas" jēdzienu no problēmas, kas jānovērš, par resursu, kas jāpārvalda. Apdomīgi upurējot mums nevajadzīgo precizitāti, mēs varam atslēgt veiktspēju un efektivitāti, ko mēs izmisīgi vēlamies.

Virzoties uz ēru, kurā dominē datu ietilpīgas, uz uztveri balstītas lietojumprogrammas, spēja skaitļot "tieši pareizi" būs izsmalcinātas un ilgtspējīgas tehnoloģijas pazīme. Skaitļošanas nākotne daudzējādā ziņā nebūs pilnīgi precīza, bet tā būs neticami gudra.