Mākslīgais intelekts: Dziļāka iedziļināšanās uzvedības kokos

Plašajā un mainīgajā mākslīgā intelekta ainavā izstrādātāji pastāvīgi meklē jaudīgus, mērogojamus un intuitīvus rīkus. Sākot no nespēlētāju varoņiem (NPC), kas apdzīvo mūsu iecienītākās videospēles, līdz autonomiem robotiem, kas šķiro pakas noliktavā, ticamas un efektīvas MI uzvedības radīšana ir milzīgs uzdevums. Lai gan pastāv daudzas tehnikas, viena no tām ir kļuvusi par dominējošu spēku tās elegances un elastības dēļ: uzvedības koks (UK).

Ja esat kādreiz brīnījušies par spēles ienaidnieku, kas inteliģenti meklē patvērumu, koordinējas ar sabiedrotajiem un maina taktiku atkarībā no situācijas, tad, visticamāk, esat redzējuši uzvedības koku darbībā. Šis raksts sniedz visaptverošu ieskatu uzvedības kokos, pārejot no fundamentāliem konceptiem uz progresīvām lietojumprogrammām, un ir paredzēts globālai izstrādātāju, dizaineru un MI entuziastu auditorijai.

Vienkāršāko sistēmu problēma: Kāpēc mums ir vajadzīgi uzvedības koki

Lai novērtētu uzvedības koku inovāciju, ir noderīgi saprast, kas bija pirms tiem. Daudzus gadus vienkāršas MI risinājums bija galīgo stāvokļu mašīna (GSM).

GSM sastāv no stāvokļu kopuma (piemēram, Patrulēšana, Vajāšana, Uzbrukums) un pārejām starp tiem (piemēram, ja "Ienaidnieks Pamanīts", pāreja no Patrulēšana uz Vajāšana). Vienkāršai MI ar dažām atšķirīgām uzvedībām GSM darbojas labi. Tomēr, pieaugot sarežģītībai, tās ātri kļūst nepārvaldāmas.

Mērogojamības problēmas: Jauna stāvokļa, piemēram, "Paslēpties", pievienošana var prasīt pāreju izveidi no katra cita esošā stāvokļa. Tas noved pie tā, ko izstrādātāji sauc par "spageti kodu" — samezglotu savienojumu tīklu, ko ir grūti atkļūdot un paplašināt.
Modularitātes trūkums: Uzvedība ir cieši saistīta ar stāvokļiem. "Atrast Munīciju" loģikas atkārtota izmantošana dažādos scenārijos ir sarežģīta bez koda un loģikas dublēšanas.
Neelastība: GSM vienmēr ir vienā un tikai vienā stāvoklī vienlaicīgi. Tas apgrūtina niansētas vai daudzslāņu uzvedības modelēšanu.

Uzvedības koki tika izstrādāti, lai risinātu šīs problēmas, piedāvājot strukturētāku, modulārāku un mērogojamāku pieeju sarežģītu MI aģentu projektēšanai.

Kas ir uzvedības koks? Hierarhiska pieeja MI

Pēc būtības uzvedības koks ir hierarhisks mezglu koks, kas kontrolē MI aģenta lēmumu pieņemšanas plūsmu. Iedomājieties to kā uzņēmuma organizatorisko shēmu. Augšējais izpilddirektors (Saknes mezgls) neveic katru uzdevumu; tā vietā viņš deleģē uzdevumus vadītājiem (Kompozīcijas mezgliem), kuri savukārt deleģē darbiniekiem, kas veic konkrētus darbus (Lapas mezgliem).

Koks tiek novērtēts no augšas uz leju, sākot no saknes, parasti katrā kadrā vai atjaunināšanas ciklā. Šo procesu sauc par "ķeksīti". "Ķeksīša" signāls izplatās lejup pa koku, aktivizējot mezglus pa noteiktu ceļu, pamatojoties uz noteiktu noteikumu kopumu. Katrs mezgls, pabeidzot savu darbību, atgriež statusu savam vecākam:

VEIKSMĪGS: Uzdevums, ko mezgls attēlo, ir veiksmīgi pabeigts.
NEVEIKSMĪGS: Uzdevumu nevarēja pabeigt.
DARBOJAS: Uzdevums ir procesā un prasa vairāk laika, lai pabeigtu (piemēram, pārvietošanās uz galamērķi).

Vecākais mezgls izmanto šos statusus, lai izlemtu, kuru no saviem bērniem nākamreiz "ķeksīt". Šī nepārtrauktā, no augšas uz leju notiekošā atkārtota novērtēšana padara UK neticami reaģējošus uz mainīgajiem apstākļiem pasaulē.

Uzvedības koka pamatkomponenti

Katrs uzvedības koks ir veidots no dažiem pamata mezglu veidiem. Šo bloku izpratne ir atslēga sistēmas apgūšanā.

1. Lapas mezgli: Darbības un nosacījumi

Lapas mezgli ir koka galapunkti — tie ir faktiskie strādnieki, kas veic uzdevumus vai pārbauda nosacījumus. Viņiem nav bērnu.

Darbības mezgli: Šie mezgli izpilda darbību spēles pasaulē. Ja darbība ir tūlītēja (piemēram, ieroča izšaušana), tā var nekavējoties atgriezt `VEIKSMĪGS`. Ja tas prasa laiku (piemēram, pārvietošanās uz punktu), tas katrā "ķeksītī" atgriezīs `DARBOJAS`, līdz tas ir pabeigts, pēc kā tas atgriež `VEIKSMĪGS`. Piemēri ietver `PārvietotiesPieIenaidnieka()`, `AtskaņotAnimāciju("Uzbrukums")`, `PārlādētIeroci()`.
Nosacījumu mezgli: Šis ir īpašs lapas mezgla veids, kas pārbauda pasaules stāvokli, to nemainot. Tie darbojas kā vārti kokā, atgriežot `VEIKSMĪGS`, ja nosacījums ir patiess, un `NEVEIKSMĪGS`, ja tas ir nepatiess. Piemēri ietver `VaiVeselibaZema?`, `VaiIenaidnieksRedzesLaukā?`, `VaiIrMunīcija?`.

2. Kompozīcijas mezgli: Kontroles plūsma

Kompozīcijas mezgli ir koka vadītāji. Viņiem ir viens vai vairāki bērni, un viņi izmanto noteiktu noteikumu kopumu, lai izlemtu, kuru bērnu izpildīt. Tie nosaka MI loģiku un prioritātes.

Secības mezgls: Bieži attēlots kā bultiņa (→) vai apzīmēts kā "UN". Secība izpilda savus bērnus secībā, no kreisās uz labo. Tā apstājas un atgriež `NEVEIKSMĪGS`, tiklīdz viens no tās bērniem neizdodas. Ja visi bērni izdodas, pati Secība atgriež `VEIKSMĪGS`. To izmanto, lai izveidotu uzdevumu secību, kas jāveic noteiktā kārtībā.
Piemērs: `Pārlādēšanas` secība varētu būt: Secība( `VaiIrMunīcijaInventārā?`, `AtskaņotPārlādēšanasAnimāciju()`, `AtjauninātMunīcijasSkaitu()` ). Ja aģentam inventārā nav munīcijas, pirmais bērns neizdodas, un visa secība tiek nekavējoties pārtraukta.
Selektora mezgls (vai atkrītšanas mezgls): Bieži attēlots kā jautājuma zīme (?) vai apzīmēts kā "VAI". Selektors arī izpilda savus bērnus secībā, no kreisās uz labo. Tomēr tas apstājas un atgriež `VEIKSMĪGS`, tiklīdz viens no tā bērniem izdodas. Ja visi bērni neizdodas, pats Selektors atgriež `NEVEIKSMĪGS`. To izmanto, lai izveidotu atkrītšanas uzvedību vai izvēlētos vienu darbību no iespēju saraksta.
Piemērs: `Kaujas` selektors varētu būt: Selektors( `VeiktTuvcīņasUzbrukumu()`, `VeiktTālvadībasUzbrukumu()`, `Bēgt()` ). MI vispirms mēģinās veikt tuvcīņas uzbrukumu. Ja tas nav iespējams (piemēram, mērķis ir pārāk tālu), tas neizdodas, un Selektors pāriet pie nākamā bērna: tālvadības uzbrukums. Ja arī tas neizdodas (piemēram, nav munīcijas), tas pāriet pie pēdējās iespējas: bēgt.
Paralēlais mezgls: Šis mezgls izpilda visus savus bērnus vienlaicīgi. Tā paša panākumi vai neveiksmes ir atkarīgi no noteiktas politikas. Piemēram, tas varētu atgriezt `VEIKSMĪGS`, tiklīdz viens bērns izdodas, vai tas varētu gaidīt, kamēr visi bērni izdodas. Tas ir noderīgi primārā uzdevuma veikšanai, vienlaikus veicot sekundāru, uzraudzības uzdevumu.
Piemērs: `Patruļas` paralēlais mezgls varētu būt: Paralēls( `PārvietotiesPaPatruļasCeļu()`, `MeklētIenaidniekus()` ). MI iet savu ceļu, vienlaikus pastāvīgi skenējot vidi.

3. Dekoratoru mezgli: Modifikatori

Dekoratoru mezgliem ir tikai viens bērns, un tie tiek izmantoti, lai modificētu šī bērna uzvedību vai rezultātu. Tie pievieno jaudīgu kontroles un loģikas slāni, nepiesārņojot koku.

Invertors: Apgriež sava bērna rezultātu. `VEIKSMĪGS` kļūst par `NEVEIKSMĪGS`, un `NEVEIKSMĪGS` kļūst par `VEIKSMĪGS`. `DARBOJAS` parasti tiek nodots bez izmaiņām. Tas ir ideāli piemērots "ja nav" loģikas veidošanai.
Piemērs: Invertors( `VaiIenaidnieksRedzams?` ) izveidotu nosacījumu, kas izdodas tikai tad, ja ienaidnieks nav redzams.
Atkārtotājs: Izpilda savu bērnu noteiktu reižu skaitu vai bezgalīgi, līdz bērns neizdodas.
Veiksminieks / Neveiksminieks: Vienmēr atgriež attiecīgi `VEIKSMĪGS` vai `NEVEIKSMĪGS`, neatkarīgi no tā, ko atgriež tā bērns. Tas ir noderīgi, lai koka zars būtu neobligāts.
Ierobežotājs / Atdzesēšana: Ierobežo, cik bieži tā bērns var tikt izpildīts. Piemēram, `GranātasMešanas` darbību varētu dekorēt ar ierobežotāju, lai nodrošinātu, ka to var veikt tikai reizi 10 sekundēs.

Visu kopā: Praktisks piemērs

Izveidosim uzvedības koku vienkāršam ienaidnieka karavīra MI pirmās personas šaušanas spēlē. Vēlamā uzvedība ir šāda: karavīra galvenā prioritāte ir uzbrukt spēlētājam, ja viņš ir redzams. Ja spēlētājs nav redzams, karavīram jāpatrulē noteiktā apgabalā. Ja karavīra veselība kaujas laikā kļūst zema, viņam jāmeklē patvērums.

Lūk, kā mēs varētu strukturēt šo loģiku uzvedības kokā (lasiet no augšas uz leju, ar atkāpēm, kas parāda hierarhiju):

Sakne (Selektors)
  |-- Zemas Veselības Bēgšana (Secība)
  |   |-- VaiVeselibaZema? (Nosacījums)
  |   |-- AtrastSegumaPunktu (Darbība) -> atgriež DARBOJAS, kamēr kustas, tad VEIKSMĪGS
  |   `-- Paslēpties (Darbība)
  |
  |-- Iesaistīties Ar Spēlētāju (Secība)
  |   |-- VaiSpēlētājsRedzams? (Nosacījums)
  |   |-- VaiIerocisGatavs? (Nosacījums)
  |   |-- Kaujas Loģika (Selektors)
  |   |   |-- Šaušana Uz Spēlētāju (Secība)
  |   |   |   |-- VaiSpēlētājsRedzesLaukā? (Nosacījums)
  |   |   |   `-- Šaut (Darbība)
  |   |   `-- Pārvietoties Uz Uzbrukuma Pozīciju (Secība)
  |   |       |-- Invertors(VaiSpēlētājsRedzesLaukā?) (Dekorators + Nosacījums)
  |   |       `-- VirzītiesUzSpēlētāju (Darbība)
  |
  `-- Patrulēšana (Secība)
      |-- IegūtNākamoPatruļasPunktu (Darbība)
      `-- PārvietotiesUzPunktu (Darbība)

Kā tas darbojas katrā "ķeksītī":

Saknes Selektors sāk darboties. Tas mēģina savu pirmo bērnu, `Zemas Veselības Bēgšanas` secību.
`Zemas Veselības Bēgšanas` secība vispirms pārbauda `VaiVeselibaZema?`. Ja veselība nav zema, šis nosacījums atgriež `NEVEIKSMĪGS`. Visa secība neizdodas, un kontrole atgriežas saknē.
Saknes Selektors, redzot, ka tā pirmais bērns neizdevās, pāriet pie sava otrā bērna: `Iesaistīties Ar Spēlētāju`.
`Iesaistīties Ar Spēlētāju` secība pārbauda `VaiSpēlētājsRedzams?`. Ja nē, tā neizdodas, un sakne pāriet uz `Patruļas` secību, liekot karavīram mierīgi patrulēt.
Tomēr, ja `VaiSpēlētājsRedzams?` izdodas, secība turpinās. Tā pārbauda `VaiIerocisGatavs?`. Ja tas izdodas, tā pāriet uz `Kaujas Loģikas` selektoru. Šis selektors vispirms mēģinās `Šaut Uz Spēlētāju`. Ja spēlētājs atrodas redzes laukā, tiek izpildīta `Šaut` darbība.
Ja kaujas laikā karavīra veselība samazinās, nākamajā "ķeksītī" pats pirmais nosacījums (`VaiVeselibaZema?`) izdosies. Tas liks izpildīties `Zemas Veselības Bēgšanas` secībai, liekot karavīram atrast un ieņemt patvērumu. Tā kā sakne ir Selektors un tā pirmais bērns tagad izdodas (vai darbojas), tas pat nenovērtēs `Iesaistīties Ar Spēlētāju` vai `Patruļas` zarus. Tādējādi prioritātes tiek dabiski apstrādātas.

Šī struktūra ir tīra, viegli lasāma un, pats galvenais, viegli paplašināma. Vai vēlaties pievienot granātas mešanas uzvedību? Jūs varētu ievietot citu secību `Kaujas Loģikas` selektorā ar augstāku prioritāti nekā šaušana, komplektā ar saviem nosacījumiem (piemēram, `VaiSpēlētājsIrSegumā?`, `VaiIrGranāta?`).

Uzvedības koki pret galīgo stāvokļu mašīnām: Skaidrs uzvarētājs sarežģītībai

Formalizēsim salīdzinājumu:

Iezīme	Uzvedības koki (UK)	Galīgo stāvokļu mašīnas (GSM)
Modularitāte	Īpaši augsta. Apakškoki (piemēram, "Atrast Veselības Paketi" secība) var tikt izveidoti vienreiz un atkārtoti izmantoti daudzās dažādās MI vai dažādās viena koka daļās.	Zema. Loģika ir iestrādāta stāvokļos un pārejās. Uzvedības atkārtota izmantošana bieži nozīmē stāvokļu un to savienojumu dublēšanu.
Mērogojamība	Teicama. Jaunu uzvedību pievienošana ir tikpat vienkārša kā jauna zara ievietošana kokā. Ietekme uz pārējo loģiku ir lokalizēta.	Slikta. Pievienojot stāvokļus, potenciālo pāreju skaits var pieaugt eksponenciāli, radot "stāvokļu eksploziju".
Reaktivitāte	Pēc būtības reaktīvi. Koks tiek atkārtoti novērtēts no saknes katrā "ķeksītī", ļaujot nekavējoties reaģēt uz pasaules pārmaiņām, pamatojoties uz noteiktām prioritātēm.	Mazāk reaktīvi. Aģents ir "iesprūdis" savā pašreizējā stāvoklī, līdz tiek aktivizēta specifiska, iepriekš definēta pāreja. Tas pastāvīgi nepārvērtē savu kopējo mērķi.
Lasāmība	Augsta, īpaši ar vizuālajiem redaktoriem. Hierarhiskā struktūra skaidri parāda prioritātes un loģikas plūsmu, padarot to saprotamu pat ne-programmētājiem, piemēram, spēļu dizaineriem.	Kļūst zema, palielinoties sarežģītībai. Sarežģītas GSM vizuālais grafiks var izskatīties kā šķīvis ar spageti.

Pielietojumi ārpus spēlēm: Robotika un simulācija

Lai gan uzvedības koki ieguva popularitāti spēļu industrijā, to lietderība sniedzas daudz tālāk. Jebkura sistēma, kas prasa autonomu, uz uzdevumiem orientētu lēmumu pieņemšanu, ir galvenā kandidāte UK izmantošanai.

Robotika: Noliktavas robota visu darba dienu var modelēt ar UK. Sakne varētu būt selektors priekš `IzpildītPasūtījumu` vai `UzlādētBateriju`. `IzpildītPasūtījumu` secība ietvertu bērnus, piemēram, `NavigētUzPlauktu`, `IdentificētVienumu`, `PaņemtVienumu` un `PiegādātUzPiegādi`. Nosacījumi, piemēram, `VaiBaterijaZema?`, kontrolētu augsta līmeņa pārejas.
Autonomās sistēmas: Bezpilota lidaparāti (BLA) vai roveri izpētes misijās var izmantot UK, lai pārvaldītu sarežģītus misijas plānus. Secība varētu ietvert `Pacelties`, `LidotUzCeļapunktu`, `SkenētApvidu` un `AtgrieztiesBāzē`. Selektors varētu apstrādāt avārijas atkritumus, piemēram, `ŠķērslisKonstatēts` vai `ZudisGPS`.
Simulācija un apmācība: Militārajos vai industriālajos simulatoros UK var vadīt simulēto entītiju (cilvēku, transportlīdzekļu) uzvedību, lai radītu reālistiskas un izaicinošas apmācību vides.

Izaicinājumi un labākā prakse

Neskatoties uz to jaudu, uzvedības kokiem ir savi izaicinājumi.

Atkļūdošana: Izsekošana, kāpēc MI pieņēma noteiktu lēmumu, var būt sarežģīta lielā kokā. Vizuālie atkļūdošanas rīki, kas parāda katra mezgla tiešraides statusu (`VEIKSMĪGS`, `NEVEIKSMĪGS`, `DARBOJAS`), kamēr koks tiek izpildīts, ir gandrīz nepieciešami sarežģītiem projektiem.
Datu komunikācija: Kā mezgli apmainās ar informāciju? Kopīgs risinājums ir kopīgs datu konteksts, ko sauc par Tāfeli (Blackboard). `VaiIenaidnieksRedzams?` nosacījums varētu nolasīt spēlētāja atrašanās vietu no Tāfeles, savukārt `NoteiktIenaidnieku` darbība ierakstītu atrašanās vietu tajā.
Veiktspēja: Ļoti liela, dziļa koka "ķeksīšana" katrā kadrā var būt computationally dārga. Optimizācijas, piemēram, ar notikumiem vadīti UK (kur koks darbojas tikai tad, kad notiek atbilstošs notikums), var to mazināt, taču tas palielina sarežģītību.

Labākā prakse:

Glabājiet to seklu: Dodiet priekšroku platākiem kokiem, nevis dziļākiem. Dziļi ligzdotu loģiku var būt grūti izsekot.
Pieņemiet modularitāti: Izveidojiet mazus, atkārtoti izmantojamus apakškokus biežiem uzdevumiem, piemēram, navigācijai vai inventāra pārvaldībai.
Izmantojiet Tāfeli: Atkārtojiet sava koka loģiku no aģenta datiem, izmantojot Tāfeli visai stāvokļa informācijai.
Izmantojiet vizuālos redaktorus: Rīki, piemēram, tie, kas iebūvēti Unreal Engine, vai līdzekļi, piemēram, Behavior Designer Unity, ir nenovērtējami. Tie ļauj ātri veidot prototipus, viegli vizualizēt un uzlabot sadarbību starp programmētājiem un dizaineriem.

Nākotne: Uzvedības koki un mašīnmācība

Uzvedības koki nav konkurencē ar mūsdienu mašīnmācīšanās (MM) metodēm; tie ir papildinoši. Hibrīda pieeja bieži ir visspēcīgākais risinājums.

MM lapas mezgliem: UK var apstrādāt augsta līmeņa stratēģiju (piemēram, `IzlemtUzbrukt` vai `IzlemtAizsargāties`), savukārt apmācīts neironu tīkls var izpildīt zema līmeņa darbību (piemēram, `TēmētUnŠaut` darbības mezgls, kas izmanto MM precīzai, cilvēka cienīgai tēmēšanai).
MM parametru regulēšanai: Pastiprinājuma mācīšanos varētu izmantot, lai optimizētu parametrus UK, piemēram, speciālās spējas atdzišanas laiku vai veselības slieksni atkāpšanās gadījumā.

Šis hibrīda modelis apvieno uzvedības koka paredzamo, kontrolējamo un dizaineriem draudzīgo struktūru ar mašīnmācīšanās niansēto, adaptīvo spēku.

Secinājums: Būtisks rīks mūsdienu MI

Uzvedības koki ir nozīmīgs solis uz priekšu no galīgo stāvokļu mašīnu stingrajiem ierobežojumiem. Nodrošinot modulāru, mērogojamu un ļoti lasāmu lēmumu pieņemšanas sistēmu, tie ir devuši iespēju izstrādātājiem un dizaineriem radīt dažas no sarežģītākajām un ticamākajām MI uzvedībām, kas redzamas mūsdienu tehnoloģijās. Sākot no viltīgiem ienaidniekiem grāvēja spēlē līdz efektīviem robotiem futūristiskā rūpnīcā, uzvedības koki nodrošina loģisko mugurkaulu, kas vienkāršu kodu pārvērš inteliģentā darbībā.

Neatkarīgi no tā, vai esat pieredzējis MI programmētājs, spēļu dizainers vai robotikas inženieris, uzvedības koku apgūšana ir ieguldījums fundamentālā prasmē. Tas ir rīks, kas mazina plaisu starp vienkāršu loģiku un sarežģītu inteliģenci, un tā nozīme autonomo sistēmu pasaulē tikai pieaugs.