Učenje s potkrepljenjem: Praktični vodič za implementaciju Q-učenja

Učenje s potkrepljenjem (eng. Reinforcement learning, RL) moćna je paradigma u umjetnoj inteligenciji gdje agent uči donositi odluke u okolini kako bi maksimizirao nagradu. Za razliku od nadziranog učenja, RL ne zahtijeva označene podatke; umjesto toga, agent uči metodom pokušaja i pogreške. Q-učenje je popularan i temeljni algoritam unutar RL područja.

Što je Q-učenje?

Q-učenje je algoritam učenja s potkrepljenjem bez modela i izvan politike (off-policy). Razjasnimo što to znači:

• Bez modela (Model-Free): Ne zahtijeva model okoline. Agent ne treba unaprijed poznavati vjerojatnosti prijelaza ili funkcije nagrađivanja.
• Izvan politike (Off-Policy): Uči optimalnu Q-funkciju bez obzira na radnje agenta. To znači da agent može istraživati okolinu koristeći drugačiju politiku (npr. nasumičnu politiku) dok uči optimalnu politiku.

U svojoj suštini, Q-učenje ima za cilj naučiti Q-funkciju, označenu kao Q(s, a), koja predstavlja očekivanu kumulativnu nagradu za poduzimanje radnje 'a' u stanju 's' i daljnje praćenje optimalne politike. "Q" označava "Kvalitetu" (eng. Quality), ukazujući na kvalitetu poduzimanja određene radnje u određenom stanju.

Jednadžba Q-učenja

Srž Q-učenja leži u pravilu ažuriranja koje iterativno poboljšava Q-funkciju:

Q(s, a) ← Q(s, a) + α [r + γ max_a' Q(s', a') - Q(s, a)]

Gdje:

• Q(s, a) je trenutna Q-vrijednost za stanje 's' i radnju 'a'.
• α (alfa) je stopa učenja (0 < α ≤ 1), koja određuje koliko nove informacije nadjačavaju stare. Vrijednost 0 znači da agent ne uči ništa, dok vrijednost 1 znači da agent uzima u obzir samo najnovije informacije.
• r je trenutna nagrada primljena nakon poduzimanja radnje 'a' u stanju 's'.
• γ (gama) je faktor popusta (0 ≤ γ ≤ 1), koji određuje važnost budućih nagrada. Vrijednost 0 znači da agent uzima u obzir samo trenutne nagrade, dok vrijednost 1 znači da agent sve buduće nagrade smatra jednako važnima.
• s' je sljedeće stanje dosegnuto nakon poduzimanja radnje 'a' u stanju 's'.
• max_a' Q(s', a') je maksimalna Q-vrijednost za sve moguće radnje 'a'' u sljedećem stanju 's''. To predstavlja procjenu agenta o najboljoj mogućoj budućoj nagradi iz tog stanja.

Praktična implementacija Q-učenja

Prođimo kroz Python implementaciju Q-učenja koristeći jednostavan primjer: okruženje mrežnog svijeta (grid world).

Primjer: Mrežni svijet (Grid World)

Zamislite mrežni svijet u kojem se agent može kretati gore, dolje, lijevo ili desno. Cilj agenta je doći do određenog ciljnog stanja izbjegavajući prepreke ili negativne nagrade. Ovo je klasičan problem učenja s potkrepljenjem.

Prvo, definirajmo okolinu. Mrežu ćemo predstaviti kao rječnik gdje su ključevi stanja (predstavljena kao tuple (redak, stupac)), a vrijednosti su moguće radnje i njihove odgovarajuće nagrade.

```python import numpy as np import random # Definiranje okoline environment = { (0, 0): {'right': 0, 'down': 0}, (0, 1): {'left': 0, 'right': 0, 'down': 0}, (0, 2): {'left': 0, 'down': 0, 'right': 10}, # Ciljno stanje (1, 0): {'up': 0, 'down': 0, 'right': 0}, (1, 1): {'up': 0, 'down': 0, 'left': 0, 'right': 0}, (1, 2): {'up': 0, 'left': 0, 'down': -5}, # Stanje s kaznom (2, 0): {'up': 0, 'right': 0}, (2, 1): {'up': 0, 'left': 0, 'right': 0}, (2, 2): {'up': -5, 'left': 0} } # Moguće radnje actions = ['up', 'down', 'left', 'right'] # Funkcija za dobivanje mogućih radnji u danom stanju def get_possible_actions(state): return list(environment[state].keys()) # Funkcija za dobivanje nagrade za dano stanje i radnju def get_reward(state, action): if action in environment[state]: return environment[state][action] else: return -10 # Velika negativna nagrada za nevažeće radnje # Funkcija za određivanje sljedećeg stanja s obzirom na trenutno stanje i radnju def get_next_state(state, action): row, col = state if action == 'up': next_state = (row - 1, col) elif action == 'down': next_state = (row + 1, col) elif action == 'left': next_state = (row, col - 1) elif action == 'right': next_state = (row, col + 1) else: return state # Obrada nevažećih radnji if next_state in environment: return next_state else: return state # Ostajanje u istom stanju za kretanje izvan granica # Inicijalizacija Q-tablice q_table = {} for state in environment: q_table[state] = {action: 0 for action in actions} # Parametri Q-učenja alpha = 0.1 # Stopa učenja gamma = 0.9 # Faktor popusta epsilon = 0.1 # Stopa istraživanja num_episodes = 1000 # Algoritam Q-učenja for episode in range(num_episodes): # Početak u nasumičnom stanju state = random.choice(list(environment.keys())) done = False while not done: # Epsilon-pohlepni odabir radnje if random.uniform(0, 1) < epsilon: # Istraživanje: odabir nasumične radnje action = random.choice(get_possible_actions(state)) else: # Iskorištavanje: odabir radnje s najvišom Q-vrijednošću action = max(q_table[state], key=q_table[state].get) # Poduzimanje radnje i promatranje nagrade i sljedećeg stanja next_state = get_next_state(state, action) reward = get_reward(state, action) # Ažuriranje Q-vrijednosti best_next_q = max(q_table[next_state].values()) q_table[state][action] += alpha * (reward + gamma * best_next_q - q_table[state][action]) # Ažuriranje stanja state = next_state # Provjera je li cilj dosegnut if state == (0, 2): # Ciljno stanje done = True # Ispis Q-tablice (opcionalno) # for state, action_values in q_table.items(): # print(f"State: {state}, Q-values: {action_values}") # Testiranje naučene politike start_state = (0, 0) current_state = start_state path = [start_state] print("Testiranje naučene politike iz (0,0):") while current_state != (0, 2): action = max(q_table[current_state], key=q_table[current_state].get) current_state = get_next_state(current_state, action) path.append(current_state) print("Prijeđeni put:", path) ```

Objašnjenje:

• Definicija okoline: Rječnik `environment` definira mrežni svijet, navodeći moguće radnje i nagrade za svako stanje. Na primjer, `environment[(0, 0)] = {'right': 0, 'down': 0}` znači da se iz stanja (0, 0) agent može kretati desno ili dolje, pri čemu obje radnje donose nagradu 0.
• Radnje: Lista `actions` definira moguće radnje koje agent može poduzeti.
• Inicijalizacija Q-tablice: Rječnik `q_table` pohranjuje Q-vrijednosti za svaki par stanje-radnja. Inicijaliziran je s svim Q-vrijednostima postavljenim na 0.
• Parametri Q-učenja: `alpha`, `gamma` i `epsilon` kontroliraju proces učenja.
• Algoritam Q-učenja: Glavna petlja iterira kroz epizode. U svakoj epizodi, agent započinje u nasumičnom stanju i nastavlja dok ne dosegne ciljno stanje.
• Epsilon-pohlepni odabir radnje: Ova strategija uravnotežuje istraživanje i iskorištavanje. S vjerojatnošću `epsilon`, agent istražuje odabirom nasumične radnje. Inače, iskorištava odabirom radnje s najvišom Q-vrijednošću.
• Ažuriranje Q-vrijednosti: Srž algoritma ažurira Q-vrijednost na temelju jednadžbe Q-učenja.
• Testiranje politike: Nakon treniranja, kod testira naučenu politiku počevši od zadanog stanja i prateći radnje s najvišim Q-vrijednostima dok se ne dosegne cilj.

Ključna razmatranja za implementaciju

• Istraživanje naspram iskorištavanja: Parametar `epsilon` kontrolira ravnotežu između istraživanja (isprobavanja novih radnji) i iskorištavanja (korištenja naučenog znanja). Viši `epsilon` potiče više istraživanja, što može pomoći agentu da otkrije bolje politike, ali također može usporiti učenje.
• Stopa učenja (α): Stopa učenja određuje koliko nove informacije nadjačavaju stare. Viša stopa učenja može dovesti do bržeg učenja, ali također može uzrokovati oscilacije ili divergenciju Q-vrijednosti.
• Faktor popusta (γ): Faktor popusta određuje važnost budućih nagrada. Viši faktor popusta čini agenta usmjerenijim na budućnost i spremnijim žrtvovati trenutne nagrade za veće buduće nagrade.
• Oblikovanje nagrada: Pažljivo dizajniranje funkcije nagrađivanja ključno je za učinkovito učenje. Pružanje pozitivnih nagrada za poželjne radnje i negativnih nagrada za nepoželjne radnje može usmjeriti agenta prema optimalnoj politici.
• Reprezentacija stanja: Način na koji predstavljate prostor stanja može značajno utjecati na performanse Q-učenja. Odabir reprezentacije koja obuhvaća relevantne informacije o okolini je ključan.

Napredne tehnike Q-učenja

Iako je osnovni algoritam Q-učenja moćan, nekoliko naprednih tehnika može poboljšati njegove performanse i primjenjivost na složenije probleme.

1. Duboke Q-mreže (DQN)

Za okoline s velikim ili kontinuiranim prostorima stanja, predstavljanje Q-tablice postaje nepraktično. Duboke Q-mreže (DQN) rješavaju taj problem korištenjem duboke neuronske mreže za aproksimaciju Q-funkcije. Mreža prima stanje kao ulaz i daje Q-vrijednosti za svaku radnju kao izlaz.

Prednosti:

• Rukuje visokodimenzionalnim prostorima stanja.
• Može generalizirati na neviđena stanja.

Izazovi:

• Zahtijeva značajne računalne resurse za treniranje.
• Može biti osjetljiv na podešavanje hiperparametara.

DQN-ovi su uspješno primijenjeni u različitim domenama, uključujući igranje Atari igara, robotiku i autonomnu vožnju. Na primjer, DQN tvrtke Google DeepMind slavno je nadmašio ljudske stručnjake u nekoliko Atari igara.

2. Dvostruko Q-učenje (Double Q-Learning)

Standardno Q-učenje može precijeniti Q-vrijednosti, što dovodi do suboptimalnih politika. Dvostruko Q-učenje rješava taj problem korištenjem dvije neovisne Q-funkcije za razdvajanje odabira radnje i evaluacije. Jedna Q-funkcija se koristi za odabir najbolje radnje, dok se druga koristi za procjenu Q-vrijednosti te radnje.

Prednosti:

• Smanjuje pristranost precjenjivanja.
• Vodi do stabilnijeg i pouzdanijeg učenja.

Izazovi:

• Zahtijeva više memorije za pohranu dvije Q-funkcije.
• Dodaje složenost pravilu ažuriranja.

3. Prioritetno ponavljanje iskustva (Prioritized Experience Replay)

Ponavljanje iskustva je tehnika koja se koristi u DQN-ovima za poboljšanje učinkovitosti uzorkovanja pohranjivanjem prošlih iskustava (stanje, radnja, nagrada, sljedeće stanje) u međuspremnik (replay buffer) i njihovim nasumičnim uzorkovanjem tijekom treniranja. Prioritetno ponavljanje iskustva to poboljšava češćim uzorkovanjem iskustava s višom TD-pogreškom (temporal difference error), fokusirajući učenje na najinformativnija iskustva.

Prednosti:

• Poboljšava učinkovitost uzorkovanja.
• Ubrzava učenje.

Izazovi:

• Zahtijeva dodatnu memoriju za pohranu prioriteta.
• Može dovesti do prekomjernog prilagođavanja (overfitting) ako se ne implementira pažljivo.

4. Strategije istraživanja

Epsilon-pohlepna strategija je jednostavna, ali učinkovita strategija istraživanja. Međutim, sofisticiranije strategije istraživanja mogu dodatno poboljšati učenje. Primjeri uključuju:

• Boltzmannovo istraživanje (Softmax odabir radnje): Bira radnje na temelju distribucije vjerojatnosti izvedene iz Q-vrijednosti.
• Gornja granica pouzdanosti (UCB): Uravnotežuje istraživanje i iskorištavanje uzimajući u obzir i procijenjenu vrijednost radnje i nesigurnost povezanu s tom procjenom.
• Thompsonovo uzorkovanje: Održava distribuciju vjerojatnosti nad Q-vrijednostima i uzorkuje radnje na temelju tih distribucija.

Primjene Q-učenja u stvarnom svijetu

Q-učenje je pronašlo primjenu u širokom rasponu domena, uključujući:

• Igranje igara: Treniranje UI agenata za igranje igara poput šaha, Goa i videoigara. AlphaZero, na primjer, koristi učenje s potkrepljenjem za savladavanje šaha, Goa i Shogija bez ljudskog znanja, nadmašujući čak i svjetske prvake.
• Robotika: Upravljanje robotima za obavljanje zadataka poput navigacije, manipulacije i sastavljanja. Na primjer, roboti mogu naučiti podizati i postavljati objekte u proizvodnom okruženju koristeći Q-učenje.
• Upravljanje resursima: Optimizacija alokacije resursa u područjima poput upravljanja energijom, telekomunikacija i kontrole prometa. Q-učenje se može koristiti za dinamičko prilagođavanje potrošnje energije u pametnim mrežama na temelju potražnje u stvarnom vremenu.
• Financije: Razvoj strategija trgovanja i tehnika upravljanja portfeljem. Algoritamski sustavi za trgovanje mogu iskoristiti Q-učenje za donošenje optimalnih odluka o trgovanju na temelju tržišnih uvjeta.
• Zdravstvo: Optimizacija planova liječenja i doza lijekova. Q-učenje se može koristiti za personalizaciju planova liječenja za pacijente na temelju njihovih individualnih karakteristika i odgovora na liječenje.

Globalni primjeri

• Autonomna vozila (Globalno): Tvrtke diljem svijeta, uključujući Waymo (SAD), Teslu (SAD) i Baidu (Kina), koriste učenje s potkrepljenjem, uključujući varijacije Q-učenja, za razvoj sustava autonomne vožnje. Ovi sustavi uče kretati se u složenim uvjetima na cesti, izbjegavati prepreke i donositi sigurne odluke u vožnji.
• Pametne mreže (Europa i SAD): Energetske tvrtke u Europi i Sjedinjenim Državama implementiraju sustave temeljene na Q-učenju kako bi optimizirale distribuciju energije i smanjile gubitke. Ovi sustavi uče predviđati potražnju za energijom i prilagođavati opskrbu u skladu s tim.
• Robotika u proizvodnji (Azija): Proizvodne tvrtke u Aziji, posebice u Japanu i Južnoj Koreji, koriste Q-učenje za automatizaciju robotskih zadataka na proizvodnim linijama. Ovi roboti uče izvoditi složene operacije sastavljanja s visokom preciznošću i učinkovitošću.
• Personalizirana medicina (Globalno): Istraživačke institucije diljem svijeta istražuju upotrebu Q-učenja za personalizaciju planova liječenja za različite bolesti. To uključuje optimizaciju doza lijekova, raspoređivanje terapija i predviđanje ishoda za pacijente.

Ograničenja Q-učenja

Unatoč svojim snagama, Q-učenje ima neka ograničenja:

• Prokletstvo dimenzionalnosti: Q-učenje ima problema s velikim prostorima stanja, jer Q-tablica raste eksponencijalno s brojem stanja i radnji.
• Konvergencija: Q-učenje jamči konvergenciju prema optimalnoj Q-funkciji samo pod određenim uvjetima, kao što su determinističko okruženje i dovoljno istraživanja.
• Kompromis između istraživanja i iskorištavanja: Uravnoteženje istraživanja i iskorištavanja je izazovan problem. Nedovoljno istraživanja može dovesti do suboptimalnih politika, dok prekomjerno istraživanje može usporiti učenje.
• Pristranost precjenjivanja: Standardno Q-učenje može precijeniti Q-vrijednosti, što dovodi do suboptimalnih politika.
• Osjetljivost na hiperparametre: Performanse Q-učenja osjetljive su na odabir hiperparametara, kao što su stopa učenja, faktor popusta i stopa istraživanja.

Zaključak

Q-učenje je temeljni i svestran algoritam učenja s potkrepljenjem s primjenama u različitim domenama. Razumijevanjem njegovih principa, implementacije i ograničenja, možete iskoristiti njegovu moć za rješavanje složenih problema donošenja odluka. Iako naprednije tehnike poput DQN-ova rješavaju neka od ograničenja Q-učenja, temeljni koncepti ostaju ključni za svakoga tko se zanima za učenje s potkrepljenjem. Kako se UI nastavlja razvijati, učenje s potkrepljenjem, a posebno Q-učenje, igrat će sve važniju ulogu u oblikovanju budućnosti automatizacije i inteligentnih sustava.

Ovaj vodič pruža polaznu točku za vaše putovanje u svijet Q-učenja. Istražujte dalje, eksperimentirajte s različitim okruženjima i zaronite u napredne tehnike kako biste otključali puni potencijal ovog moćnog algoritma.