์ต์ ๋จธ์ ๋ฌ๋ ๋ฐ ๋ฅ ๋ฌ๋์ ์ด์์ธ ๊ฒฝ์ฌ ํ๊ฐ๋ฒ ๋ณํ์ ์งํ์ ์ค์ ์ ์ฉ์ ์ดํด๋ณด์ธ์.
์ต์ ํ ๋ง์คํฐํ๊ธฐ: ๊ฒฝ์ฌ ํ๊ฐ๋ฒ ๋ณํ์ ๋ํ ์ฌ์ธต์ ์ธ ๊ณ ์ฐฐ
๋จธ์ ๋ฌ๋ ๋ฐ ๋ฅ ๋ฌ๋ ์์ญ์์ ๋ณต์กํ ๋ชจ๋ธ์ ํจ๊ณผ์ ์ผ๋ก ํ๋ จ์ํค๋ ๋ฅ๋ ฅ์ ๊ฐ๋ ฅํ ์ต์ ํ ์๊ณ ๋ฆฌ์ฆ์ ๋ฌ๋ ค ์์ต๋๋ค. ์ด๋ฌํ ๊ธฐ์ ์ ํต์ฌ์๋ ํจ์์ ์ต์๊ฐ์ ์ฐพ๋ ๊ธฐ๋ณธ์ ์ธ ๋ฐ๋ณต ์ ๊ทผ ๋ฐฉ์์ธ ๊ฒฝ์ฌ ํ๊ฐ๋ฒ์ด ์์ต๋๋ค. ํต์ฌ ๊ฐ๋ ์ ๊ฐ๋จํ์ง๋ง ์ค์ ์ ์ฉ์ ์ข ์ข ํน์ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ณ ํ์ต ํ๋ก์ธ์ค๋ฅผ ๊ฐ์ํํ๋๋ก ์ค๊ณ๋ ์ ๊ตํ ๋ณํ ์ธํธ์ ์ด์ ์ ์ป์ต๋๋ค. ์ด ํฌ๊ด์ ์ธ ๊ฐ์ด๋์์๋ ๊ฐ์ฅ ์ ๋ช ํ ๊ฒฝ์ฌ ํ๊ฐ๋ฒ ๋ณํ์ ์์ธํ ์ดํด๋ณด๊ณ ๊ทธ ๋ฉ์ปค๋์ฆ, ์ฅ์ , ๋จ์ ๋ฐ ๊ธ๋ก๋ฒ ์ ์ฉ ๋ถ์ผ๋ฅผ ์ดํด๋ด ๋๋ค.
๊ธฐ๋ณธ ์ฌํญ: ๊ฒฝ์ฌ ํ๊ฐ๋ฒ ์ดํด
๊ณ ๊ธ ํํ๋ฅผ ๋ถ์ํ๊ธฐ ์ ์ ๊ฒฝ์ฌ ํ๊ฐ๋ฒ์ ๊ธฐ๋ณธ ์ฌํญ์ ํ์ ํ๋ ๊ฒ์ด ์ค์ํฉ๋๋ค. ์๊ฐ๊ฐ ์์ฑํ ์ฐ ์ ์์์ ๊ฐ์ฅ ๋ฎ์ ์ง์ (๊ณ๊ณก)์ ๋๋ฌํ๋ ค๊ณ ํ๋ค๊ณ ์์ํด ๋ณด์ญ์์ค. ์ ์ฒด ํ๊ฒฝ์ ๋ณผ ์ ์๊ณ ์ฃผ๋ณ์ ๊ฒฝ์ฌ๋ฉด๋ง ๋ณผ ์ ์์ต๋๋ค. ๊ฒฝ์ฌ ํ๊ฐ๋ฒ๋ ์ ์ฌํ๊ฒ ์๋ํฉ๋๋ค. ์์ค ํจ์์ ๊ธฐ์ธ๊ธฐ์ ๋ฐ๋ ๋ฐฉํฅ์ผ๋ก ๋ชจ๋ธ์ ๋งค๊ฐ๋ณ์(๊ฐ์ค์น ๋ฐ ํธํฅ)๋ฅผ ๋ฐ๋ณต์ ์ผ๋ก ์กฐ์ ํฉ๋๋ค. ๊ธฐ์ธ๊ธฐ๋ ๊ฐ์ฅ ๊ฐํ๋ฅธ ์์น ๋ฐฉํฅ์ ๋ํ๋ด๋ฏ๋ก ๋ฐ๋ ๋ฐฉํฅ์ผ๋ก ์ด๋ํ๋ฉด ์์ค์ด ์ค์ด๋ญ๋๋ค.
ํ์ค ๊ฒฝ์ฌ ํ๊ฐ๋ฒ(๋ฐฐ์น ๊ฒฝ์ฌ ํ๊ฐ๋ฒ์ด๋ผ๊ณ ๋ ํจ)์ ์ ๋ฐ์ดํธ ๊ท์น์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
w = w - learning_rate * โJ(w)
์ฌ๊ธฐ์:
w๋ ๋ชจ๋ธ์ ๋งค๊ฐ๋ณ์๋ฅผ ๋ํ๋ ๋๋ค.learning_rate๋ ์ทจํ๋ ๋จ๊ณ์ ํฌ๊ธฐ๋ฅผ ์ ์ดํ๋ ํ์ดํผํ๋ผ๋ฏธํฐ์ ๋๋ค.โJ(w)๋ ๋งค๊ฐ๋ณ์w์ ๋ํ ์์ค ํจ์J์ ๊ธฐ์ธ๊ธฐ์ ๋๋ค.
๋ฐฐ์น ๊ฒฝ์ฌ ํ๊ฐ๋ฒ์ ์ฃผ์ ํน์ง:
- ์ฅ์ : ๋ณผ๋ก ํจ์์ ๊ฒฝ์ฐ ์ ์ญ ์ต์๊ฐ์ผ๋ก, ๋น๋ณผ๋ก ํจ์์ ๊ฒฝ์ฐ ๋ก์ปฌ ์ต์๊ฐ์ผ๋ก ์๋ ด์ ๋ณด์ฅํฉ๋๋ค. ์์ ์ ์ธ ์๋ ด ๊ฒฝ๋ก๋ฅผ ์ ๊ณตํฉ๋๋ค.
- ๋จ์ : ๊ฐ ๋ฐ๋ณต์์ ์ ์ฒด ํ๋ จ ์ธํธ์ ๋ํ ๊ธฐ์ธ๊ธฐ๋ฅผ ๊ณ์ฐํด์ผ ํ๋ฏ๋ก ํนํ ๋๊ท๋ชจ ๋ฐ์ดํฐ ์ธํธ์ ๊ฒฝ์ฐ ๊ณ์ฐ ๋น์ฉ์ด ๋งค์ฐ ๋ง์ด ๋ค ์ ์์ต๋๋ค. ์ด๋ก ์ธํด ์ต์ ๋ฅ ๋ฌ๋์์ ์์ฃผ ๋ฐ์ํ๋ ๋๊ท๋ชจ ๋ฐ์ดํฐ ์ธํธ์๋ ๋น์ค์ฉ์ ์ ๋๋ค.
ํ์ฅ์ฑ ๋ฌธ์ ํด๊ฒฐ: ํ๋ฅ ์ ๊ฒฝ์ฌ ํ๊ฐ๋ฒ(SGD)
๋ฐฐ์น ๊ฒฝ์ฌ ํ๊ฐ๋ฒ์ ๊ณ์ฐ ๋ถ๋ด์ผ๋ก ์ธํด ํ๋ฅ ์ ๊ฒฝ์ฌ ํ๊ฐ๋ฒ(SGD)์ด ๊ฐ๋ฐ๋์์ต๋๋ค. ์ ์ฒด ๋ฐ์ดํฐ ์ธํธ๋ฅผ ์ฌ์ฉํ๋ ๋์ SGD๋ ๊ฐ ๋จ๊ณ์์ ๋ฌด์์๋ก ์ ํ๋ ๋จ์ผ ํ๋ จ ์์ ์์ ๊ณ์ฐ๋ ๊ธฐ์ธ๊ธฐ๋ฅผ ์ฌ์ฉํ์ฌ ๋งค๊ฐ๋ณ์๋ฅผ ์ ๋ฐ์ดํธํฉ๋๋ค.
SGD์ ์ ๋ฐ์ดํธ ๊ท์น์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
w = w - learning_rate * โJ(w; x^(i); y^(i))
์ฌ๊ธฐ์ (x^(i), y^(i))๋ ๋จ์ผ ํ๋ จ ์์ ์
๋๋ค.
SGD์ ์ฃผ์ ํน์ง:
- ์ฅ์ : ํนํ ๋๊ท๋ชจ ๋ฐ์ดํฐ ์ธํธ์ ๊ฒฝ์ฐ ๋ฐฐ์น ๊ฒฝ์ฌ ํ๊ฐ๋ฒ๋ณด๋ค ํจ์ฌ ๋น ๋ฆ ๋๋ค. ๊ฐ๋ณ ์์ ๋ฅผ ์ฌ์ฉํ์ฌ ๋ฐ์ํ๋ ๋ ธ์ด์ฆ๋ ์์ ๋ก์ปฌ ์ต์๊ฐ์ ๋ฒ์ด๋๋ ๋ฐ ๋์์ด ๋ ์ ์์ต๋๋ค.
- ๋จ์ : ์ ๋ฐ์ดํธ๊ฐ ํจ์ฌ ๋ ์๋๋ฌ์์ ธ์ ๋ ๋ถ๊ท์นํ ์๋ ด ๊ฒฝ๋ก๊ฐ ๋ฐ์ํฉ๋๋ค. ํ์ต ํ๋ก์ธ์ค๋ ์ต์๊ฐ ์ฃผ๋ณ์์ ์ง๋ํ ์ ์์ต๋๋ค. ์ด๋ฌํ ์ง๋์ผ๋ก ์ธํด ์ ํํ ์ต์๊ฐ์ผ๋ก ์๋ ดํ์ง ๋ชปํ ์ ์์ต๋๋ค.
๊ธ๋ก๋ฒ ์ ์ฉ ์ฌ๋ก: ๋์ ์๋ฌธ์ ๋ํ ๋ชจ๋ฐ์ผ ์ ํ๋ฆฌ์ผ์ด์ ์ ๊ฐ๋ฐํ๋ ๋์ด๋ก๋น์ ์คํํธ์ ์ SGD๋ฅผ ์ฌ์ฉํ์ฌ ์ฌ์ฉ์๊ฐ ์ ๋ก๋ํ ์ฌ์ง์์ ์๋ฌผ ์ง๋ณ์ ์๋ณํ๋ ๋ณต์กํ ์ด๋ฏธ์ง ์ธ์ ๋ชจ๋ธ์ ํ๋ จํ ์ ์์ต๋๋ค. ์ ์ธ๊ณ ์ฌ์ฉ์๊ฐ ์บก์ฒํ ๋๋์ ์ด๋ฏธ์ง๋ SGD์ ๊ฐ์ ํ์ฅ ๊ฐ๋ฅํ ์ต์ ํ ์ ๊ทผ ๋ฐฉ์์ด ํ์ํฉ๋๋ค.
์ ์ถฉ์: ๋ฏธ๋ ๋ฐฐ์น ๊ฒฝ์ฌ ํ๊ฐ๋ฒ
๋ฏธ๋ ๋ฐฐ์น ๊ฒฝ์ฌ ํ๊ฐ๋ฒ์ ๋ฐฐ์น ๊ฒฝ์ฌ ํ๊ฐ๋ฒ๊ณผ SGD ์ฌ์ด์ ๊ท ํ์ ์ด๋ฃน๋๋ค. ๋ฏธ๋ ๋ฐฐ์น๋ผ๊ณ ํ๋ ํ๋ จ ๋ฐ์ดํฐ์ ์์ ๋ฌด์์ ํ์ ์งํฉ์์ ๊ณ์ฐ๋ ๊ธฐ์ธ๊ธฐ๋ฅผ ์ฌ์ฉํ์ฌ ๋งค๊ฐ๋ณ์๋ฅผ ์ ๋ฐ์ดํธํฉ๋๋ค.
๋ฏธ๋ ๋ฐฐ์น ๊ฒฝ์ฌ ํ๊ฐ๋ฒ์ ์ ๋ฐ์ดํธ ๊ท์น์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
w = w - learning_rate * โJ(w; x^(i:i+m); y^(i:i+m))
์ฌ๊ธฐ์ x^(i:i+m) ๋ฐ y^(i:i+m)์ ํฌ๊ธฐ m์ ๋ฏธ๋ ๋ฐฐ์น๋ฅผ ๋ํ๋
๋๋ค.
๋ฏธ๋ ๋ฐฐ์น ๊ฒฝ์ฌ ํ๊ฐ๋ฒ์ ์ฃผ์ ํน์ง:
- ์ฅ์ : ๊ณ์ฐ ํจ์จ์ฑ๊ณผ ์๋ ด ์์ ์ฑ ์ฌ์ด์ ์ข์ ์ ์ถฉ์์ ์ ๊ณตํฉ๋๋ค. SGD์ ๋นํด ์ ๋ฐ์ดํธ์ ๋ถ์ฐ์ ์ค์ฌ ๋ ๋ถ๋๋ฌ์ด ์๋ ด์ ์ ๋ํฉ๋๋ค. ๋ณ๋ ฌ ์ฒ๋ฆฌ๊ฐ ๊ฐ๋ฅํ์ฌ ๊ณ์ฐ ์๋๋ฅผ ๋์ ๋๋ค.
- ๋จ์ : ์ถ๊ฐ ํ์ดํผํ๋ผ๋ฏธํฐ์ธ ๋ฏธ๋ ๋ฐฐ์น ํฌ๊ธฐ๋ฅผ ๋์ ํฉ๋๋ค.
๊ธ๋ก๋ฒ ์ ์ฉ ์ฌ๋ก: ์ํ์ธ๋ฃจ, ์์ธ, ์คํกํ๋ฆ๊ณผ ๊ฐ์ ๋ค์ํ ์์ฅ์์ ์ด์๋๋ ๊ธ๋ก๋ฒ ์ ์ ์๊ฑฐ๋ ํ๋ซํผ์ ๋ฏธ๋ ๋ฐฐ์น ๊ฒฝ์ฌ ํ๊ฐ๋ฒ์ ์ฌ์ฉํ์ฌ ์ถ์ฒ ์์ง์ ํ๋ จํ ์ ์์ต๋๋ค. ์์ ์ ์ธ ์๋ ด์ ์ ์งํ๋ฉด์ ์๋ฐฑ๋ง ๊ฑด์ ๊ณ ๊ฐ ์ํธ ์์ฉ์ ํจ์จ์ ์ผ๋ก ์ฒ๋ฆฌํ๋ ๊ฒ์ ๋ค์ํ ๋ฌธํ์ ์ ํธ๋์ ๊ฑธ์ณ ๊ฐ์ธํ๋ ์ ์์ ์ ๊ณตํ๋ ๋ฐ ์ค์ํฉ๋๋ค.
์๋ ด ๊ฐ์ํ: ๋ชจ๋ฉํ
์ต์ ํ์ ์ฃผ์ ๊ณผ์ ์ค ํ๋๋ ๊ณจ์ง๊ธฐ(ํ๋ฉด์ด ํ ์ฐจ์์์ ๋ค๋ฅธ ์ฐจ์๋ณด๋ค ํจ์ฌ ๊ฐํ๋ฅธ ์์ญ)์ ๊ณ ์์ ํ์ํ๋ ๊ฒ์ ๋๋ค. ๋ชจ๋ฉํ ์ ๊ณผ๊ฑฐ ๊ธฐ์ธ๊ธฐ๋ฅผ ์ถ์ ํ๋ '์๋' ํญ์ ๋์ ํ์ฌ ์ด๋ฅผ ํด๊ฒฐํ๋ ๊ฒ์ ๋ชฉํ๋ก ํฉ๋๋ค. ์ด๋ ํ์ฌ ๊ธฐ์ธ๊ธฐ๊ฐ ์๋๋ผ๋ ์ตํฐ๋ง์ด์ ๊ฐ ๊ฐ์ ๋ฐฉํฅ์ผ๋ก ๊ณ์ ์์ง์ด๋ ๋ฐ ๋์์ด ๋๋ฉฐ ๊ธฐ์ธ๊ธฐ๊ฐ ์์ฃผ ๋ณํ๋ ๋ฐฉํฅ์ผ๋ก ์ง๋์ ๊ฐ์ ์ํต๋๋ค.
๋ชจ๋ฉํ ์ ์ฌ์ฉํ ์ ๋ฐ์ดํธ ๊ท์น:
v_t = ฮณ * v_{t-1} + learning_rate * โJ(w_t)
w_{t+1} = w_t - v_t
์ฌ๊ธฐ์:
v_t๋ ์๊ฐ ๋จ๊ณt์์์ ์๋์ ๋๋ค.ฮณ(๊ฐ๋ง)๋ ๋ชจ๋ฉํ ๊ณ์์ด๋ฉฐ ์ผ๋ฐ์ ์ผ๋ก 0.8๊ณผ 0.99 ์ฌ์ด์ ์ค์ ๋ฉ๋๋ค.
๋ชจ๋ฉํ ์ ์ฃผ์ ํน์ง:
- ์ฅ์ : ํนํ ์ผ๊ด๋ ๊ธฐ์ธ๊ธฐ๋ฅผ ๊ฐ์ง ๋ฐฉํฅ์ผ๋ก ์๋ ด์ ๊ฐ์ํํฉ๋๋ค. ๋ก์ปฌ ์ต์๊ฐ๊ณผ ์์ฅ์ ์ ๊ทน๋ณตํ๋ ๋ฐ ๋์์ด ๋ฉ๋๋ค. ํ์ค SGD์ ๋นํด ๋ ๋ถ๋๋ฌ์ด ๊ถค์ ์ ๋๋ค.
- ๋จ์ : ์กฐ์ ํด์ผ ํ๋ ๋ค๋ฅธ ํ์ดํผํ๋ผ๋ฏธํฐ(
ฮณ)๋ฅผ ์ถ๊ฐํฉ๋๋ค. ๋ชจ๋ฉํ ์ด ๋๋ฌด ๋์ผ๋ฉด ์ต์๊ฐ์ ์ง๋์น ์ ์์ต๋๋ค.
๊ธ๋ก๋ฒ ์ ์ฉ ์ฌ๋ก: ์ฃผ์ ์์ฅ ๋ณ๋์ ์์ธกํ๊ธฐ ์ํด ๋จธ์ ๋ฌ๋์ ์ฌ์ฉํ๋ ๋ฐ๋์ ๊ธ์ต ๊ธฐ๊ด์ ๋ชจ๋ฉํ ์ ํ์ฉํ ์ ์์ต๋๋ค. ๊ธ์ต ๋ฐ์ดํฐ์ ๊ณ ์ ํ ๋ณ๋์ฑ๊ณผ ์๋๋ฌ์ด ๊ธฐ์ธ๊ธฐ๋ ์ต์ ์ ๊ฑฐ๋ ์ ๋ต์ ํฅํ ๋ ๋น ๋ฅด๊ณ ์์ ์ ์ธ ์๋ ด์ ๋ฌ์ฑํ๋ ๋ฐ ๋ชจ๋ฉํ ์ ์ค์ํ๊ฒ ๋ง๋ญ๋๋ค.
์ ์ํ ํ์ต๋ฅ : RMSprop
ํ์ต๋ฅ ์ ์ค์ํ ํ์ดํผํ๋ผ๋ฏธํฐ์ ๋๋ค. ๋๋ฌด ๋์ผ๋ฉด ์ตํฐ๋ง์ด์ ๊ฐ ๋ฐ์ฐํ ์ ์๊ณ ๋๋ฌด ๋ฎ์ผ๋ฉด ์๋ ด์ด ๋งค์ฐ ๋๋ฆด ์ ์์ต๋๋ค. RMSprop(Root Mean Square Propagation)์ ๊ฐ ๋งค๊ฐ๋ณ์์ ๋ํด ํ์ต๋ฅ ์ ๊ฐ๋ณ์ ์ผ๋ก ์กฐ์ ํ์ฌ ์ด๋ฅผ ํด๊ฒฐํฉ๋๋ค. ํด๋น ๋งค๊ฐ๋ณ์์ ๋ํ ์ต๊ทผ ๊ธฐ์ธ๊ธฐ์ ํฌ๊ธฐ์ ์คํ ํ๊ท ์ผ๋ก ํ์ต๋ฅ ์ ๋๋๋๋ค.
RMSprop์ ์ ๋ฐ์ดํธ ๊ท์น:
E[g^2]_t = ฮณ * E[g^2]_{t-1} + (1 - ฮณ) * (โJ(w_t))^2
w_{t+1} = w_t - (learning_rate / sqrt(E[g^2]_t + ฮต)) * โJ(w_t)
์ฌ๊ธฐ์:
E[g^2]_t๋ ์ ๊ณฑ ๊ธฐ์ธ๊ธฐ์ ๊ฐ์ ํ๊ท ์ ๋๋ค.ฮณ(๊ฐ๋ง)๋ ๊ฐ์ ์จ์ ๋๋ค(์ผ๋ฐ์ ์ผ๋ก ์ฝ 0.9).ฮต(์ก์ค๋ก )์ 0์ผ๋ก ๋๋๋ ๊ฒ์ ๋ฐฉ์งํ๊ธฐ ์ํ ์์ ์์์ ๋๋ค(์: 1e-8).
RMSprop์ ์ฃผ์ ํน์ง:
- ์ฅ์ : ๋งค๊ฐ๋ณ์๋น ํ์ต๋ฅ ์ ์กฐ์ ํ์ฌ ํฌ์ ๊ธฐ์ธ๊ธฐ๋ ๋ค๋ฅธ ๋งค๊ฐ๋ณ์์ ๋ค๋ฅธ ์ ๋ฐ์ดํธ ํฌ๊ธฐ๊ฐ ํ์ํ ๊ฒฝ์ฐ์ ํจ๊ณผ์ ์ ๋๋ค. ์ผ๋ฐ์ ์ผ๋ก ๋ชจ๋ฉํ ์ด ์๋ SGD๋ณด๋ค ๋น ๋ฅด๊ฒ ์๋ ดํฉ๋๋ค.
- ๋จ์ : ์ด๊ธฐ ํ์ต๋ฅ ๊ณผ ๊ฐ์ ์จ
ฮณ๋ฅผ ๊ณ์ ์กฐ์ ํด์ผ ํฉ๋๋ค.
๊ธ๋ก๋ฒ ์ ์ฉ ์ฌ๋ก: ์ค๋ฆฌ์ฝ ๋ฐธ๋ฆฌ์ ๋ค๊ตญ์ ๊ธฐ์ ํ์ฌ๋ ์ฌ๋ฌ ์ธ์ด(์: ๋ง๋ค๋ฆฐ์ด, ์คํ์ธ์ด, ํ๋์ค์ด)์์ ๊ฐ์ฑ ๋ถ์์ ์ํ ์์ฐ์ด ์ฒ๋ฆฌ(NLP) ๋ชจ๋ธ์ ๊ตฌ์ถํ์ฌ RMSprop์ ์ด์ ์ ์ป์ ์ ์์ต๋๋ค. ๋ค์ํ ์ธ์ด ๊ตฌ์กฐ์ ๋จ์ด ๋น๋๋ ๋ค์ํ ๊ธฐ์ธ๊ธฐ ํฌ๊ธฐ๋ฅผ ์ด๋ํ ์ ์์ผ๋ฉฐ, RMSprop์ ๋ค๋ฅธ ๋ชจ๋ธ ๋งค๊ฐ๋ณ์์ ๋ํ ํ์ต๋ฅ ์ ์กฐ์ ํ์ฌ ํจ๊ณผ์ ์ผ๋ก ์ฒ๋ฆฌํฉ๋๋ค.
๋ง๋ฅ: Adam(์ ์ํ ๋ชจ๋ฉํธ ์ถ์ )
๋ง์ ๋ฅ ๋ฌ๋ ์์ ์ ๋๋ฆฌ ์ฌ์ฉ๋๋ ์ตํฐ๋ง์ด์ ๋ก ๊ฐ์ฃผ๋๋ Adam์ ๋ชจ๋ฉํ ๊ณผ RMSprop์ ์ด์ ์ ๊ฒฐํฉํฉ๋๋ค. ๊ณผ๊ฑฐ ๊ธฐ์ธ๊ธฐ์ ์ง์์ ์ผ๋ก ๊ฐ์ ํ๋ ํ๊ท (๋ชจ๋ฉํ ๊ณผ ์ ์ฌ)๊ณผ ๊ณผ๊ฑฐ ์ ๊ณฑ ๊ธฐ์ธ๊ธฐ์ ์ง์์ ์ผ๋ก ๊ฐ์ ํ๋ ํ๊ท (RMSprop๊ณผ ์ ์ฌ)์ ๋ชจ๋ ์ถ์ ํฉ๋๋ค.
Adam์ ์ ๋ฐ์ดํธ ๊ท์น:
m_t = ฮฒ1 * m_{t-1} + (1 - ฮฒ1) * โJ(w_t)
v_t = ฮฒ2 * v_{t-1} + (1 - ฮฒ2) * (โJ(w_t))^2
# ๋ฐ์ด์ด์ค ๋ณด์
m_hat_t = m_t / (1 - ฮฒ1^t)
v_hat_t = v_t / (1 - ฮฒ2^t)
# ๋งค๊ฐ๋ณ์ ์
๋ฐ์ดํธ
w_{t+1} = w_t - (learning_rate / sqrt(v_hat_t + ฮต)) * m_hat_t
์ฌ๊ธฐ์:
m_t๋ ์ฒซ ๋ฒ์งธ ๋ชจ๋ฉํธ ์ถ์ ๊ฐ(๊ธฐ์ธ๊ธฐ์ ํ๊ท )์ ๋๋ค.v_t๋ ๋ ๋ฒ์งธ ๋ชจ๋ฉํธ ์ถ์ ๊ฐ(๊ธฐ์ธ๊ธฐ์ ์ค์ฌ์์ ๋ฒ์ด๋ ๋ถ์ฐ)์ ๋๋ค.ฮฒ1๋ฐฮฒ2๋ ๋ชจ๋ฉํธ ์ถ์ ๊ฐ์ ๋ํ ๊ฐ์ ์จ์ ๋๋ค(์ผ๋ฐ์ ์ผ๋ก ๊ฐ๊ฐ 0.9 ๋ฐ 0.999).t๋ ํ์ฌ ์๊ฐ ๋จ๊ณ์ ๋๋ค.ฮต(์ก์ค๋ก )์ ์์น ์์ ์ฑ์ ์ํ ์์ ์์์ ๋๋ค.
Adam์ ์ฃผ์ ํน์ง:
- ์ฅ์ : ์ข ์ข ๋น ๋ฅด๊ฒ ์๋ ดํ๊ณ ๋ค๋ฅธ ๋ฐฉ๋ฒ์ ๋นํด ํ์ดํผํ๋ผ๋ฏธํฐ ์กฐ์ ์ด ๋ ํ์ํฉ๋๋ค. ๋๊ท๋ชจ ๋ฐ์ดํฐ ์ธํธ์ ๊ณ ์ฐจ์ ๋งค๊ฐ๋ณ์ ๊ณต๊ฐ์ด ์๋ ๋ฌธ์ ์ ์ ํฉํฉ๋๋ค. ์ ์ํ ํ์ต๋ฅ ๊ณผ ๋ชจ๋ฉํ ์ ์ฅ์ ์ ๊ฒฐํฉํฉ๋๋ค.
- ๋จ์ : ํน์ ์๋๋ฆฌ์ค์์ ์ธ๋ฐํ๊ฒ ์กฐ์ ๋ ๋ชจ๋ฉํ ์ด ์๋ SGD์ ๋นํด ์ฐจ์ ์ ์๋ฃจ์ ์ผ๋ก ์๋ ดํ ์ ์์ต๋๋ค. ํนํ ํ๋ จ ์ด๊ธฐ ๋จ๊ณ์์ ๋ฐ์ด์ด์ค ๋ณด์ ํญ์ด ์ค์ํฉ๋๋ค.
๊ธ๋ก๋ฒ ์ ์ฉ ์ฌ๋ก: ๋ฒ ๋ฅผ๋ฆฐ์ ์ฐ๊ตฌ์๋ ์์จ ์ฃผํ ์์คํ ์ ๊ฐ๋ฐํ์ฌ ์ ์ธ๊ณ์์ ์๋ํ๋ ์ฐจ๋์ ์ค์๊ฐ ์ผ์ ๋ฐ์ดํฐ๋ฅผ ์ฒ๋ฆฌํ๋ ์ ๊ตํ ์ ๊ฒฝ๋ง์ ํ๋ จํ๊ธฐ ์ํด Adam์ ์ฌ์ฉํ ์ ์์ต๋๋ค. ๋ฌธ์ ์ ๋ณต์กํ๊ณ ๊ณ ์ฐจ์์ ์ธ ํน์ฑ๊ณผ ํจ์จ์ ์ด๊ณ ๊ฐ๋ ฅํ ํ๋ จ์ ํ์์ฑ์ผ๋ก ์ธํด Adam์ด ๊ฐ๋ ฅํ ํ๋ณด์ ๋๋ค.
๊ธฐํ ์ฃผ๋ชฉํ ๋งํ ๋ณํ ๋ฐ ๊ณ ๋ ค ์ฌํญ
Adam, RMSprop ๋ฐ ๋ชจ๋ฉํ ์ด ๋๋ฆฌ ์ฌ์ฉ๋์ง๋ง ์ฌ๋ฌ ๋ค๋ฅธ ๋ณํ์ ๊ณ ์ ํ ์ฅ์ ์ ์ ๊ณตํฉ๋๋ค.
- Adagrad(์ ์ํ ๊ธฐ์ธ๊ธฐ): ๊ณผ๊ฑฐ ์ ๊ณฑ ๊ธฐ์ธ๊ธฐ์ ํฉ์ผ๋ก ๋๋์ด ํ์ต๋ฅ ์ ์กฐ์ ํฉ๋๋ค. ํฌ์ ๋ฐ์ดํฐ์ ์ ํฉํ์ง๋ง ์๊ฐ์ด ์ง๋จ์ ๋ฐ๋ผ ํ์ต๋ฅ ์ด ๋ฌดํํ ์์์ ธ ํ์ต์ ์กฐ๊ธฐ์ ์ค๋จํ ์ ์์ต๋๋ค.
- Adadelta: RMSprop๊ณผ ์ ์ฌํ๊ฒ ๊ณผ๊ฑฐ ์ ๊ณฑ ๊ธฐ์ธ๊ธฐ์ ๊ฐ์ ํ๊ท ์ ์ฌ์ฉํ์ฌ ๊ฐ์ํ๋ ํ์ต๋ฅ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๋ ๊ฒ์ ๋ชฉํ๋ก ํ๋ Adagrad์ ํ์ฅ์ผ๋ก, ๊ณผ๊ฑฐ ์ ๋ฐ์ดํธ์ ๊ฐ์ ํ๊ท ์ ๊ธฐ๋ฐ์ผ๋ก ์ ๋ฐ์ดํธ ๋จ๊ณ ํฌ๊ธฐ๋ฅผ ์กฐ์ ํฉ๋๋ค.
- Nadam: Nesterov ๋ชจ๋ฉํ ์ Adam์ ํตํฉํ์ฌ ์ข ์ข ์ฝ๊ฐ ๋ ๋์ ์ฑ๋ฅ์ ์ ๊ณตํฉ๋๋ค.
- AdamW: Adam์์ ๊ฐ์ค์น ๊ฐ์ ์ ๊ธฐ์ธ๊ธฐ ์ ๋ฐ์ดํธ์ ๋ถ๋ฆฌ๋ฅผ ํด๊ฒฐํ์ฌ ์ผ๋ฐํ ์ฑ๋ฅ์ ํฅ์์ํฌ ์ ์์ต๋๋ค.
ํ์ต๋ฅ ์ค์ผ์ค๋ง
์ ํํ ์ตํฐ๋ง์ด์ ์ ๊ด๊ณ์์ด ํ๋ จ ์ค์ ํ์ต๋ฅ ์ ์กฐ์ ํด์ผ ํ๋ ๊ฒฝ์ฐ๊ฐ ๋ง์ต๋๋ค. ์ผ๋ฐ์ ์ธ ์ ๋ต์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
- ๋จ๊ณ ๊ฐ์ : ํน์ ์ํฌํฌ์์ ์์ธ๋ณ๋ก ํ์ต๋ฅ ์ ์ค์ ๋๋ค.
- ์ง์ ๊ฐ์ : ์๊ฐ์ด ์ง๋จ์ ๋ฐ๋ผ ์ง์์ ์ผ๋ก ํ์ต๋ฅ ์ ์ค์ ๋๋ค.
- ์ํ ํ์ต๋ฅ : ์์ฅ์ ์ ๋ฒ์ด๋ ๋ ํํํ ์ต์๊ฐ์ ์ฐพ๋ ๋ฐ ๋์์ด ๋๋ ํํ๊ณผ ์ํ ์ฌ์ด์์ ์ฃผ๊ธฐ์ ์ผ๋ก ํ์ต๋ฅ ์ ๋ณ๊ฒฝํฉ๋๋ค.
์ฌ๋ฐ๋ฅธ ์ตํฐ๋ง์ด์ ์ ํ
์ตํฐ๋ง์ด์ ์ ํ์ ์ข ์ข ๊ฒฝํ์ ์ด๋ฉฐ ํน์ ๋ฌธ์ , ๋ฐ์ดํฐ ์ธํธ ๋ฐ ๋ชจ๋ธ ์ํคํ ์ฒ์ ๋ฐ๋ผ ๋ฌ๋ผ์ง๋๋ค. ๊ทธ๋ฌ๋ ๋ช ๊ฐ์ง ์ผ๋ฐ์ ์ธ ์ง์นจ์ด ์์ต๋๋ค.
- Adam์ผ๋ก ์์ํฉ๋๋ค. ๋ง์ ๋ฅ ๋ฌ๋ ์์ ์ ๋ํ ๊ฐ๋ ฅํ ๊ธฐ๋ณธ ์ ํ์ ๋๋ค.
- ๋ชจ๋ฉํ ์ด ์๋ SGD๋ฅผ ๊ณ ๋ คํฉ๋๋ค. Adam์ด ์๋ ดํ๋ ๋ฐ ์ด๋ ค์์ ๊ฒช๊ฑฐ๋ ๋ถ์์ ํ ๋์์ ๋ณด์ด๋ ๊ฒฝ์ฐ ์ธ์ฌํ ํ์ต๋ฅ ์ค์ผ์ค๋ง๊ณผ ๊ฒฐํฉ๋ ๋ชจ๋ฉํ ์ด ์๋ SGD๊ฐ ๊ฐ๋ ฅํ ๋์์ด ๋ ์ ์์ผ๋ฉฐ ์ข ์ข ๋ ๋์ ์ผ๋ฐํ๋ฅผ ์ ๋ํฉ๋๋ค.
- ์คํํฉ๋๋ค. ์ ํจ์ฑ ๊ฒ์ฌ ์ธํธ์์ ๋ค๋ฅธ ์ตํฐ๋ง์ด์ ์ ํด๋น ํ์ดํผํ๋ผ๋ฏธํฐ๋ฅผ ํญ์ ์คํํ์ฌ ์ต์์ ๊ตฌ์ฑ์ ์ฐพ์ต๋๋ค.
๊ฒฐ๋ก : ์ต์ ํ์ ์์ ๊ณผ ๊ณผํ
๊ฒฝ์ฌ ํ๊ฐ๋ฒ๊ณผ ๊ทธ ๋ณํ์ ๋ง์ ๋จธ์ ๋ฌ๋ ๋ชจ๋ธ์์ ํ์ต์ ์ฃผ๋ํ๋ ์์ง์ ๋๋ค. SGD์ ๊ธฐ๋ณธ์ ์ธ ๋จ์์ฑ๋ถํฐ Adam์ ์ ๊ตํ ์ ์ํ ๊ธฐ๋ฅ์ ์ด๋ฅด๊ธฐ๊น์ง ๊ฐ ์๊ณ ๋ฆฌ์ฆ์ ์์ค ํจ์์ ๋ณต์กํ ์งํ์ ํ์ํ๋ ๋๋ ทํ ์ ๊ทผ ๋ฐฉ์์ ์ ๊ณตํฉ๋๋ค. ์ด๋ฌํ ์ตํฐ๋ง์ด์ ์ ๋์์ค, ๊ฐ์ ๋ฐ ์ฝ์ ์ ์ดํดํ๋ ๊ฒ์ ์ ์ธ๊ณ์ ์ผ๋ก ๊ณ ์ฑ๋ฅ, ํจ์จ์ ์ด๊ณ ์์ ์ ์ธ AI ์์คํ ์ ๊ตฌ์ถํ๋ ค๋ ๋ชจ๋ ์ค๋ฌด์์๊ฒ ์ค์ํฉ๋๋ค. ๋ถ์ผ๊ฐ ๊ณ์ ๋ฐ์ ํจ์ ๋ฐ๋ผ ์ต์ ํ ๊ธฐ์ ๋ ๋ฐ์ ํ์ฌ ์ธ๊ณต ์ง๋ฅ์ผ๋ก ๊ฐ๋ฅํ ๊ฒ์ ๊ฒฝ๊ณ๋ฅผ ๋ํ๊ฐ๋๋ค.