25.12. 4แแ ฎแแ ก | Google DeepMind, Microsoft, Meta, Alibaba, OpenAI, Tencent, NUS, Fudan University

๊ธ์ฃผ ์บ์นํ์ดํผ๋ Google DeepMind, Microsoft, Meta, Alibaba, OpenAI, Tencent, NUS, Fudan University์ ํจ๊ปํฉ๋๋ค.
3๋ถ๋ง ํฌ์ํด ์ฑ ๋๋ฌ๋ณด๊ณ , ๋น ๋ฅด๊ฒ ๋ฐ๋๋ ๊ธฐ์ ์ ๋ฐฉํฅ์ฑ์ ๋์น์ง ๋ง์ธ์!
๐ AI ์์ด์ ํธ ์์คํ ์ ๋ฉ๋ชจ๋ฆฌ, ์ ์์ฑ, ์์ ์ฑ์ ๋ํ ์ฒด๊ณ์ ์ฐ๊ตฌ๊ฐ ํ๋ฐํ ์งํ๋๊ณ ์์ผ๋ฉฐ, ํนํ ์ฌ๋ฌ AI๊ฐ ํ๋ ฅํ์ฌ AGI ์์ค์ ์ง๋ฅ์ ๋ฐํํ ์ ์๋ค๋ 'Patchwork AGI' ๊ฐ๋ ์ด ์ฃผ๋ชฉ๋ฐ๊ณ ์์ต๋๋ค.
๐ LLM์ ํจ์จ์ฑ ๊ทน๋ํ๋ฅผ ์ํ ๊ทน๋จ์ ํฌ์์ฑ(Extreme Sparsity) MoE ๋ชจ๋ธ๊ณผ ๊ธด ์ปจํ ์คํธ ์ฒ๋ฆฌ๋ฅผ ์ํ Test-Time Training ๊ธฐ๋ฒ ๋ฑ ์ค์ฉ์ ์ฑ๋ฅ ํฅ์ ์ฐ๊ตฌ๊ฐ ๋๋๋ฌ์ง๋๋ค.
๐ฅ๋ฏธ๊ตญ ๊ธฐ์ ์ ๋๋ฅด๋ ค๋ ์ค๊ตญ์ ์์ง์ - ์คํ์์ค ๊ณต์ธ๊ฐ ๋์ ๋๋ ์ฃผ์ ๋๋ค.
๐จ DeepMind๊ฐ ๊ฒฝ๊ณ ํ '์ข๋น AI ๊ตฐ๋จ' ์๋๋ฆฌ์ค
๐๏ธ ์์: Google DeepMind
๐ท๏ธ ํต์ฌ ํค์๋: Patchwork AGI, Defense-in-Depth, Agentic Sandbox
๐ญ ์ด๋ฐ ์ง๋ฌธ์ ํด๋ณธ ์ ์๋์?
"AGI๋ ๋ฐ๋์ ํ๋์ ๊ฑฐ๋ํ ๋ชจ๋ธ์ด์ด์ผ ํ ๊น?"
"์ฌ๋ฌ ํนํ๋ AI๊ฐ ํ๋ ฅํ๋ฉด ์ด๋ค ์ํ์ด ์๊ธธ๊น?"
"๋ถ์ฐ๋ AI ์์คํ ์ ์์ ์ ์ด๋ป๊ฒ ๋ณด์ฅํ ์ ์์๊น?"
๊ฐ๋ฏธ ๊ตฐ์ง์ด ๊ฐ๋ณ ๊ฐ๋ฏธ๋ณด๋ค ํจ์ฌ ๋ณต์กํ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๋ฏ, ํนํ๋ ์ฌ๋ฌ AI ์์ด์ ํธ๊ฐ ํ๋ ฅํ๋ฉด ๋จ์ผ ๋ชจ๋ธ์ ๋์ด์๋ 'Patchwork AGI'๊ฐ ์ถํํ ์ ์์ต๋๋ค. Google DeepMind๋ ์ด๋ฌํ ๋ถ์ฐํ AGI์ ์ํ์ ๋์ํ๋ ๋ค์ธต ๋ฐฉ์ด ํ๋ ์์ํฌ๋ฅผ ์ ์ํ์ต๋๋ค. ํนํ ์ฃผ๋ชฉํ ์ :
๋จ์ผ ๋ชจ๋ธ ์์ ์ฑ์ ๋์ด ์ง๋จ์ ์ํ๊น์ง ํฌ๊ด
์์ฅ ์ค๊ณ, ๋ชจ๋ํฐ๋ง, ๊ท์ ๋ฉ์ปค๋์ฆ์ ํตํฉํ ์ข ํฉ์ ์ ๊ทผ
๊ฐ์ ์์ด์ ํธ ์๋๋ฐ์ค ๊ฒฝ์ ์์ ๊ฒ์ฆ ๊ฐ๋ฅ
๐ฏ ์ ์ด๊ฒ์ด ๊ฒ์ ์ฒด์ธ์ ์ธ๊ฐ? : ๋จ์ผ ๋ชจ๋ธ ์์ ์ฑ โ ๋ถ์ฐ AI ์์คํ
์ ์ง๋จ์ ์์ ์ฑ ๊ด๋ฆฌ๋ก์ ์ ํ์
๐ ๋ ์์ธํ ๋ด์ฉ์ด ๊ถ๊ธํ๋ค๋ฉด : ๋
ผ๋ฌธ ๋งํฌ
๐ ์๋ฆฌ๋ฐ๋ฐ์ ์ด๋๋น ์ฌ๋ฅ : ํฌํ ์ต ํฌ๋ฌ์ ๋ฑ์ฅ
Qwen-Image-Layered: Towards Inherent Editability via Layer Decomposition
๐๏ธ ์์: Alibaba (Qwen Team)
๐ท๏ธ ํต์ฌ ํค์๋: Layer Decomposition, RGBA, Image Editing, VLD-MMDiT
๐ญ ์ด๋ฐ ์ง๋ฌธ์ ํด๋ณธ ์ ์๋์?
"AI๊ฐ ํฌํ ์ต์ฒ๋ผ ๋ ์ด์ด๋ฅผ ์๋์ผ๋ก ๋ถ๋ฆฌํด์ค ์ ์์๊น?"
"๋ฐฐ๊ฒฝ๋ง ๋ฐ๊พธ๊ณ ์ถ์๋ฐ ์ ๋งค๋ฒ ์ ์ฒด ์ด๋ฏธ์ง๊ฐ ๋ง๊ฐ์ง๊น?"
"์ด๋ฏธ์ง ํธ์ง์ ์ผ๊ด์ฑ ๋ฌธ์ ๋ฅผ ๊ทผ๋ณธ์ ์ผ๋ก ํด๊ฒฐํ ์ ์์๊น?"
ํฌํ ์ต ์ฅ์ธ์ด ์์ญ ๋ถ ๊ฑธ๋ ค ํ๋ ๋ ์ด์ด ๋ถ๋ฆฌ ์์ ์ AI๊ฐ ๋จ๋ฒ์ ํด๋ ๋๋ค. Qwen-Image-Layered๋ ๋จ์ผ RGB ์ด๋ฏธ์ง๋ฅผ ์๋ฏธ์ ์ผ๋ก ๋ถ๋ฆฌ๋ ์ฌ๋ฌ RGBA ๋ ์ด์ด๋ก ์๋ ๋ถํดํ์ฌ, ๊ฐ ๋ ์ด์ด๋ฅผ ๋ ๋ฆฝ์ ์ผ๋ก ํธ์งํด๋ ๋ค๋ฅธ ์์์ ์ํฅ์ ์ฃผ์ง ์์ต๋๋ค. ์ค์ PSD ํ์ผ์์ ํ์ตํ ์ด ๋ชจ๋ธ์ ์ ๋ฌธ ๋์์ธ ๋๊ตฌ ์์ค์ ๋ ์ด์ด ๊ตฌ์กฐ๋ฅผ AI๋ก ๊ตฌํํ์ต๋๋ค. ํนํ ์ฃผ๋ชฉํ ์ :
์ด๋ฏธ์ง ํธ์ง ์ ์ผ๊ด์ฑ ๋ฌธ์ ๋ฅผ ๋ ์ด์ด ๋ถ๋ฆฌ๋ก ๊ทผ๋ณธ ํด๊ฒฐ
๊ฐ๋ณ ๊ธธ์ด ๋ ์ด์ด ๋ถํด๋ก 3~8๊ฐ ์ด์ ์ ์ฐํ ๋ถ๋ฆฌ ๊ฐ๋ฅ
Apache 2.0 ๋ผ์ด์ ์ค๋ก ์์ ์ ์ฌ์ฉ๊น์ง ์์ ๋ฌด๋ฃ
๐ฏ ์ ์ด๊ฒ์ด ๊ฒ์ ์ฒด์ธ์ ์ธ๊ฐ? : ํ๋ฉด ๋์คํฐ ์ด๋ฏธ์ง ํธ์ง โ ์๋ ๋ ์ด์ด ๋ถ๋ฆฌ ๊ธฐ๋ฐ ํธ์ง์ ์ ํ์ ๊ฐ์กฐ
๐ ๋ ์์ธํ ๋ด์ฉ์ด ๊ถ๊ธํ๋ค๋ฉด : https://arxiv.org/abs/2512.15603
๐ฐ "20B ๋ชจ๋ธ์ธ๋ฐ 0.5B๋ง ์ด๋ค๊ณ ?" Microsoft์ ๋ฏธ์น ํจ์จ, ๊ฒฝ์์ฌ ๋ค ์ฃฝ์ธ๋ค
๐๏ธ ์์: Microsoft
๐ท๏ธ ํต์ฌ ํค์๋: Mixture-of-Experts, Extreme Sparsity, Progressive Sparsification
๐ญ ์ด๋ฐ ์ง๋ฌธ์ ํด๋ณธ ์ ์๋์?
"๋ชจ๋ธ ํ๋ผ๋ฏธํฐ์ 2.5%๋ง ์ฌ์ฉํด๋ ์ต๊ณ ์ฑ๋ฅ์ ๋ผ ์ ์์๊น?"
"๊ทน๋จ์ ์ธ ํฌ์์ฑ์์ ํ์ต ์์ ์ฑ์ ์ด๋ป๊ฒ ์ ์งํ ๊น?"
"MoE ๋ชจ๋ธ์ ์ ๋ฌธ๊ฐ ๋ถํ ๊ท ํ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ ์ ์์๊น?"
๊ฑฐ๋ํ ๋์๊ด์์ ํ์ํ ์ฑ ํ ๊ถ๋ง ์ ํํ ์ฐพ์๋ด๋ ๊ฒ์ฒ๋ผ, Sigma-MoE-Tiny๋ ๋ ์ด์ด๋น 96๊ฐ์ ์ ๋ฌธ๊ฐ ์ค ๋จ 1๊ฐ๋ง ํ์ฑํํฉ๋๋ค. 20B ํ๋ผ๋ฏธํฐ ์ค 0.5B๋ง ์ฌ์ฉํ๋ฉด์๋ ๋๊ธ ๋๋ ๋ ํฐ ๋ชจ๋ธ๋ค์ ๋ฅ๊ฐํ๋ ์ฑ๋ฅ์ ๋ณด์ฌ์ค๋๋ค. ํนํ ์ฃผ๋ชฉํ ์ :
์คํ์์ค ๋ชจ๋ธ ์ค ๊ฐ์ฅ ๋์ ํฌ์์ฑ ๋ฌ์ฑ
์ ์ง์ ํฌ์ํ ์ค์ผ์ค๋ก ํ์ต ์์ ์ฑ ํ๋ณด
์์ค ์คํ์ดํฌ ์์ด ์์ ์ ์ธ ์ ์ฒด ํ์ต ๊ณผ์
๐ฏ ์ ์ด๊ฒ์ด ๊ฒ์ ์ฒด์ธ์ ์ธ๊ฐ? : ์ผ๋ฐ์ ์ธ MoE ํฌ์์ฑ โ ๊ทน๋จ์ ํฌ์์ฑ(2.5%)์์๋ ์ต๊ณ ์ฑ๋ฅ ๋ฌ์ฑ์ ์ ํ์
๐ ๋ ์์ธํ ๋ด์ฉ์ด ๊ถ๊ธํ๋ค๋ฉด : ๋
ผ๋ฌธ ๋งํฌ
๐ง AI๊ฐ ์น๋งค ๊ฑธ๋ฆฌ๋ ์ด์ ? NUS๊ฐ '์์ด์ ํธ ๊ธฐ์ต๋ ฅ'์ ๋น๋ฐ์ ํ์๋ค
๐๏ธ ์์: National University of Singapore, Fudan University
๐ท๏ธ ํต์ฌ ํค์๋: Agent Memory, Unified Framework, Memory Architecture
๐ญ ์ด๋ฐ ์ง๋ฌธ์ ํด๋ณธ ์ ์๋์?
"AI ์์ด์ ํธ์ ๋ฉ๋ชจ๋ฆฌ๋ RAG๋ LLM ๋ฉ๋ชจ๋ฆฌ์ ์ด๋ป๊ฒ ๋ค๋ฅผ๊น?"
"์ฅ๊ธฐ ๊ธฐ์ต๊ณผ ๋จ๊ธฐ ๊ธฐ์ต์ AI์์ ์ด๋ป๊ฒ ๊ตฌํํ ๊น?"
"์์ด์ ํธ ๋ฉ๋ชจ๋ฆฌ์ ๋ฏธ๋ ๋ฐ์ ๋ฐฉํฅ์ ๋ฌด์์ผ๊น?"
์ธ๊ฐ์ ๋๊ฐ ํด๋ง์ ๋๋ํผ์ง๋ก ๊ธฐ์ต์ ๋๋์ด ๊ด๋ฆฌํ๋ฏ, ์ด ์๋ฒ ์ด๋ AI ์์ด์ ํธ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ์ํคํ ์ฒ, ๊ธฐ๋ฅ์ ์ญํ , ์๋ ์ญํ์ผ๋ก ์ฒด๊ณํํ์ต๋๋ค. LLM ๋ฉ๋ชจ๋ฆฌ, RAG์์ ๋ช ํํ ๊ตฌ๋ถ์ ํตํด ๊ธ๋ณํ๋ ๋ถ์ผ์ ๋ก๋๋งต์ ์ ์ํฉ๋๋ค. ํนํ ์ฃผ๋ชฉํ ์ :
์์ด์ ํธ ๋ฉ๋ชจ๋ฆฌ์ ๋ํ ์ต์ด์ ํตํฉ ํ๋ ์์ํฌ
์ ์ฌ ๊ฐ๋ ๋ค๊ณผ์ ๋ช ํํ ๊ฒฝ๊ณ ์ค์
๋ค์ํ ์์ด์ ํธ ์์คํ ์ ์ ์ฉ ๊ฐ๋ฅํ ์ผ๋ฐํ๋ ๋ถ๋ฅ์ฒด๊ณ
๐ฏ ์ ์ด๊ฒ์ด ๊ฒ์ ์ฒด์ธ์ ์ธ๊ฐ? : ์ฐ๋ฐ์ ์ธ ๋ฉ๋ชจ๋ฆฌ ์ฐ๊ตฌ โ ํตํฉ๋ ์์ด์ ํธ ๋ฉ๋ชจ๋ฆฌ ํ๋ ์์ํฌ์ ์ ํ์
๐ ๋ ์์ธํ ๋ด์ฉ์ด ๊ถ๊ธํ๋ค๋ฉด : ๋ ผ๋ฌธ ๋งํฌ
๐ "์ปจํ ์คํธ ๊ธธ์ด์ง๋ฉด ๋ฐ๋ณด ๋๋ค"๋ LLM, Meta๊ฐ ์ค์๊ฐ์ผ๋ก ๊ณ ์ณ๋ฒ๋ฆผ
๐๏ธ ์์: Meta, Harvard University, OpenAI
๐ท๏ธ ํต์ฌ ํค์๋: Query-only TTT, Score Dilution, Long-Context
๐ญ ์ด๋ฐ ์ง๋ฌธ์ ํด๋ณธ ์ ์๋์?
"๊ธด ์ปจํ ์คํธ์์ ์ ๋ณด๊ฐ ํฌ์๋๋ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ ์ ์์๊น?"
"์ถ๋ก ์์ ์ ๋ชจ๋ธ์ ๋์ ์ผ๋ก ์กฐ์ ํ ์ ์์๊น?"
"์ฌํ์ต ์์ด ๊ธด ๋ฌธ์ ์ดํด ๋ฅ๋ ฅ์ ํฅ์์ํฌ ์ ์์๊น?"
๋ฐฉ๋ํ ์๋ฃ์ค์์ ํ์ํ ์ ๋ณด๋ฅผ ์ฆ์ ์ฐพ์๋ด๋ ์ฌ์์ฒ๋ผ, qTTT๋ ์ถ๋ก ์์ ์ ์ดํ ์ ๋ฉ์ปค๋์ฆ์ ๋์ ์ผ๋ก ์กฐ์ ํฉ๋๋ค. 'Score Dilution' ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ์ฌ LongBench-v2์์ 12.6%, ZeroScrolls์์ 14.1%์ ์ฑ๋ฅ ํฅ์์ ๋ฌ์ฑํ์ต๋๋ค. ํนํ ์ฃผ๋ชฉํ ์ :
์ฌํ์ต ์์ด ์ถ๋ก ์์ ์์ ์ฑ๋ฅ ํฅ์
Score Dilution ๋ฌธ์ ์ ๋ํ ์ต์ด์ ์ฒด๊ณ์ ํด๊ฒฐ์ฑ
๋ค์ํ ๊ธด ์ปจํ ์คํธ ๋ฒค์น๋งํฌ์์ ์ผ๊ด๋ ๊ฐ์
๐ฏ ์ ์ด๊ฒ์ด ๊ฒ์ ์ฒด์ธ์ ์ธ๊ฐ? : ์ ์ ์ธ ์ปจํ ์คํธ ์ฒ๋ฆฌ โ ๋์ Test-Time ์ ์์ ์ ํ์
๐ ๋ ์์ธํ ๋ด์ฉ์ด ๊ถ๊ธํ๋ค๋ฉด : ๋ ผ๋ฌธ ๋งํฌ
๐ฎ "๋ค์ ๋จ์ด๋ง ์์ธกํ๋ค"๋ ๊ฑด ๊ฑฐ์ง๋ง? Google DeepMind๊ฐ ๋ฐํ OpenAI GPT์ ์จ๊ฒจ์ง ์ด๋ฅ๋ ฅ
๐๏ธ ์์: Google DeepMind
๐ท๏ธ ํต์ฌ ํค์๋: ARM-EBM Bijection, Lookahead Capability, Soft Value Function
๐ญ ์ด๋ฐ ์ง๋ฌธ์ ํด๋ณธ ์ ์๋์?
"๋ค์ ํ ํฐ ์์ธก๋ง์ผ๋ก ์ด๋ป๊ฒ ๋ฌธ๋งฅ์ ์ดํดํ ์ ์์๊น?"
"์๊ธฐํ๊ท ๋ชจ๋ธ์ด ๋ฏธ๋ ์ํ์ค๋ฅผ ๊ณ ๋ คํ ์ ์์๊น?"
"Teacher Forcing์ด ์ ํจ๊ณผ์ ์ธ์ง ์ด๋ก ์ ์ผ๋ก ์ค๋ช ํ ์ ์์๊น?"
์ฒด์ค ์ ์๊ฐ ๋ค์ ํ ์๋ฅผ ๋๋ฉด์๋ ์ฌ๋ฌ ์ ์์ ๋ด๋ค๋ณด๋ฏ, ์๊ธฐํ๊ท ๋ชจ๋ธ(ARM)์ด ์ฌ์ค์ ์๋์ง ๊ธฐ๋ฐ ๋ชจ๋ธ(EBM)๊ณผ ์ํ์ ์ผ๋ก ๋์น์์ ์ฆ๋ช ํ์ต๋๋ค. ์ด๋ก์จ ARM์ด 'Soft Value Function'์ ํตํด ์๋ฌต์ ์ผ๋ก ๋ฏธ๋๋ฅผ ์์ธกํ๋ ๋ฅ๋ ฅ์ ๊ฐ์ถ๊ณ ์์์ ๋ฐํ์ต๋๋ค. ํนํ ์ฃผ๋ชฉํ ์ :
ARM๊ณผ EBM์ ์ด๋ก ์ ํตํฉ
Teacher Forcing์ ์ต์ ์ฑ์ ๋ํ ์ต์ด์ ์ด๋ก ์ ์ฆ๋ช
ํจ์ ๊ณต๊ฐ์์์ ์ผ๋ฐ์ ์ธ ์ฆ๋ช ์ผ๋ก ๋ชจ๋ ARM์ ์ ์ฉ
๐ฏ ์ ์ด๊ฒ์ด ๊ฒ์ ์ฒด์ธ์ ์ธ๊ฐ? : ARM์ ๋จ์ ๋ค์ ํ ํฐ ์์ธก โ ์๋ฌต์ ๋ฏธ๋ ์์ธก ๋ฅ๋ ฅ ๋ฐ๊ฒฌ์ ์ ํ์
๐ ๋ ์์ธํ ๋ด์ฉ์ด ๊ถ๊ธํ๋ค๋ฉด : ๋
ผ๋ฌธ ๋งํฌ
๐จ GPT-4o ์ฑ๋ฅ์ ๊ณต์ง๋ก? Alibaba๊ฐ ๊ณต๊ฐํ '๋จธ๋ฆฟ์ ์ค์ผ์น' ๊ธฐ์
๐๏ธ ์์: Huazhong University of Science and Technology, Alibaba Cloud Computing
๐ท๏ธ ํต์ฌ ํค์๋: SkiLa, Latent Visual Thoughts, Unified Reasoning
๐ญ ์ด๋ฐ ์ง๋ฌธ์ ํด๋ณธ ์ ์๋์?
"AI๊ฐ ์ด๋ฏธ์ง๋ฅผ '๋จธ๋ฆฟ์์์' ๊ทธ๋ ค๋ณด๋ฉฐ ์ถ๋ก ํ ์ ์์๊น?"
"ํ ์คํธ ์ฌ๊ณ ์ ์๊ฐ์ ์ฌ๊ณ ๋ฅผ ํตํฉํ ์ ์์๊น?"
"์ถ๊ฐ ๋น์ฉ ์์ด ๋ฉํฐ๋ชจ๋ฌ ์ถ๋ก ์ ํฅ์์ํฌ ์ ์์๊น?"
๊ฑด์ถ๊ฐ๊ฐ ๋จธ๋ฆฟ์์ผ๋ก ๊ฑด๋ฌผ์ ์์ํ๋ฉฐ ์ค๊ณํ๋ฏ, SkiLa๋ MLLM์ด ํ ์คํธ ์ฌ๊ณ ์ ์ ์ฌ์ ์๊ฐ ์ฌ๊ณ ๋ฅผ ๋์ ์ผ๋ก ๊ฒฐํฉํ๊ฒ ํฉ๋๋ค. ์ถ๊ฐ ์ถ๋ก ๋น์ฉ ์์ด GPT-4o๊ธ ์ฑ๋ฅ์ ๋ฌ์ฑํ๋ฉฐ, ๋น์ ์ค์ฌ ๊ณผ์ ์์ ํนํ ๋ฐ์ด๋ ์ฑ๊ณผ๋ฅผ ๋ณด์ ๋๋ค. ํนํ ์ฃผ๋ชฉํ ์ :
์ถ๊ฐ ์ถ๋ก ๋น์ฉ ์์ด ์ฑ๋ฅ ํฅ์
GPT-4o์ ๊ฒฝ์ํ๋ ์คํ์์ค ์๋ฃจ์
๋น์ ์ค์ฌ ๋ฐ ์ผ๋ฐ ๋ฉํฐ๋ชจ๋ฌ ํ์คํฌ ๋ชจ๋์์ ๊ฐ์
๐ฏ ์ ์ด๊ฒ์ด ๊ฒ์ ์ฒด์ธ์ ์ธ๊ฐ? : ๋ถ๋ฆฌ๋ ํ ์คํธ/์๊ฐ ์ถ๋ก โ ํตํฉ๋ ์ ์ฌ ๊ณต๊ฐ ์ถ๋ก ์ ์ ํ์
๐ ๋ ์์ธํ ๋ด์ฉ์ด ๊ถ๊ธํ๋ค๋ฉด : ๋ ผ๋ฌธ ๋งํฌ
๐ฆ AI ์์ด์ ํธ '์ ์๋ ฅ' ์ฌ๋ฆฌ๋ 4๊ฐ์ง ๋น๋ฒ, ์ด ๋ ผ๋ฌธ ํ๋๋ก ์ ๋ฆฌ ๋
๐๏ธ ์์: UIUC, Stanford, Princeton, Harvard, UW, Caltech, UCBerkeley, UCSD, GeorgiaTech ๋ฑ (๋ค์ ์ ๋ช
๋ํ ์ฐ๊ตฌ)
๐ท๏ธ ํต์ฌ ํค์๋: Adaptation Taxonomy, Four Paradigms, Emergent Patterns
๐ญ ์ด๋ฐ ์ง๋ฌธ์ ํด๋ณธ ์ ์๋์?
"AI ์์ด์ ํธ๊ฐ ์๋ก์ด ํ๊ฒฝ์ ์ ์ํ๋ ์ต์ ์ ๋ฐฉ๋ฒ์?"
"๋ค์ํ ์ ์ ์ ๋ต์ ์ฅ๋จ์ ์ ์ด๋ป๊ฒ ๋น๊ตํ ๊น?"
"๋ฐ์ดํฐ ํจ์จ์ ์ธ ์ ์ ํจํด์ ๋ฌด์์ผ๊น?"
์นด๋ฉ๋ ์จ์ด ํ๊ฒฝ์ ๋ฐ๋ผ ์์ ๋ฐ๊พธ๋ฏ, ์ด ์ฐ๊ตฌ๋ AI ์์ด์ ํธ์ ์ ์ ์ ๋ต์ ์ต์ ํ ๋์๊ณผ ์ ์ ์ ํธ ์์ค์ ๋ฐ๋ผ 4๊ฐ์ง ํจ๋ฌ๋ค์์ผ๋ก ๋ถ๋ฅํฉ๋๋ค. ๋ฐ์ดํฐ ํจ์จ์ฑ๊ณผ ๋ชจ๋์ฑ์ ๊ฐ์ ํ๋ ์๋ก์ด ์ํคํ ์ฒ ํจํด๋ ์ ์ํฉ๋๋ค. ํนํ ์ฃผ๋ชฉํ ์ :
์ต์ด์ ์ฒด๊ณ์ ์ธ ์ ์ ์ ๋ต ๋ถ๋ฅ์ฒด๊ณ
๊ฐ ํจ๋ฌ๋ค์์ ํธ๋ ์ด๋์คํ ๋ช ํํ
๋ ๊ฐ๊ฑดํ๊ณ ํ์ฅ ๊ฐ๋ฅํ ์์ด์ ํธ ๊ตฌ์ถ ๊ฐ์ด๋๋ผ์ธ ์ ๊ณต
๐ฏ ์ ์ด๊ฒ์ด ๊ฒ์ ์ฒด์ธ์ ์ธ๊ฐ? : ์์์ ์ ์ ๋ฐฉ์ โ ์ฒด๊ณ์ 4-ํจ๋ฌ๋ค์ ๋ถ๋ฅ์ ์ ํ์
๐ ๋ ์์ธํ ๋ด์ฉ์ด ๊ถ๊ธํ๋ค๋ฉด : ๋
ผ๋ฌธ ๋งํฌ
๐งญ "๋ณด์ ๋ชจ๋ธ ์์ด ์ค์ค๋ก ๋๋ํด์ง๋ค?" LLM ์๊ธฐ ๊ฐํํ์ต์ ์ ์๋
๐๏ธ ์์: Tencent
๐ท๏ธ ํต์ฌ ํค์๋: G2RL, Gradient-Guided Exploration, Self-Improvement
๐ญ ์ด๋ฐ ์ง๋ฌธ์ ํด๋ณธ ์ ์๋์?
"LLM์ด ์ธ๋ถ ๋์ ์์ด ์ค์ค๋ก ๋ ๋์ ์ถ๋ก ์ ํ์ตํ ์ ์์๊น?"
"๊ฐํํ์ต์์ ํ์์ ํจ์จ์ฑ์ ๋์ผ ์ ์์๊น?"
"๋ชจ๋ธ ๋ด์ฌ์ ์ ํธ๋ก ํ์ต์ ์์ ํํ ์ ์์๊น?"
๋์นจ๋ฐ์ด ์๊ธฐ์ฅ์ ๋ฐ๋ผ ๋ฐฉํฅ์ ์ฐพ๋ฏ, G2RL์ ๋ชจ๋ธ์ ๊ทธ๋๋์ธํธ ์ ๋ฐ์ดํธ๋ฅผ ํ์ฉํด LLM์ ํ์ ๋ฐฉํฅ์ ์๋ดํฉ๋๋ค. ์ธ๋ถ ๋ณด์ ๋ชจ๋ธ ์์ด๋ ์ํ ๋ฐ ์ผ๋ฐ ์ถ๋ก ๋ฒค์น๋งํฌ์์ ์ผ๊ด๋ ์ฑ๋ฅ ํฅ์๊ณผ ์์ ์ ์ธ ํ์ต์ ๋ฌ์ฑํฉ๋๋ค. ํนํ ์ฃผ๋ชฉํ ์ :
์ธ๋ถ ๋ณด์ ๋ชจ๋ธ ์์ด ์๊ธฐ ๊ฐ์ ๊ฐ๋ฅ
๊ทธ๋๋์ธํธ ๊ธฐ๋ฐ์ ํจ์จ์ ์ด๊ณ ์์ ์ ์ธ ํ์
์ํ ๋ฐ ์ผ๋ฐ ์ถ๋ก ๋ฒค์น๋งํฌ ์ ๋ฐ์์ ์ผ๊ด๋ ๊ฐ์
๐ฏ ์ ์ด๊ฒ์ด ๊ฒ์ ์ฒด์ธ์ ์ธ๊ฐ? : ์ธ๋ถ ๋ณด์ ์์กด ํ์ โ ์๊ธฐ ๊ทธ๋๋์ธํธ ๊ธฐ๋ฐ ํ์์ ์ ํ์
๐ ๋ ์์ธํ ๋ด์ฉ์ด ๊ถ๊ธํ๋ค๋ฉด : ๋
ผ๋ฌธ ๋งํฌ
๐ ๋ฐ์ดํฐ ๋ ธ๊ฐ๋ค ๋? LLM์ด ์์์ ํ์ต ๋ฐ์ดํฐ๊น์ง ๋ง๋ค์ด์ค๋ค
๐๏ธ ์์: Peking University, Institute for Advanced Algorithms Research, OriginHub Technology, OpenDataLab
๐ท๏ธ ํต์ฌ ํค์๋: Data-Centric AI, Workflow Automation, Data Synthesis
๐ญ ์ด๋ฐ ์ง๋ฌธ์ ํด๋ณธ ์ ์๋์?
"๋ฐ์ดํฐ ์ค๋น ๊ณผ์ ์ ์๋ํํ ์ ์์๊น?"
"๋ ์์ ๊ณ ํ์ง ๋ฐ์ดํฐ์ ์ผ๋ก SOTA๋ฅผ ๋ฌ์ฑํ ์ ์์๊น?"
"๋ฐ์ดํฐ ํฉ์ฑ๊ณผ ์ ์ ๋ฅผ ํตํฉํ ์ ์์๊น?"
์๋ จ๋ ์๋ฆฌ์ฌ๊ฐ ์ฌ๋ฃ ์ ๋ณ๋ถํฐ ์กฐ๋ฆฌ๊น์ง ์ผ๊ด๋๊ฒ ๊ด๋ฆฌํ๋ฏ, DataFlow๋ LLM์ ํ์ฉํด ๋ฐ์ดํฐ ์ค๋น์ ์ํฌํ๋ก์ฐ๋ฅผ ํตํฉ ์๋ํํฉ๋๋ค. ๋ ์์ ๋ฐ์ดํฐ์ ์ผ๋ก๋ ๋ค์ํ ํ์คํฌ์์ SOTA ์ฑ๋ฅ์ ๋ฌ์ฑํ๊ฑฐ๋ ์ด๊ณผํฉ๋๋ค. ํนํ ์ฃผ๋ชฉํ ์ :
๋ฐ์ดํฐ ์ค๋น๋ถํฐ ์ ์ ๊น์ง ํตํฉ ์๋ํ
๋ ์์ ๋ฐ์ดํฐ์ ์ผ๋ก ๋๋ฑํ๊ฑฐ๋ ์ฐ์ํ ์ฑ๋ฅ
๋ค์ํ ํ์คํฌ์์ ์ผ๊ด๋ SOTA ๋ฌ์ฑ
๐ฏ ์ ์ด๊ฒ์ด ๊ฒ์ ์ฒด์ธ์ ์ธ๊ฐ? : ์๋ ๋ฐ์ดํฐ ์ค๋น โ LLM ๊ธฐ๋ฐ ์๋ํ๋ ๋ฐ์ดํฐ ์ํฌํ๋ก์ฐ์ ์ ํ์
๐ ๋ ์์ธํ ๋ด์ฉ์ด ๊ถ๊ธํ๋ค๋ฉด : ๋
ผ๋ฌธ ๋งํฌ
๐๏ธ "๋์ฝ๋๋ง ์ฐ๋ฉด ๋๋ค"๋ ์์ ๊นจ์ก๋ค: 128K ํ ํฐ ์ฒ๋ฆฌํ๋ ๊ฒฝ๋ ๋ชจ๋ธ์ ์ญ์ต
๐๏ธ ์์: Google DeepMind
๐ท๏ธ ํต์ฌ ํค์๋: Encoder-Decoder, 128K Context, Multilingual Multimodal
๐ญ ์ด๋ฐ ์ง๋ฌธ์ ํด๋ณธ ์ ์๋์?
"์ธ์ฝ๋-๋์ฝ๋ ๊ตฌ์กฐ๊ฐ ๋์ฝ๋ ์ ์ฉ ๋ชจ๋ธ์ ์ด๊ธธ ์ ์์๊น?"
"๋ค๊ตญ์ด, ๋ฉํฐ๋ชจ๋ฌ, ๊ธด ์ปจํ ์คํธ๋ฅผ ๋์์ ์ง์ํ ์ ์์๊น?"
"๊ฒฝ๋ ๋ชจ๋ธ๋ก 128K ํ ํฐ์ ์ฒ๋ฆฌํ ์ ์์๊น?"
๋ฅ์ํ ํต์ญ์ฌ๊ฐ ๊ธด ์ฐ์ค์ ๋ฃ๊ณ ํต์ฌ์ ์ ํํ ์ ๋ฌํ๋ฏ, T5Gemma 2๋ ๊ฒฝ๋ ์ธ์ฝ๋-๋์ฝ๋ ๊ตฌ์กฐ๋ก 128K ํ ํฐ์ ๊ธด ์ปจํ ์คํธ๋ฅผ ์ดํดํฉ๋๋ค. ๋ค๊ตญ์ด์ ๋ฉํฐ๋ชจ๋ฌ ์ธ์๊น์ง ์ง์ํ๋ฉฐ Gemma 3 ๋์ฝ๋ ์ ์ฉ ๋ชจ๋ธ๊ณผ ๋๋ฑํ๊ฑฐ๋ ์ฐ์ํ ์ฑ๋ฅ์ ๋ณด์ ๋๋ค. ํนํ ์ฃผ๋ชฉํ ์ :
์ธ์ฝ๋-๋์ฝ๋์ ๊ตฌ์กฐ์ ํจ์จ์ฑ ํ์ฉ
๋์ฝ๋ ์ ์ฉ Gemma 3์ ๋๋ฑํ๊ฑฐ๋ ์ฐ์ํ ์ฑ๋ฅ
๋ค๊ตญ์ด, ๋ฉํฐ๋ชจ๋ฌ, 128K ๊ธด ์ปจํ ์คํธ ๋์ ์ง์
๐ฏ ์ ์ด๊ฒ์ด ๊ฒ์ ์ฒด์ธ์ ์ธ๊ฐ? : ๋์ฝ๋ ์ ์ฉ ํธ๋ ๋ โ ์ธ์ฝ๋-๋์ฝ๋์ ์ฌ๋์ฝ ์ ํ์
๐ ๋ ์์ธํ ๋ด์ฉ์ด ๊ถ๊ธํ๋ค๋ฉด : ๋
ผ๋ฌธ ๋งํฌ
๋งค์ฃผ ํ์์ผ ์ค์ 8์,
๋ฐ์ ๋น์ ์ ๊ธฐ์ ๋ฐ์ ์ ๋ค์ณ์ง์ง ์๊ฒ ๋ง๋ค์ด์ค
์ต์ AI ํธ๋ ๋๊ฐ ์์ฝ ์ ๋ฆฌ๋ณธ์ผ๋ก ์ ๋ฌ๋ฉ๋๋ค!