금주 캐치페이퍼는 Alibaba, ByteDance, Tencent, Microsoft, Anthropic, Google, Meta, OPPO, Bosch와 함께합니다. 3분만 투자해 쓱 둘러보고, 빠르게 바뀌는 기술의 방향성을 놓치지 마세요!

📈 최신 AI 트렌드 3줄 요약

🌟 이미지·영상·3D 생성 모델의 ’품질 경쟁’에서 ’물리 법칙 준수 경쟁’으로 전환

🔥 테스트 타임 스케일링, 셀프 디스틸레이션, RL 포스트트레이닝 — 추론 시점에서 성능을 쥐어짜는 기법들이 동시 폭발

🚀 AI 에이전트를 ’즉흥 프로토타입’이 아닌 ’프로덕션 소프트웨어’로 다루자는 패러다임 전환 시작

🎨 “1K 토큰 프롬프트로 포스터를 찍어낸다”

🏛️ 소속: Alibaba (Tongyi Lab)

🏷️ 핵심 키워드: Image Generation, Multimodal Diffusion Transformer, Text Rendering

💭 이런 질문을 해본 적 있나요?

• AI 이미지 생성기에 긴 텍스트를 넣으면 왜 글자가 깨질까?

• 한국어·중국어·아랍어가 섞인 포스터를 AI로 만들 수 있을까?

• 이미지 생성과 편집을 하나의 모델로 통합할 수 있을까?

포토샵 장인에게 “이 슬라이드 디자인 바꿔줘, 근데 텍스트는 1000자야”라고 요청한다고 상상해보세요. Alibaba가 75명의 연구진을 투입해 만든 Qwen-Image-2.0이 바로 그 역할을 합니다. Qwen3-VL을 조건 인코더로 사용하고, Multimodal Diffusion Transformer로 이미지를 생성·편집하는 구조입니다.

핵심은 1K 토큰 길이의 프롬프트를 소화한다는 점. 슬라이드, 인포그래픽, 만화처럼 텍스트가 가득한 콘텐츠도 깨지지 않고 생성합니다. 다국어 타이포그래피 정확도도 대폭 향상됐습니다.

특히 주목할 점:

• 생성과 편집을 단일 프레임워크로 통합 — 별도 모델 불필요

• 1K 토큰 프롬프트 지원으로 텍스트 밀집 콘텐츠(슬라이드, 포스터) 생성 가능

• 이전 Qwen-Image 대�� Human Evaluation에서 생성·편집 모두 대폭 우위

🎯 왜 이것이 게임 체인저인가? : 짧은 프롬프트에 간단한 이미지 → 1K 토큰 복합 지시로 텍스트 밀집 콘텐츠까지 원샷 생성

🔗 https://arxiv.org/abs/2605.10730

🌍 “영상은 예쁜데, 물리 법칙은 틀렸다?”

🏛️ 소속: ByteDance

🏷️ 핵심 키워드: Video Generation, World Simulation, Physical Reasoning Benchmark

💭 이런 질문을 해본 적 있나요?

• AI가 만든 영상이 “그럴듯해 보이는 것”과 “물리적으로 맞는 것”은 같을까?

• 영상 생성 모델이 정말 ’월드 시뮬레이터’가 될 수 있을까?

• Seedance, Veo 같은 상용 모델의 물리 추론 능력은 어느 수준일까?

자동차가 벽을 뚫고 지나가는데 그림자는 완벽하다면, 이 영상 생성기를 월드 시뮬레이터라 부를 수 있을까요? ByteDance 팀이 436개 테스트 케이스로 영상 생성 모델의 ’물리적 상식’을 스트레스 테스트합니다.

WorldReasonBench는 초기 상태와 행동이 주어졌을 때, 생성된 영상이 물리적·사회적·논리적·정보적으로 일관된지를 평가합니다. 6K개 전문가 주석 쌍으로 구성된 WorldRewardBench도 함께 공개했습니다.

특히 주목할 점:

• 436개 구조화된 테스트 케이스, 4개 추론 차원 × 22개 하위 카테고리

• 시각적으로 그럴듯하지만 물리 추론에 실패하는 패턴이 전 모델에서 공통 발견

• 1.4K 영상에 대한 6K개 전문가 주석 쌍(WorldRewardBench) 공개

🎯 왜 이것이 게임 체인저인가? : “영상이 예쁘면 잘 만든 것” → “물리 법칙을 이해하는가?”로 평가 기준 자체를 전환

🔗 https://arxiv.org/abs/2605.10434

🧊 “사진 한 장에서 픽셀 단위로 3D를 뽑아낸다”

🏛️ 소속: Tencent, Tsinghua University

🏷️ 핵심 키워드: 3D Generation, Pixel Alignment, Image-to-3D

💭 이런 질문을 해본 적 있나요?

• 사진 속 물체를 3D로 변환할 때, 왜 원본과 미묘하게 달라질까?

• 3D 생성 모델이 “그럴듯한 3D”가 아니라 “정확한 3D”를 만들 수 있을까?

• 여러 각도 사진을 합쳐서 씬 전체를 3D로 만들 수 있을까?

기존 3D 생성 모델은 요리사가 레시피 사진만 보고 비슷한 요리를 만드는 것과 같았습니다 — 그럴듯하지만 원본과 다릅니다. Pixal3D는 사진의 각 픽셀을 직접 3D 공간에 투영하는 pixel back-projection 방식으로, 재구성(reconstruction) 수준의 충실도에 도달합니다.

특히 주목할 점:

• Pixel-to-3D 직접 대응으로 기존 attention 기반 방식의 모호성 제거

• 3D 재구성(reconstruction)에 근접하는 충실도(fidelity) 달성

• 멀티뷰 확장 시 여러 뷰의 feature volume을 자연스럽게 통합 → 씬 단위 3D 합성 가능

🎯 왜 이것이 게임 체인저인가? : “대략 비슷한 3D 생성” → “픽셀 단위 정밀 3D 생성, 재구성과 동급”

🔗 https://arxiv.org/abs/2605.10922

🔄 “오답으로 훈련시켰는데 추론이 된다고?”

🏛️ 소속: Microsoft Research

🏷️ 핵심 키워드: Self-Distillation, RLVR, Reasoning Exploration

💭 이런 질문을 해본 적 있나요?

• 셀프 디스틸레이션에서 학생이 이미 정답을 맞혔을 때도 선생 신호가 도움이 될까?

• 선생이 예측 못한 학생의 성공 경로가 오히려 더 가치 있는 건 아닐까?

• GRPO에 탐색(exploration)을 더 잘 주입할 방법은 없을까?

모범생이 교과서대로 풀었는데, 반항아가 엉뚱한 방법으로 정답을 맞혔습니다. 보통은 모범생을 따라가라고 하죠. 하지만 Microsoft Research 팀은 반대로 갑니다 — 선생이 예측하지 못한 학생의 성공 토큰이야말로 자기 주도 추론의 핵심이라고 봅니다.

RLRT는 GRPO 위에 이 “반전된 선생 신호”를 강화 학습합니다. 정답 롤아웃에서 선생과 다른 토큰을 강화하는 것이 핵심입니다.

특히 주목할 점:

• 기존 셀프 디스틸레이션과 탐색 기반 베이스라인을 모두 능가

• Qwen3 base, instruction-tuned, thinking-tuned 세 체크포인트 전부에서 일관된 향상

• 정보 비대칭(information asymmetry)을 RLVR의 새로운 설계 축으로 제시

🎯 왜 이것이 게임 체인저인가? : “선생 신호를 따라가기” → “선생이 모르는 학생만의 성공 경로를 강화”

🔗 https://arxiv.org/abs/2605.10781

🧬 “파인튜닝하면 다양성이 죽는다 — 스케일할수록”

🏛️ 소속: Anthropic, Harvard University

🏷️ 핵심 키워드: Mode Collapse, Post-Training, Annotation-Anchored Training

💭 이런 질문을 해본 적 있나요?

• SFT 후 모델이 왜 비슷한 답변만 반복하게 될까?

• 모델을 키울수록 이 문제가 더 심해진다면?

• 프리트레이닝의 다양성을 파인튜닝 후에도 유지할 방법이 있을까?

잘 만든 만능 요리사에게 “스테이크만 잘 해”라고 훈련시키면, 파스타 만드는 법을 잊어버립니다. 더 뛰어난 요리사일수록 더 빨리 잊어버립니다. Anthropic 팀은 이 스케일과 함께 악화되는 모드 붕괴 현상을 정량적으로 밝히고, 해법을 제시합니다.

annotation-anchored training은 프리트레이닝 시 문서에 의미 주석을 붙이고, 포스트트레이닝에서도 이 분포를 보존합니다. 추론 시 다양한 주석을 샘플링해 생성을 유도하면, 프리트레이닝의 의미적 풍부함이 살아납니다.

특히 주목할 점:

• SFT의 다양성 붕괴가 스케일과 함께 악화된다는 것을 최초로 정량 입증

• Annotation-anchored training으로 다양성 붕괴 6배 감소

• 선호도 학습(instruction following) 능력은 유지하면서 다양성만 복원

🎯 왜 이것이 게임 체인저인가? : “SFT는 다양성을 희생하는 것” → “주석 앵커로 다양성과 지시 수행을 동시 확보”

🔗 https://arxiv.org/abs/2605.09995

🏗️ “에이전트, 아직도 즉흥으로 만드세요?”

🏛️ 소속: Google, Columbia University

🏷️ 핵심 키워드: AI Agents, Software Engineering, Workflow Store

💭 이런 질문을 해본 적 있나요?

• AI 에이전트가 매번 새로 계획을 짜는 게 정말 효율적일까?

• 프로덕션 소프트웨어에 쓰는 테스트·배포 절차를 에이전트에도 적용할 수 있을까?

• 검증된 워크플로우를 앱스토어처럼 공유하고 재사용할 수 있다면?

건축가가 매번 벽돌 쌓는 법부터 즉흥으로 발명한다면 아무도 그 건물에 살고 싶지 않을 겁니다. Google 팀은 현재 AI 에이전트가 바로 그 상태라고 주장합니다 — “on-the-fly 합성”이 소프트웨어 공학의 기본 원칙(테스트, 검증, 단계적 배포)을 건너뛰고 있다는 것입니다.

AI Workflow Store는 검증되고 경량화된 워크플로우를 에이전트가 호출할 수 있는 앱스토어 같은 구조를 제안합니다.

특히 주목할 점:

• “on-the-fly 합성 = 즉흥 프로토타입”이라는 도발적 프레이밍

• 유연성-견고성 트레이드오프를 명시적으로 정의하고 내비게이션 전�� 제시

• 워크플로우의 재사용으로 검증 비용을 커뮤니티에 분산(amortize)하는 설계

🎯 왜 이것이 게임 체인저인가? : “에이전트가 매번 새로 계획·실행” → “검증된 워크플로우를 앱스토어처럼 재사용”

🔗 https://arxiv.org/abs/2605.10907

⚡ “추천 모델에 FP8? 직접 넣으면 망한다”

🏛️ 소속: Meta

🏷️ 핵심 키워드: FP8, Recommendation Models, System-Model Co-design

💭 이런 질문을 해본 적 있나요?

• LLM에서 잘 되는 FP8이 추천 모델에서는 왜 실패할까?

• 추천 모델은 왜 수치적으로 그렇게 민감할까?

• 어떤 레이어는 FP8이 안전하고 어떤 레이어는 위험한지 자동으로 판별할 수 있을까?

LLM에서 FP8은 마법의 가속기였지만, 추천 모델(LRM)에 같은 레시피를 적용하면 모델 품질이 무너집니다. 작은 행렬 곱셈, 정규화 후속 연산, 통신 집약 환경 — LRM의 구조적 특성이 저정밀 연산과 충돌하기 때문입니다.

Meta의 LoKA는 “어디가 안전한지 먼저 측정하고(Probe), 안전하게 만들고(Mods), 최적 커널을 선택(Dispatch)”하는 3단계 프레임워크입니다.

특히 주목할 점:

• LoKA Probe: 온라인 통계 기반으로 레이어별 FP8 안전도를 자동 판별

• LoKA Mods: 수치 안정성과 실행 효율을 동시에 개선하는 모델 어댑테이션

• 시스템-모델 공동 설계(co-design) 접근 — 커널만 바꿔서는 해결 불가능하다는 점을 입증

🎯 왜 이것이 게임 체인저인가? : “FP8 커널을 갈아끼우면 된다” → “어디가 안전한지 측정하고, 모델을 적응시키고, 런타임이 선택한다”

🔗 https://arxiv.org/abs/2605.10886

🔬 “54개 분야, 수학부터 생물까지 — AI가 과학 추론을 할 수 있을까?”

🏛️ 소속: OPPO AI Center, Chinese Academy of Sciences (CAS)

🏷️ 핵심 키워드: Scientific Reasoning, Multimodal Benchmark, Multi-step Inference

💭 이런 질문을 해본 적 있나요?

• AI가 수학 공식, 화학 구조식, 천문 차트를 동시에 이해할 수 있을까?

• 정답만 맞추는 것과 추론 과정이 맞는 것은 어떻게 구분할까?

• 기존 과학 벤치마크가 실제 과학적 추론의 복잡성을 담아내고 있을까?

기말고사에서 정답만 맞추면 A+를 주는 학교와, 풀이 과정까지 채점하는 학교 — 어디가 진짜 실력을 가려낼까요? SciVQR은 후자입니다. 수학·물리·화학·지리·천문·생물 54개 세부 분야에 걸쳐, 정답뿐 아니라 추론 과정까지 평가합니다.

특히 주목할 점:

• 54개 세부 분야, 도메인 특화 비주얼(수식, 차트, 다이어그램) 포함

• 46%의 문제에 전문가 작성 풀이 제공 — 추론 과정 추적 가능

• 최고 성능 MLLM도 복합 다단계 추론 과제에서 유의미한 한계 노출

🎯 왜 이것이 게임 체인저인가? : “정답 맞추기 벤치마크” → “추론 과정까지 다학제·멀티모달로 검증”

🔗 https://arxiv.org/abs/2605.10187

🚗 “AI 영상이 물 흐르는 방향을 아는지 물어봤다”

🏛️ 소속: Bosch, Northeastern University

🏷️ 핵심 키워드: Physical Laws, Video Generation, Physics-Aware Evaluation

💭 이런 질문을 해본 적 있나요?

• 영상 생성 모델이 중력, 유체 역학, 광학을 제대로 이해할까?

• “물리적으로 그럴듯한 영상”과 “물리 법칙을 따르는 영상”의 차이는 얼마나 클까?

• 인간 평가자 459명의 판단을 자동화할 수 있을까?

유리잔에 물을 붓는 영상을 생성했는데, 물이 위로 올라갑니다. 그런데 조명 반사는 완벽합니다. Bosch 팀은 이런 물리 법칙 위반을 13가지 물리 법칙 × 세부 관찰 질문으로 체계적으로 잡아냅니다.

459명의 인간 평가자가 37.4K개의 세밀한 레이블을 생성했고, 이를 자동화하는 PhyJudge-9B는 Gemini-3.1-Pro보다 5배 낮은 편향(3.3% vs 16.6%)을 달성했습니다.

특히 주목할 점:

• 고체 역학, 유체 역학, 광학 등 13가지 물리 법칙 별 진단 가능

• 459명 평가자, 37.4K 레이블 — 분할 신뢰도(Spearman ρ > 0.90) 확보

• PhyJudge-9B의 종합 상대 편향 3.3% vs Gemini-3.1-Pro 16.6%

🎯 왜 이것이 게임 체인저인가? : “물리 평가 = 대략적 인간 평가” → “법칙별 세분화 진단 + 오픈소스 자동 평가기”

🔗 https://arxiv.org/abs/2605.10806

🤝 “에이전트 10개가 기억을 공유하면 추론이 스케일된다”

🏛️ 소속: Independent

🏷️ 핵심 키워드: Test-Time Scaling, Multi-Agent, Hierarchical Memory

💭 이런 질문을 해본 적 있나요?

• 추론 시간에 컴퓨트를 더 쓰면 정말 성능이 올라갈까?

• 여러 에이전트가 병렬로 추론할 때, 서로의 실패에서 배울 수 있을까?

• 탐색(exploration)과 활용(exploitation)의 균형을 추론 시점에 잡을 수 있을까?

체스 대회에서 한 명이 혼자 고민하는 것과, 10명이 각자 풀되 “이 수는 막다른 길이야”라는 메모를 공유하는 것 — 어느 쪽이 나을까요? TMAS는 후자를 AI 추론에 구현합니다.

핵심은 계층적 메모리: experience bank는 검증된 중간 결론을 재사용하고, guideline bank는 이미 시도한 전략을 기록해 중복 탐색을 방지합니다. Hybrid reward RL로 기본 추론력 보존 + 경험 활용 + 새로운 전략 탐색을 동시에 강화합니다.

특히 주목할 점:

• HuggingFace upvotes 43 — 커뮤니티 주목도 최상위

• 기존 테스트 타임 스케일링 베이스라인 대비 더 강한 반복적 스케일링 달성

• Hybrid reward 학습이 반복 간 스케일링의 효과성과 안정성 모두 개선

🎯 왜 이것이 게임 체인저인가? : “병렬 추론 = 독립 시도 후 최선 선택” → “에이전트 간 경험·전략 공유로 협력적 스케일링”

🔗 https://arxiv.org/abs/2605.10344

매주 목요일 오전 8시,
바쁜 당신을 기술 발전에 뒤쳐지지 않게 만들어줄
최신 AI 트렌드 요약본이 전달됩니다! 🚀