금주 캐치페이퍼는 Meta, Alibaba, Microsoft, NVIDIA, Kwai, Adobe와 함께합니다. 3분만 투자해 쓱 둘러보고, 빠르게 바뀌는 기술의 방향성을 놓치지 마세요!

📈 최신 AI 트렌드 3줄 요약

🌟 멀티모달 통합의 새 기준: 인코더 없이 픽셀만으로 이해+생성을 동시에

🔥 에이전트 재귀·자기증류·메타태스크 — “더 적게 쓰고 더 똑똑하게”가 핵심 흐름

🚀 비디오 생성이 3D 물리 법칙을 배우기 시작 — RL로 기하학적 일관성 확보

👁️ “비전 인코더를 통째로 버렸는데 SOTA다”

🏛️ 소속: Meta, Amazon, HKU, University of Waterloo, University of Surrey

🏷️ 핵심 키워드: Unified Multimodal Model, Pixel Embeddings, Encoder-Free Architecture

💭 이런 질문을 해본 적 있나요?

• 멀티모달 모델에 꼭 거대한 비전 인코더가 필요할까?

• 이미지 이해와 생성을 하나의 표현 공간에서 할 수는 없을까?

• VAE 없이 픽셀만으로 고품질 이미지를 만들 수 있다면?

자동차 엔진룸을 열어보니 부품이 절반으로 줄었는데, 오히려 더 빨라졌다고 상상해보세요. Tuna-2가 정확히 그 일을 해냈습니다. 기존 멀티모달 모델들은 이미지를 이해하려면 CLIP 같은 비전 인코더가, 생성하려면 VAE가 각각 필요했습니다. Tuna-2는 이 모든 걸 버리고, 단순한 패치 임베딩 레이어만으로 픽셀을 직접 처리합니다. 결과는? 이해와 생성 모두 SOTA.

특히 주목할 점:

• 인코더 기반 모델이 초기 학습에선 빠르지만, 스케일업하면 인코더-프리가 역전

• 세밀한 시각 인식(fine-grained visual perception)에서 특히 강점

• latent-space 방식과 동등 이상의 이미지 생성 품질 달성

🎯 왜 이것이 게임 체인저인가? : 이해용 인코더 + 생성용 디코더를 따로 훈련 → 픽셀 하나로 이해·생성을 end-to-end 통합, 아키텍처 단순화의 새 패러다임

🔗 https://arxiv.org/abs/2604.24763

🎬 “50스텝 걸리던 영상 생성, 4스텝이면 된다고?”

🏛️ 소속: Alibaba, ByteDance, Nankai University

🏷️ 핵심 키워드: Audio-Video Generation, Self-Distillation, Autoregressive Streaming

💭 이런 질문을 해본 적 있나요?

• 오디오와 비디오를 동시에 실시간으로 생성할 수 있을까?

• 증류에 꼭 별도 teacher 모델이 필요할까?

• 스트리밍 생성에서 훈련-추론 불일치를 어떻게 줄이지?

보통 빠른 모델을 만들려면 느린 “선생님 모델”을 먼저 만들고, 그 지식을 압축하는 과정을 거칩니다. Mutual Forcing은 이 관행을 뒤집었습니다. 하나의 모델 안에 few-step 모드와 multi-step 모드를 공존시켜, 서로가 서로의 선생님이 됩니다. multi-step이 few-step에게 품질을 가르치고, few-step이 훈련 중 실제 추론 맥락을 만들어 일관성을 높입니다.

특히 주목할 점:

• 50 sampling step 모델과 동등 이상 품질을 4~8스텝으로 달성

• 별도 bidirectional teacher 모델 불필요 — 학습 오버헤드 대폭 감소

• 오디오-비디오 장기 동기화(long-horizon synchronization) 유지

🎯 왜 이것이 게임 체인저인가? : teacher→student 증류 파이프라인 필수 → 단일 모델 내 dual-mode 자기진화로 실시간 AV 생성

🔗 https://arxiv.org/abs/2604.25819

🎨 “이미지 편집, 5개 메타태스크면 21개를 커버한다”

🏛️ 소속: Microsoft Research, Tsinghua University

🏷️ 핵심 키워드: Image Editing, Chain-of-Thought, Meta-Task Decomposition

💭 이런 질문을 해본 적 있나요?

• 이미지 편집 모델이 처음 보는 편집 유형도 해낼 수 있을까?

• CoT를 이미지 편집에 쓰면 어떤 형태가 가장 효과적일까?

• 편집 작업을 더 작은 “원자” 단위로 쪼갤 수 있다면?

레시피를 외우는 요리사와 재료의 원리를 이해하는 요리사의 차이입니다. Meta-CoT는 모든 편집 의도를 (태스크, 대상, 필요 이해 능력)의 삼중항으로 분해합니다. 그리고 이 삼중항을 5개 기본 메타태스크로 더 쪼갭니다. 놀라운 건, 이 5개만 훈련하면 본 적 없는 편집 작업에도 일반화된다는 것입니다.

특히 주목할 점:

• 21개 편집 태스크에서 평균 15.8% 성능 향상

• 소수의 메타태스크 훈련만으로 unseen 편집 태스크에 일반화

• CoT-Editing Consistency Reward로 추론-편집 정합성 강화

🎯 왜 이것이 게임 체인저인가? : 편집 유형마다 개별 학습 → 5개 메타태스크로 분해해 모든 편집에 일반화

🔗 https://arxiv.org/abs/2604.24625

🤖 “218명이 만든 30B 모델, 3B만 활성화된다”

🏛️ 소속: NVIDIA

🏷️ 핵심 키워드: Multimodal LLM, Mixture of Experts, Audio-Video-Text-Image

💭 이런 질문을 해본 적 있나요?

• 텍스트·이미지·비디오·오디오를 하나의 모델이 동시에 처리할 수 있을까?

• 30B 모델을 3B 연산량으로 돌릴 수 있다면?

• 오픈소스 멀티모달 모델이 실용적 수준에 도달했나?

218명의 연구진이 투입된 NVIDIA의 야심작입니다. Nemotron 3 Nano Omni는 텍스트, 이미지, 비디오에 더해 오디오까지 네이티브로 지원하는 첫 Nemotron 모델입니다. 30B 파라미터 중 3B만 활성화하는 MoE 구조로, 문서 이해·장시간 AV 이해·에이전틱 컴퓨터 사용에서 선도적 결과를 보여줍니다. BF16/FP8/FP4 체크포인트와 훈련 데이터 일부까지 공개.

특히 주목할 점:

• 30B-A3B(30B 파라미터, 3B 활성) — 추론 지연 및 처리량에서 동급 대비 우위

• 실세계 문서 이해, 장시간 오디오-비디오, 에이전틱 컴퓨터 사용에서 최고 성능

• 모델 체크포인트 + 훈련 데이터 + 코드 오픈소스 공개

🎯 왜 이것이 게임 체인저인가? : 모달리티별 별도 모델 운용 → 하나의 효율적 MoE 모델이 4개 모달리티를 네이티브 처리

🔗 https://arxiv.org/abs/2604.24954

📝 “KV 캐시를 요약하면 O(n)이 O(n/k)가 된다”

🏛️ 소속: Kwai (Kuaishou Technology)

🏷️ 핵심 키워드: Long-Context LLM, KV Cache Compression, Summary Tokens

💭 이런 질문을 해본 적 있나요?

• KV 캐시를 최소화하는 것만이 답인가?

• GQA나 MLA를 넘어서는 새로운 압축 경로가 있을까?

• 긴 문맥의 의미를 보존하면서 메모리를 줄이는 “중간 지점”은?

고속도로에서 100km 뒤의 풍경을 기억하는 법은 두 가지입니다. 사진을 다 저장하거나, 핵심만 메모하거나. Kwai Summary Attention(KSA)은 후자를 택했습니다. 기존 접근법이 KV 캐시를 헤드 단위(GQA)나 차원 단위(MLA)로 줄이되 시퀀스 길이에는 1:1로 묶여 있었다면, KSA는 과거 문맥을 학습 가능한 요약 토큰으로 의미 수준에서 압축합니다.

특히 주목할 점:

• O(n/k) 복잡도 — 시퀀스 길이 대비 KV 캐시를 비율 k로 압축

• GQA·SWA·MLA와 직교하는 새로운 압축 축 제안

• 장거리 의존성을 완전하고 해석 가능하게 보존

🎯 왜 이것이 게임 체인저인가? : KV 캐시 최소화 vs 전체 보존의 이분법 → 의미 수준 압축이라는 제3의 경로

🔗 https://arxiv.org/abs/2604.24432

🧊 “처음 만난 사용자 글도 스타일을 맞춘다”

🏛️ 소속: Adobe, Vanderbilt University

🏷️ 핵심 키워드: LLM Personalization, Cold-Start, Reinforcement Learning

💭 이런 질문을 해본 적 있나요?

• 히스토리가 거의 없는 신규 사용자에게 어떻게 개인화할까?

• 비슷한 문체의 사용자와 비슷한 취향의 사용자, 둘 다 활용할 수 있다면?

• RL로 개인화 추론을 반복 정제할 수 있을까?

넷플릭스를 처음 가입했는데 추천이 정확하다면? PAT 프레임워크는 cold-start 상황에서 두 가지 궤적을 동시에 추적합니다. 하나는 문체가 비슷한 사용자, 다른 하나는 주제 선호가 비슷한 사용자. 그리고 RL 기반 이중 추론으로 두 신호를 반복적으로 정제·통합합니다.

특히 주목할 점:

• 스파스 데이터 조건에서 생성 품질과 사용자 정렬도 일관 개선

• 문체(style) 궤적 + 선호(preference) 궤적의 이중 검색

• RL 기반 반복 정제로 노이즈 외부 신호를 정화

🎯 왜 이것이 게임 체인저인가? : 풍부한 히스토리 의존 개인화 → 스파스 데이터에서도 이중 궤적 RL로 즉시 개인화

🔗 https://arxiv.org/abs/2604.24996

🌐 “AI 영상에서 물체가 벽을 안 뚫는 날이 왔다”

🏛️ 소속: Monash University, Zhejiang University

🏷️ 핵심 키워드: Text-to-Video, 3D Consistency, Reinforcement Learning

💭 이런 질문을 해본 적 있나요?

• AI가 만든 영상에서 왜 물체가 벽을 통과하고 기하학이 깨질까?

• 비디오 모델에 3D 물리 법칙을 가르칠 수 있을까?

• 아키텍처를 안 바꾸고도 기하학적 일관성을 주입하는 방법이 있다면?

영화 속 VFX 아티스트가 매 프레임 물리 법칙을 확인하듯, World-R1은 3D 파운데이션 모델과 VLM을 “심판”으로 세워 비디오 생성 모델을 RL로 훈련합니다. 핵심은 아키텍처를 전혀 건드리지 않는다는 것. Flow-GRPO로 3D 구조 피드백을 반영하고, 주기적 분리 훈련(periodic decoupled training)으로 기하학적 강성과 동적 장면의 유연성을 동시에 확보합니다.

특히 주목할 점:

• HuggingFace 커뮤니티 upvotes 108 — 이번 주 최다 관심 논문

• 아키텍처 변경 없이 RL만으로 3D 일관성 대폭 향상

• 원본 비주얼 품질을 유지하면서 기하학적 정합성 확보

🎯 왜 이것이 게임 체인저인가? : 3D 프라이어를 아키텍처에 하드코딩 → RL 피드백으로 기존 모델에 3D 물리를 소프트 주입

🔗 https://arxiv.org/abs/2604.24764

🔍 “3D 공간 이해 벤치마크, 답이 틀려 있었다”

🏛️ 소속: University of Waterloo, Simon Fraser University

🏷️ 핵심 키워드: VLM Evaluation, 3D Spatial Reasoning, Benchmark Quality

💭 이런 질문을 해본 적 있나요?

• VLM의 3D 공간 추론 점수를 정말 믿어도 되나?

• 벤치마크의 정답 자체가 틀려 있다면?

• 모델이 16프레임만 보는데, 전체 씬 기반 질문을 던지는 게 공정한가?

시험 문제의 정답지가 틀려 있었다면, 그 시험 성적을 믿을 수 있을까요? ReVSI는 기존 3D 공간 추론 벤치마크의 근본적 결함을 폭로합니다. 포인트클라우드 기반 3D 어노테이션을 영상 기반 평가에 그대로 쓰면서 발생한 오류들 — 보이는 물체 누락, 객체 ID 오류, 기하학 답 왜곡. 381개 씬을 전문 3D 도구로 재어노테이션하고, 프레임 버짓(16/32/64/all)별 변형까지 제공합니다.

특히 주목할 점:

• HuggingFace 59 upvotes — 기존 벤치마크 신뢰성에 대한 뜨거운 관심

• 381개 씬(5개 데이터셋)을 전문 3D 도구로 재어노테이션

• 기존 벤치마크에서 가려졌던 VLM의 체계적 실패 모드 발견

🎯 왜 이것이 게임 체인저인가? : 3D 어노테이션을 그대로 VLM 평가에 재활용 → 모델 실제 입력 기준으로 정답성을 보장하는 평가 프로토콜

🔗 https://arxiv.org/abs/2604.24300

🔄 “에이전트끼리 재귀하면 8.3% 올라간다”

🏛️ 소속: Stanford University, MIT, UIUC

🏷️ 핵심 키워드: Multi-Agent Systems, Recursive Computation, Latent-Space Collaboration

💭 이런 질문을 해본 적 있나요?

• 멀티에이전트 시스템의 협업 자체를 스케일링할 수 있을까?

• 에이전트 간 소통을 텍스트 대신 잠재 공간에서 하면?

• 재귀적 반복으로 에이전트 시스템 전체를 공동 최적화한다면?

한 사람이 같은 문제를 반복해서 생각하면 더 나은 답을 내듯, 여러 에이전트가 잠재 공간에서 재귀적으로 협업하면 어떨까요? RecursiveMAS는 이종 에이전트를 하나의 재귀 루프로 연결하고, 내부-외부 루프 학습 알고리즘으로 전체 시스템을 공동 최적화합니다. 텍스트 기반 MAS 대비 토큰을 34.6~75.6% 절감하면서 정확도는 8.3% 향상.

특히 주목할 점:

• 9개 벤치마크(수학, 과학, 의학, 검색, 코드)에서 평균 8.3% 정확도 향상

• 1.2~2.4배 end-to-end 추론 속도 향상 + 토큰 34.6~75.6% 절감

• 4개 대표적 에이전트 협업 패턴 모두에서 일관된 개선

🎯 왜 이것이 게임 체인저인가? : 에이전트 간 텍스트 기반 1회성 소통 → 잠재 공간 재귀 루프로 전체 시스템 공동 최적화

🔗 https://arxiv.org/abs/2604.25917

📊 “최강 모델도 시각화 실무에선 50% 미만이라니”

🏛️ 소속: Chinese Academy of Sciences

🏷️ 핵심 키워드: Data Visualization, Agent Benchmark, Enterprise Workflow

💭 이런 질문을 해본 적 있나요?

• AI 에이전트가 실무 수준의 데이터 시각화를 할 수 있을까?

• “차트 그려줘”가 아니라 “이 대시보드 고쳐줘”도 가능할까?

• 사용자 의도가 애매할 때 에이전트가 능동적으로 확인할 수 있다면?

코드 샌드박스에서 차트를 예쁘게 그리는 것과, 실제 스프레드시트를 열어 대시보드를 수정하고, 애매한 요구사항을 스스로 확인하는 것은 완전히 다른 능력입니다. DV-World는 260개 태스크로 이 현실을 정면 돌파합니다. 네이티브 스프레드시트 조작, 크로스 플랫폼 시각화 진화, 사용자 시뮬레이터와의 능동적 의도 정렬까지.

특히 주목할 점:

• SOTA 모델들의 전체 성능 50% 미만 — 실무 시각화의 난이도 입증

• 3개 도메인: 스프레드시트 조작(DV-Sheet), 시각화 진화(DV-Evolution), 의도 정렬(DV-Interact)

• Table-value Alignment + MLLM-as-a-Judge 하이브리드 평가 체계

🎯 왜 이것이 게임 체인저인가? : 코드 샌드박스 내 차트 생성 벤치마크 → 네이티브 환경에서 전체 시각화 라이프사이클을 평가

🔗 https://arxiv.org/abs/2604.25914

매주 목요일 오전 8시,
바쁜 당신을 기술 발전에 뒤쳐지지 않게 만들어줄
최신 AI 트렌드 요약본이 전달됩니다! 🚀