금주 캐치페이퍼는 Meta, Google, Alibaba, Microsoft, Tencent와 함께합니다. 3분만 투자해 쓱 둘러보고, 빠르게 바뀌는 기술의 방향성을 놓치지 마세요!

📈 최신 AI 트렌드 3줄 요약

🌟 “처음부터 만들어봐” — AI 코딩 에이전트의 진짜 실력을 시험하는 벤치마크 경쟁이 시작됐다

🔥 비디오 생성 모델이 물리법칙 너머 ’예술적 규칙’까지 학습하는 단계로 진화 중

🚀 LLM의 할루시네이션 제어가 “탐색과 확정을 분리”하는 새로운 패러다임으로 전환되고 있다

🏗️ “FFmpeg를 처음부터 짜봐” — 최고 모델도 3%만 통과했다

🏛️ 소속: Meta, Princeton University

🏷️ 핵심 키워드: Software Engineering Benchmark, Code Generation, Program Synthesis

💭 이런 질문을 해본 적 있나요?

• AI 코딩 에이전트가 버그 하나 고치는 것 말고, 진짜 소프트웨어를 설계할 수 있을까?

• FFmpeg이나 SQLite 같은 프로그램을 문서만 보고 다시 만들라면?

• 왜 AI가 만든 코드는 항상 단일 파일 스파게티가 될까?

레시피를 따라 요리하는 것과, 레시피 없이 맛만 보고 전체 코스 요리를 재현하는 것은 차원이 다른 능력이다. ProgramBench는 AI에게 후자를 요구한다. 프로그램의 실행 결과와 문서만 주고, “이걸 처음부터 설계하고 구현해봐”라고 시킨다. FFmpeg, SQLite, PHP 인터프리터까지 포함된 200개 태스크에서, 최고 모델조차 95% 테스트 통과율을 달성한 태스크는 단 3%뿐이었다.

특히 주목할 점:

• 9개 최신 LM 모두 단 하나의 태스크도 완전히 해결하지 못함

• 모델들이 일관되게 단일 파일 모놀리식 구현을 선호 — 인간 코드와 극명한 차이

• Agent-driven fuzzing으로 구현 구조를 강제하지 않는 행동 기반 테스트 생성

🎯 왜 이것이 게임 체인저인가? : “버그 하나 고치기” 벤치마크 → “소프트웨어를 처음부터 설계하라”는 전인적 평가로 전환

🔗 https://arxiv.org/abs/2605.03546

🩺 AI 의사가 진짜 의사를 2.5배 이겼다고?

🏛️ 소속: Google (Fitbit)

🏷️ 핵심 키워드: Medical AI, Conversational Diagnosis, Wearable Integration

💭 이런 질문을 해본 적 있나요?

• 두통이 있을 때 AI에게 물어보면 진짜 쓸 만한 진단을 받을 수 있을까?

• 병원에 갈 정도인지 아닌지, AI가 판단할 수 있을까?

• Fitbit 같은 웨어러블 데이터가 진단 정확도를 높일 수 있을까?

13,917명이 Fitbit 앱을 통해 실제로 AI 의사와 대화했다. 증상을 설명하고, AI가 추가 질문을 하고, 진단을 내렸다. 결과? 같은 대화록을 본 실제 임상의보다 AI의 감별진단 정확도가 OR 2.47로 유의미하게 높았다. 핵심은 AI가 ‘능동적으로 증상을 캐묻는’ 전략이 사용자가 자유롭게 말하는 방식보다 압도적으로 나았다는 것.

특히 주목할 점:

• 1,228명이 실제 임상의 진단을 받아 검증 — 가상 시나리오가 아닌 실제 환자 데이터

• 능동 인터뷰 전략이 자유 대화 대비 유의미하게 우수 (p < 0.001)

• 50만 일 분량의 웨어러블 데이터에서 인플루엔자 감염과 생리적 변화의 OR > 7 확인

🎯 왜 이것이 게임 체인저인가? : 의학 벤치마크 점수 경쟁 → 1.4만 명 실제 배포에서 임상의를 넘어선 최초 대규모 실증

🔗 https://arxiv.org/abs/2605.04012

📄 SOTA OCR도 현실 문서 앞에선 맥을 못 추나

🏛️ 소속: Alibaba (Ant Group)

🏷️ 핵심 키워드: OCR Benchmark, Document Processing, Multimodal Models

💭 이런 질문을 해본 적 있나요?

• GPT-4V가 OCR도 잘한다는데, 진짜 기업 문서에서도 잘 될까?

• 영수증이 구겨지거나 흐릿한 사진이면 어떻게 될까?

• 텍스트 인식, 문서 파싱, 정보 추출을 한꺼번에 테스트하면?

깔끔한 스캔 문서에서는 잘 작동하던 멀티모달 모델이, 현실의 구겨진 영수증과 흐릿한 계약서 앞에서는 급격히 무너진다. CC-OCR V2는 5개 OCR 트랙(텍스트 인식, 문서 파싱, 문서 그라운딩, 핵심 정보 추출, 문서 QA)에 걸쳐 7,093개 고난도 샘플로 14개 최신 LMM을 평가했다. SOTA 모델조차 현실 적용에는 한참 부족하다는 결론.

특히 주목할 점:

• 14개 최신 멀티모달 모델 중 현실 기업 문서 처리 요건을 충족하는 모델 없음

• 기존 벤치마크 성능과 현실 적용 사이의 격차가 상당함을 정량적으로 입증

• 전체 데이터셋과 평가 도구를 오픈소스로 공개

🎯 왜 이것이 게임 체인저인가? : “OCR은 해결된 문제” 인식 → 현실 기업 문서에서는 아직 갈 길이 멀다는 각성

🔗 https://arxiv.org/abs/2605.03903

🧠 “모르면 모른다고 해” — 할루시네이션 13% 줄이면서 속도는 37% 빨라졌다

🏛️ 소속: Microsoft Research

🏷️ 핵심 키워드: Hallucination Reduction, Calibration, Long-form Generation

💭 이런 질문을 해본 적 있나요?

• AI가 긴 글을 쓸 때 왜 뒤로 갈수록 거짓말이 늘어날까?

• “확실한 것만 말해”라고 하면 정말 될까?

• 사고 과정(CoT)에서 불확실한 정보가 최종 답변에 오염되는 걸 막을 수 있을까?

요리사가 100가지 요리를 한꺼번에 만들 때, 맛을 보면서 만드는 것과 레시피만 믿고 다 쏟아내는 것은 다르다. 기존 LLM은 추론 중 불확실한 정보를 그대로 최종 출력에 넘겼다. CAG(Calibration-Aware Generation)는 ’탐색’과 ’확정’을 분리한다. 중간 추론에 신뢰도 추정치를 달고, 확실한 정보만 최종 답에 반영한다.

특히 주목할 점:

• 5개 장문 사실성 벤치마크에서 최대 13% 사실성 향상

• 디코딩 시간 최대 37% 단축 (불확실한 경로 조기 차단 효과)

• 여러 모델 패밀리에 범용 적용 가능

🎯 왜 이것이 게임 체인저인가? : “할루시네이션 후 교정” → “생성 단계에서 원천 차단”으로 패러다임 전환

🔗 https://arxiv.org/abs/2605.01749

🎨 물리법칙? 애니메이션에선 틀려야 맞다

🏛️ 소속: Tencent

🏷️ 핵심 키워드: Anime Video Generation, Artistic Prior, Deformation-Aware Training

💭 이런 질문을 해본 적 있나요?

• AI로 애니메이션을 만들면 왜 ’동인지 느낌’이 아니라 ’실사 느낌’이 날까?

• 임팩트 프레임, 스미어, SD 변신 같은 애니 문법을 AI가 배울 수 있을까?

• 물리적으로 정확한 영상 생성 모델이 왜 애니에서는 오히려 실패할까?

기존 비디오 생성 모델은 물리 법칙을 내재화한다. 하지만 애니메이션은 의도적으로 물리를 위반한다 — 임팩트 프레임, 신체 비율 변형, 잔상 효과가 바로 예술이다. AniMatrix는 ’정확함’의 정의를 물리에서 예술로 재설정했다. 프로덕션 지식 시스템이 스타일·모션·카메라·VFX를 분류학으로 구조화하고, 변형 인식 선호도 최적화가 “의도된 예술”과 “단순 오류”를 구분한다.

특히 주목할 점:

• 프로 애니메이터 평가 5개 차원 중 4개에서 1위

• Seedance-Pro 1.0 대비 프롬프트 이해 +22.4%, 예술적 모션 +16.9%

• 모델 가중치와 추론 코드 공개 예정

🎯 왜 이것이 게임 체인저인가? : “물리적으로 정확한 영상 생성” → “예술적 규칙을 학습하는 창작 도구”로 전환

🔗 https://arxiv.org/abs/2605.03652

⚡ 스트리밍 비디오, 모든 픽셀을 똑같이 가르치면 안 된다

🏛️ 소속: USTC (중국과학기술대학교)

🏷️ 핵심 키워드: Video Distillation, Reward-guided Learning, Streaming Generation

💭 이런 질문을 해본 적 있나요?

• 실시간 비디오 생성에서 속도와 품질을 동시에 잡을 수 있을까?

• Teacher 모델의 출력이 항상 믿을 만한 건 아니라면?

• 영상의 어느 부분에 학습 자원을 집중해야 효과가 클까?

학생에게 모든 문제를 같은 비중으로 가르치는 선생은 비효율적이다. Stream-R1은 두 가지를 구분한다: 이 롤아웃을 배울 가치가 있는가(Inter-Reliability), 그리고 영상의 어디에 집중할 것인가(Intra-Perplexity). 보상 모델의 점수로 신뢰도를 판단하고, 그래디언트 현저성으로 개선 여지가 큰 픽셀/프레임에 최적화 압력을 집중한다.

특히 주목할 점:

• 시각 품질, 모션 품질, 텍스트 정합 3개 차원 모두 기존 증류 기준 일관 개선

• 아키텍처 변경이나 추론 비용 증가 없음

• 적응형 밸런싱으로 단일 품질 축 편향 방지

🎯 왜 이것이 게임 체인저인가? : “Teacher 출력 일괄 모방” → “신뢰도와 개선 여지를 판단하며 선택적으로 배우기”

🔗 https://arxiv.org/abs/2605.03849

🗂️ 2만 개 파일 워크스페이스, AI 에이전트 최고점이 68.7%라니

🏛️ 소속: Tsinghua University

🏷️ 핵심 키워드: AI Agent Benchmark, File Dependencies, Workspace Learning

💭 이런 질문을 해본 적 있나요?

• AI 에이전트에게 내 실제 작업 폴더를 줬을 때, 파일 간 의존성을 이해할까?

• 20GB짜리 워크스페이스에서 필요한 파일을 찾아 작업을 완료할 수 있을까?

• 현재 에이전트가 실제 직장인의 업무를 대체할 준비가 되었을까?

사무실 책상 위에 2만 개의 파일이 놓여있다고 상상해보자. 스프레드시트는 슬라이드를 참조하고, 코드는 설정 파일에 의존한다. Workspace-Bench는 5가지 직업 프로필, 74종 파일 형식, 20,476개 파일(최대 20GB)로 구성된 현실적 워크스페이스에서 388개 태스크를 평가한다. 최고 에이전트가 68.7%인 반면 인간은 80.7% — 아직 12%p 격차가 있다.

특히 주목할 점:

• 7개 기반 모델 × 4개 에이전트 하니스 조합 평가, 평균 성능 47.4%

• 7,399개 세부 평가 기준(rubrics)으로 크로스 파일 검색·맥락 추론·적응적 의사결정 측정

• 70% 비용 절감 가능한 Lite 버전(100 태스크) 함께 제공

🎯 왜 이것이 게임 체인저인가? : “단일 파일 코딩 벤치마크” → “실제 직장인 워크스페이스 전체를 다루는 종합 평가”

🔗 https://arxiv.org/abs/2605.03596

👁️ 당신이 매일 보는 풍경이 정신건강을 예측한다?

🏛️ 소속: University of Graz, TU Dresden

🏷️ 핵심 키워드: Visual Exposome, Mental Health, VLM Application

💭 이런 질문을 해본 적 있나요?

• 매일 보는 시각 환경이 스트레스와 기분에 영향을 줄까?

• “녹지가 정신건강에 좋다”는 걸 객관적으로 측정할 수 있을까?

• VLM(비전-언어 모델)이 심리학 연구에 쓸모가 있을까?

2,674장의 참가자 촬영 사진을 VLM으로 분석했다. “녹색이 얼마나 보이는가”부터 시작해, LLM 파이프라인으로 700만 건 논문에서 1,000개 환경 특징을 자동 추출하고, 이를 실제 이미지에서 측정했다. 결과: VLM이 추출한 녹색 비율은 순간 감정과 만성 스트레스를 유의미하게 예측했고, 추출된 맥락 평가 중 33%가 정신건강 지표와 상관.

특히 주목할 점:

• 700만 건 논문에서 LLM으로 환경-정신건강 연결 특징 1,000개 자동 마이닝

• VLM 추출 녹색 비율이 기존 검증된 벤치마크와 일치하는 예측력 확인

• 자기보고 편향 없는 1인칭 시각 환경의 객관적 정량화 최초 달성

🎯 왜 이것이 게임 체인저인가? : “설문지 기반 환경 평가” → “AI가 당신의 시야를 분석해 정신건강을 예측하는” 시각 노출체학(visual exposomics) 탄생

🔗 https://arxiv.org/abs/2605.03863

🔮 “눈이 먼저, 생각은 나중” — 시각 추론의 순서를 뒤집었다

🏛️ 소속: Independent

🏷️ 핵심 키워드: Visual Reasoning, Reinforcement Learning, Hallucination Reduction

💭 이런 질문을 해본 적 있나요?

• 비전-언어 모델이 이미지를 “보고” 답하는 건지, “추측”하는 건지 어떻게 알까?

• 시각 전문가의 기하학적 가이드가 오히려 추론을 방해할 수 있다면?

• 지각(perception)과 추론(reasoning)을 분리하면 할루시네이션이 줄까?

기존 방법은 시각 전문가 모델의 기하학적 정보를 그대로 주입했다. 하지만 이 감독 신호는 “기하학적 정밀도”에 편향되어 추론에는 오히려 방해가 됐다. PFlowNet은 지각과 추론을 분리하고, 변분 강화학습으로 추론 지향적 시각 행동을 유도한다. 결과적으로 V* Bench 90.6%, MME-RealWorld-lite 67.0%로 새로운 SOTA를 달성.

특히 주목할 점:

• V* Bench 90.6% — 시각 기반 추론에서 신기록

• 외부 전문가 모델 없이 자기 조건부(self-conditioned) 생성으로 해결

• 이론적 성능 보장과 실증적 결과를 동시에 제공

🎯 왜 이것이 게임 체인저인가? : “기하학 전문가 신호를 더 넣자” → “지각과 추론을 분리하고 추론 보상으로 시각을 유도하자”

🔗 https://arxiv.org/abs/2605.02730

⚖️ AI 특허 심사관 vs AI 출원인 — 누가 이길까?

🏛️ 소속: Independent

🏷️ 핵심 키워드: Patent Examination, Legal Reasoning, Multi-turn Benchmark

💭 이런 질문을 해본 적 있나요?

• 특허 심사의 거절→반론→재심 과정을 AI가 시뮬레이션할 수 있을까?

• 심사관 역할과 출원인 역할 중 AI는 어느 쪽을 더 잘할까?

• 법적 추론과 기술적 신규성 판단을 동시에 요구하면 LLM이 버틸까?

학술 논문의 피어리뷰와 리버틀이 있듯, 특허에도 Office Action(거절 이유서)과 Rebuttal(반론)이 있다. PatRe는 이 전체 생애주기를 최초로 벤치마크화했다. 480건 실제 사례로 다양한 LLM을 평가한 결과, 심사관 분석과 출원인 반론 사이에 뚜렷한 비대칭이 존재했다.

특히 주목할 점:

• 특허 심사 전 과정(Office Action 생성 + 반론)을 모델링한 최초의 벤치마크

• 오라클 설정과 검색 시뮬레이션 설정 모두 지원

• 상용 모델과 오픈소스 모델 간 성능 격차 및 태스크 비대칭 발견

🎯 왜 이것이 게임 체인저인가? : “특허 분류/추출” 단방향 태스크 → “심사-반론” 다회전 동적 프로세스로 확장

🔗 https://arxiv.org/abs/2605.03571

매주 목요일 오전 8시,
바쁜 당신을 기술 발전에 뒤쳐지지 않게 만들어줄
최신 AI 트렌드 요약본이 전달됩니다! 🚀