본문으로 건너뛰기

Review

[논문리뷰] Unraveling the cognitive patterns of Large Language Models through module communities

본 논문은 LLM의 내부 아키텍처와 인지 과정을 이해하기 어려운 ‘블랙박스’ 문제를 해결하고자 합니다. 특히 기존 연구에서 부족했던 스킬 간의 관계, 동적 적응성, 교차 도메인 일반화 및 메커니즘의 상세한 해석 가능성 탐색에 중점을 둡니다.
#Review#Large Language Models#Network Community Structure#Cognitive Skills#AI Interpretability#Module Communities#Fine-tuning#Neural Plasticity
댓글 수 로딩 중

[논문리뷰] UltraMemV2: Memory Networks Scaling to 120B Parameters with Superior Long-Context Learning

본 논문은 Mixture of Experts (MoE) 모델이 겪는 높은 메모리 접근 비용 문제를 해결하고, 기존 메모리 레이어 아키텍처인 UltraMem이 8-expert MoE 모델 성능에 미치지 못하는 격차를 해소하는 것을 목표로 합니다.
#Review#Memory Networks#Mixture of Experts (MoE)#Long-Context Learning#Sparse Models#Transformer Architecture#LLMs#Efficient Inference
댓글 수 로딩 중

[논문리뷰] TreePO: Bridging the Gap of Policy Optimization and Efficacy and Inference Efficiency with Heuristic Tree-based Modeling

대규모 언어 모델(LLMs)을 강화 학습(RL)으로 정렬하는 과정에서 발생하는 높은 온-정책 롤아웃 비용 과 다양한 추론 경로 탐색의 한계 를 해결하고자 합니다. 본 논문은 시퀀스 생성을 트리 구조 검색 과정 으로 모델링하여 정책 최적화의 효율성과 추론 성능 간의 격차를 해소하는 것을 목표로 합니다.
#Review#Reinforcement Learning#Policy Optimization#Large Language Models#Inference Efficiency#Tree Search#Segment-level Decoding#Advantage Estimation#Reasoning
댓글 수 로딩 중

[논문리뷰] QueryBandits for Hallucination Mitigation: Exploiting Semantic Features for No-Regret Rewriting

본 논문은 대규모 언어 모델(LLM)의 환각 발생률 증가 문제를 해결하고자 합니다. 기존의 사후 필터링 방식 대신, 입력 쿼리의 17가지 언어학적 특징 을 활용하는 밴딧 프레임워크 를 통해 쿼리 재작성 전략을 설계하여, LLM이 환각을 생성하지 않도록 사전에 유도하는 것을 목표로 합니다.
#Review#Hallucination Mitigation#Large Language Models#Contextual Bandits#Query Rewriting#Semantic Features#No-Regret Learning
댓글 수 로딩 중

[논문리뷰] Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks

본 논문은 MoE(Mixture-of-Experts) 언어 모델에서 스파시티(sparsity)가 기억(memorization) 능력과 추론(reasoning) 능력에 미치는 영향을 규명하고, 고정된 연산 예산(compute budget) 내에서 태스크별 최적의 스파시티 구성을 찾는 것을 목표로 합니다.
#Review#Mixture-of-Experts (MoE)#Sparsity#Scaling Laws#Reasoning Tasks#Memorization#Large Language Models#Generalization Gap#Top-k Routing
댓글 수 로딩 중

[논문리뷰] OmniHuman-1.5: Instilling an Active Mind in Avatars via Cognitive Simulation

기존 비디오 아바타 모델이 오디오 리듬에 국한된 물리적 애니메이션만 생성하는 한계를 넘어, 감정, 의도, 문맥을 깊이 이해하여 의미론적으로 일관되고 표현력이 풍부한 캐릭터 애니메이션 을 생성하는 것을 목표로 합니다.
#Review#Video Avatar Generation#Cognitive Simulation#Multimodal Large Language Models (MLLMs)#Diffusion Transformers (DiT)#Multimodal Fusion#Human Motion Synthesis#Contextual Animation
댓글 수 로딩 중

[논문리뷰] ObjFiller-3D: Consistent Multi-view 3D Inpainting via Video Diffusion Models

기존 3D 인페인팅 방법론들이 다중 뷰 2D 이미지 인페인팅에 의존하여 발생하는 뷰 간 불일치, 흐릿한 텍스처, 공간 불연속성 문제를 해결하고자 합니다. 이를 극복하고 비디오 확산 모델 의 시공간적 일관성 유지 능력을 활용하여 고품질의 일관된 3D 객체 완성 및 편집을 목표로 합니다.
#Review#3D Inpainting#Multi-view Consistency#Video Diffusion Models#3D Object Completion#Generative Models#LoRA#3D Gaussian Splatting
댓글 수 로딩 중

[논문리뷰] MovieCORE: COgnitive REasoning in Movies

본 논문은 기존의 비디오 질의응답(VQA) 데이터셋이 표면적인 이해에 머무는 한계를 극복하고, 영화 콘텐츠에 대한 깊이 있는 인지적 이해 와 System-2 사고 를 유도하는 새로운 VQA 데이터셋 MovieCORE 를 제안합니다.
#Review#Video Question Answering (VQA)#Cognitive Reasoning#System-2 Thinking#Multi-agent LLMs#Dataset Creation#Movie Understanding#Cinematic Content#Agentic Enhancement
댓글 수 로딩 중

[논문리뷰] FastMesh:Efficient Artistic Mesh Generation via Component Decoupling

기존 메시 생성 방식이 토큰 시퀀스 내의 정점(vertex) 중복 사용으로 인해 발생하는 비효율성(과도한 토큰 길이, 느린 생성 프로세스)을 해결하고, 정점과 면(face)을 분리하여 처리 함으로써 고품질의 예술적 메시를 더욱 효율적이고 빠르게 생성 하는 것을 목표로 합니다.
#Review#3D Mesh Generation#Component Decoupling#Autoregressive Models#Bidirectional Transformer#Fidelity Enhancement#Prediction Filtering#Token Efficiency#Artistic Meshes
댓글 수 로딩 중

[논문리뷰] Demystifying Scientific Problem-Solving in LLMs by Probing Knowledge and Reasoning

본 논문은 LLM의 과학 문제 해결 능력에 있어 깊은 도메인 지식 과 복잡한 추론 능력 의 필요성을 강조하며, 이를 종합적으로 평가할 수 있는 통일된 벤치마크의 부재와 지식 및 추론의 역할을 체계적으로 분리하여 연구하는 방법론의 부족을 해결하는 것을 목표로 합니다.
#Review#Large Language Models#Scientific Reasoning#Knowledge Retrieval#Reasoning Probing#Benchmarks#Chain-of-Thought#Fine-tuning
댓글 수 로딩 중

[논문리뷰] ClaimGen-CN: A Large-scale Chinese Dataset for Legal Claim Generation

본 논문은 법률 전문가가 아닌 일반인(예: 원고)을 위한 법률 청구 생성(Legal Claim Generation) 문제에 주목하여, 주어진 사건의 사실(fact)을 바탕으로 청구 내용을 자동으로 생성하는 것을 목표로 합니다.
#Review#Legal AI#Natural Language Processing#Claim Generation#Chinese Legal Dataset#Factuality#Clarity#Large Language Models#Zero-shot Evaluation
댓글 수 로딩 중

[논문리뷰] CMPhysBench: A Benchmark for Evaluating Large Language Models in Condensed Matter Physics

본 논문은 대규모 언어 모델(LLMs)이 복잡한 과학 도메인, 특히 응집 물질 물리학(Condensed Matter Physics, CMP) 문제 해결에 얼마나 능숙한지 평가하기 위한 새로운 벤치마크인 CMPhysBench 를 제안합니다.
#Review#Large Language Models#Condensed Matter Physics#Benchmark#Scientific Reasoning#Evaluation Metric#Expression Edit Distance#Problem Solving
댓글 수 로딩 중