[논문리뷰] Hierarchical Sparse Attention Done Right: Toward Infinite Context Modeling본 논문은 LLM의 long-context 확장을 저해하는 quadratic computation cost와 length extrapolation 성능 저하 문제를 해결하기 위해, 기존 chunk-wise sparse attention 방식이 갖는 불완전한 chunk 선택 메커니즘을 개선하고자 합니다.#Review#Large Language Models#Long Context Modeling#Sparse Attention#Hierarchical Attention#Chunk-wise Attention#End-to-end Learning2026년 7월 7일댓글 수 로딩 중
[논문리뷰] Multi-view Pyramid Transformer: Look Coarser to See Broader본 논문은 대규모 3D 장면을 수십에서 수백 개의 이미지로부터 단일 순방향 패스로 재구성하는 트랜스포머 아키텍처의 확장성 문제 를 해결하는 것을 목표로 합니다.#Review#Multi-view Transformer#3D Reconstruction#Hierarchical Attention#Computational Efficiency#3D Gaussian Splatting#Novel View Synthesis#Scalability2025년 12월 8일댓글 수 로딩 중
[논문리뷰] UltraGen: High-Resolution Video Generation with Hierarchical Attention기존 Diffusion Transformer 기반 비디오 생성 모델들이 출력 해상도(예: <720P)에 따라 attention 메커니즘의 제곱 복잡도 로 인해 발생하는 높은 연산 비용 문제를 해결하는 것이 목표입니다.#Review#Video Generation#High-Resolution#Diffusion Transformer#Hierarchical Attention#Global-Local Attention#Computational Efficiency#4K Synthesis2025년 10월 22일댓글 수 로딩 중