본문으로 건너뛰기

#Parameter Efficiency

24개의 포스트

[논문리뷰] One Block, Multiple Depths: Recurrent Vision Transformers with Depth-Programmed Experts

기존 Vision Transformer(ViT)는 각 레이어마다 고유한 파라미터를 갖는 고정된 깊이의 스택 구조로 설계되어 있어, 모델의 용량과 파라미터 수가 깊이에 비례하여 커지는 비효율성을 가집니다.
#Review#Vision Transformers#Recurrent Neural Networks#Mixture of Experts#Weight-space Merging#Elastic-depth Inference#Parameter Efficiency
댓글 수 로딩 중

[논문리뷰] How to Loop MoE: Flatten the Experts, Untie the Attention

본 논문은 제한된 메모리와 파라미터 상황에서 모델의 연산 깊이를 효과적으로 늘리기 위한 Looped MoE 모델 설계 최적화 문제를 해결하고자 한다. 기존의 Looped MoE 연구는 고정된 레이어 구조에서 공유된 Attention과 전문가를 재사용함에 따라 성능 향상에 한계를 보인다 .
#Review#Looped Transformers#Sparse Mixture-of-Experts (MoE)#Parameter Efficiency#Routing#Expert Flattening#Attention Untying
댓글 수 로딩 중

[논문리뷰] Triadic Linear Attention: Three-Dimensional Recurrent States for Long-Context Sequence Modeling

본 논문은 Linear Attention 기반 RNN 모델들이 Long-Context Sequence Modeling 및 Recall-intensive Tasks에서 겪는 Memory State Size 한계를 Parameter-efficient하게 극복하는 방법을 제안합니다.
#Review#Linear Attention#Recurrent Neural Networks#Long-Context Modeling#Memory State Size#Triadic Tensor State#Parameter Efficiency#Gated DeltaNet#Associative Memory
댓글 수 로딩 중

[논문리뷰] LoopVL: Recurrent Visual Intelligence

본 논문은 recurrent computation을 비전-언어 모델에 효과적으로 확장하여 연산 효율성과 추론 성능을 극대화하는 것을 목적으로 합니다. 기존의 독립적인 Transformer 레이어 스택은 모델의 깊이를 늘리기 위해 파라미터 수를 비례적으로 증가시켜야 하는 한계가 있습니다.
#Review#Recurrent Transformers#Vision-Language Models#LoopVL#Parameter Efficiency#Multimodal Reasoning#Visual Aha Moment
댓글 수 로딩 중

[논문리뷰] Spectral Rewiring for Exploration, Purification, and Model Merging

본 논문은 LLM의 RL post-training 과정에서 발생하는 dense full-parameter 업데이트의 비효율성과 부작용을 해결하고자 합니다 . 기존의 방식은 reasoning 성능을 오히려 억제하거나, 테스트 타임 스케일링에서의 조기 포화(Early saturation) 문제를 야기합니다.
#Review#Reinforcement Learning#Spectral Analysis#Model Merging#Subspace-Aligned Rewiring#Large Language Models#Reasoning Elicitation#Parameter Efficiency
댓글 수 로딩 중

[논문리뷰] LoopCTR: Unlocking the Loop Scaling Power for Click-Through Rate Prediction

본 논문은 LoopCTR을 제안하며, 이는 재귀적 루프 블록을 통해 파라미터 효율성을 극대화한 Sandwich architecture를 채택한다. Loop Block 내의 표현력을 높이기 위해 MoE-Augmented Transformer를 적용하고, Hyper-Connected Residuals (HCR)를 도입하여 정보 흐름을 동적으로 조정한다 .
#Review#CTR Prediction#Loop Scaling#Transformer#Mixture-of-Experts#Hyper-Connected Residuals#Parameter Efficiency#Process Supervision
댓글 수 로딩 중

[논문리뷰] Diffutron: A Masked Diffusion Language Model for Turkish Language

Autoregressive (AR) Transformers는 현재 Large Language Models (LLMs) 분야에서 지배적이지만, 텍스트를 토큰별로 순차적으로 생성하는 본질적인 특성으로 인해 Generation Speed와 고려할 수 있는 Context에 한계가 있다.
#Review#Masked Diffusion Language Models#Turkish NLP#Non-Autoregressive Generation#LoRA#Instruction Tuning#Morphologically Rich Languages#Parameter Efficiency
댓글 수 로딩 중

[논문리뷰] Scaling Embeddings Outperforms Scaling Experts in Language Models

이 논문은 대규모 언어 모델(LLMs)에서 Mixture-of-Experts (MoE) 아키텍처가 겪는 효율성 한계를 극복하기 위해 임베딩 스케일링 을 새로운 희소성 스케일링 차원으로 탐구하는 것을 목표로 합니다.
#Review#Embedding Scaling#N-gram Embedding#Mixture-of-Experts (MoE)#Large Language Models (LLMs)#Parameter Efficiency#Inference Optimization#Speculative Decoding
댓글 수 로딩 중

[논문리뷰] ARC-Encoder: learning compressed text representations for large language models

본 논문은 대규모 언어 모델(LLM)의 긴 컨텍스트 처리로 인한 추론 비용 증가와 컨텍스트 창 제한 문제를 해결하고자 합니다. 특히, 디코더 모델의 아키텍처를 수정하거나 파인튜닝하지 않고도 컨텍스트를 압축하여 LLM의 일반적인 능력을 유지하면서 효율성을 높이는 것을 목표로 합니다.
#Review#Context Compression#Large Language Models#Encoder-Decoder Architecture#Text Representation#In-Context Learning#Parameter Efficiency#Retrieval-Augmented Generation
댓글 수 로딩 중

[논문리뷰] Provable Benefits of In-Tool Learning for Large Language Models

본 논문은 대규모 언어 모델(LLM)에서 도구 사용 학습(in-tool learning) 방식이 내부 가중치 학습(in-weight learning) 방식보다 사실 정보 기억 및 회상에 있어 이론적, 실증적으로 우월함을 증명하는 것을 목표로 합니다.
#Review#Large Language Models#In-Tool Learning#In-Weight Learning#Factual Recall#Retrieval-Augmented Generation#Scaling Laws#Parameter Efficiency#Catastrophic Forgetting
댓글 수 로딩 중