[논문리뷰] HiRAE: Hierarchical Representation Autoencoding with Residual Budgets본 논문은 사전 학습된 vision encoder의 풍부한 정보를 활용하면서도, 재구성과 생성 간의 성능 균형을 최적화하는 통합 프레임워크를 제안합니다. 기존 연구들은 최상위 계층의 추상적 의미 정보에만 의존하여 세밀한 세부 묘사가 부족하거나, 특정 계층을 수동으로 선택해야 하는 한계를 가지고 있습니다.#Review#Representation Autoencoder#Hierarchical Fusion#Residual Regularization#Image Generation#Latent Diffusion#DINOv3#Tokenizer2026년 9월 29일댓글 수 로딩 중
[cpython] Python 토크나이저 최적화: 불필요한 개행 문자 변환 건너뛰기로 성능 개선Python 토크나이저의 개행 문자 정규화 과정을 최적화하여 파싱 성능을 개선한 PR 분석.#Python#CPython#Tokenizer#Optimization#Performance#C#memchr#memcpy2026년 9월 14일댓글 수 로딩 중
[논문리뷰] Where to cut, how deep: BPE and Unigram-LM on chemistry SMILES본 논문은 화학 언어 모델에서 당연하게 여겨지는 BPE 토큰화 방식이 최선의 선택인지 의문을 제기하며, 화학적 특수 환경에서 BPE와 Unigram-LM이 서로 다른 어휘 사전을 구축하는지 검증합니다.#Review#Chemistry SMILES#Tokenizer#BPE#Unigram-LM#Subword Algorithm#Vocabulary#Granularity2026년 7월 7일댓글 수 로딩 중
[논문리뷰] GEAR: Guided End-to-End AutoRegression for Image Synthesis본 논문은 현대의 시각적 생성 모델들이 tokenizer와 generator를 2단계로 분리하여 학습함으로써 발생하는 비효율성을 해결하고자 합니다 .#Review#GEAR#Autoregressive#Tokenizer#End-to-End#Representation Alignment#Vector Quantization#Image Synthesis2026년 6월 30일댓글 수 로딩 중
[transformers] Hugging Face Transformers: Slow Tokenizer 성능 회귀 문제 해결하기PreTrainedTokenizer의 O(T*N*logN) 성능 저하 문제를 O(T)로 복구한 최적화 사례 분석#HuggingFace#Transformers#Python#Optimization#Tokenizer2026년 6월 3일댓글 수 로딩 중
[논문리뷰] What Matters for Diffusion-Friendly Latent Manifold? Prior-Aligned Autoencoders for Latent Diffusion본 논문은 기존 Latent Diffusion Models(LDMs)의 tokenizer들이 주로 reconstruction fidelity에만 초점을 맞추어 설계되어, 정작 확산 생성 모델의 학습에 적합한 latent space를 형성하지 못한다는 문제를 제기합니다 .#Review#Latent Diffusion Models#Tokenizer#Latent Manifold#Prior Alignment#Autoencoder#Generative Modeling#Representation Learning2026년 5월 10일댓글 수 로딩 중
[SGLang] TokenizerManager: 비동기 토큰화 파이프라인의 설계와 구현SGLang TokenizerManager의 비동기 토큰화 파이프라인을 분석한다. 요청 수신, 토큰화, ZMQ를 통한 Scheduler 전달, 응답 수집까지의 전체 흐름을 코드와 함께 살펴본다.#sglang#Tokenizer#Async Pipeline#ZMQ IPC2026년 4월 10일댓글 수 로딩 중
[논문리뷰] OmniLottie: Generating Vector Animations via Parameterized Lottie Tokens이 논문은 편집 용이성, 플랫폼 호환성, 해상도 독립성이 부족한 기존 래스터 비디오 애니메이션 생성 방식의 한계를 극복하고자 합니다.#Review#Vector Animation Generation#Lottie#Multimodal Instructions#Tokenizer#Vision-Language Models#Generative AI#Dataset2026년 3월 2일댓글 수 로딩 중
[논문리뷰] BitDance: Scaling Autoregressive Generative Models with Binary Tokens본 논문은 기존 Autoregressive (AR) 모델의 제한된 토큰 표현력과 비효율적인 샘플링 문제를 해결하여, 고품질 이미지 생성을 위한 확장 가능한 AR 프레임워크인 BitDance 를 제안합니다.#Review#Autoregressive Models#Binary Tokens#Diffusion Head#Image Generation#Tokenizer#Parallel Prediction#High-Resolution2026년 2월 16일댓글 수 로딩 중
[논문리뷰] TokSuite: Measuring the Impact of Tokenizer Choice on Language Model Behavior언어 모델(LM) 성능 및 동작에 대한 토크나이저 선택의 영향 을 체계적으로 측정하고 이해하는 것을 목표로 합니다. 기존 연구에서 토크나이저의 영향이 다른 변수와 분리하기 어렵다는 문제점을 해결하고자 합니다.#Review#Tokenizer#Language Models (LMs)#Robustness#Multilingual NLP#Benchmark#Subword Segmentation#Pre-training#Tokenization Impact2025년 12월 24일댓글 수 로딩 중
[논문리뷰] Distribution Matching Variational AutoEncoder본 논문은 시각적 생성 모델에서 VAE 및 파운데이션 모델 인코더가 잠재 공간의 분포를 명시적으로 형성하지 못하는 문제를 해결합니다.#Review#Variational Autoencoder (VAE)#Distribution Matching#Diffusion Models#Latent Space#Self-supervised Learning (SSL) Features#Generative Models#ImageNet#Tokenizer2025년 12월 8일댓글 수 로딩 중
[논문리뷰] KORMo: Korean Open Reasoning Model for Everyone본 논문은 한국어와 영어를 지원하는 최초의 완전 공개(Fully Open) 이중 언어 대규모 언어 모델(LLM) 인 KORMo 를 구축하는 것을 목표로 합니다.#Review#Large Language Model#Korean#Bilingual#Synthetic Data#Fully Open Model#Tokenizer#Reasoning#Pretraining#Instruction Tuning2025년 10월 13일댓글 수 로딩 중