[논문리뷰] The Functionalizer: Lossless Functional Decomposition for Subword Tokenization본 연구는 subword tokenizer가 겪는 vocabulary expansion(어휘 확장) 문제와 이로 인한 embedding space의 파편화를 해결하는 것을 목적으로 합니다.#Review#Subword Tokenization#Functional Decomposition#Opcode#Operand#Unicode Private Use Area#Lossless#Language Modeling2026년 9월 21일댓글 수 로딩 중
[논문리뷰] TokDrift: When LLM Speaks in Subwords but Code Speaks in Grammar본 논문은 Code LLM 이 사용하는 서브워드 토크나이저 와 프로그래밍 언어(PL) 문법 간의 불일치 문제를 해결하고자 합니다.#Review#Code LLMs#Subword Tokenization#Grammar-aware Tokenization#Semantic Preservation#Rewrite Rules#Model Robustness#Tokenization Misalignment2025년 10월 17일댓글 수 로딩 중