[논문리뷰] The Functionalizer: Lossless Functional Decomposition for Subword Tokenization본 연구는 subword tokenizer가 겪는 vocabulary expansion(어휘 확장) 문제와 이로 인한 embedding space의 파편화를 해결하는 것을 목적으로 합니다.#Review#Subword Tokenization#Functional Decomposition#Opcode#Operand#Unicode Private Use Area#Lossless#Language Modeling2026년 9월 21일댓글 수 로딩 중