[논문리뷰] TokDrift: When LLM Speaks in Subwords but Code Speaks in Grammar본 논문은 Code LLM 이 사용하는 서브워드 토크나이저 와 프로그래밍 언어(PL) 문법 간의 불일치 문제를 해결하고자 합니다.#Review#Code LLMs#Subword Tokenization#Grammar-aware Tokenization#Semantic Preservation#Rewrite Rules#Model Robustness#Tokenization Misalignment2025년 10월 17일댓글 수 로딩 중