[논문리뷰] Constrained Decoding: Harmful or Beneficial? Revisiting Its Impact on LLM Performance본 연구는 Constrained Decoding이 LLM의 추론 성능을 저하시킨다는 기존의 통념을 재검토하고, 이 현상이 디코더 수준의 제약 때문이 아니라 prompt-level의 비대칭성에서 기인함을 증명합니다. 기존 연구들은 구조화된 포맷을 강제할 때 모델의 표현력이 제한되어 정확도가 하락한다고 주장해 왔습니다.#Review#Constrained Decoding#Large Language Models#Format Constraints#Validity Constraints#Reasoning Constraints#Logit Masking2026년 10월 26일댓글 수 로딩 중
[논문리뷰] A Safe Action Is Not Enough: Feasible-Future Decoding for Vision-Language-Action Policies본 논문은 VLA 정책이 로컬에서는 안전해 보이는 동작을 수행하더라도, 장기적으로는 안전한 과업 완수가 불가능한 '죽은 끝(Dead end)' 상태로 빠질 수 있는 문제를 해결하고자 합니다.#Review#Vision-Language-Action (VLA)#Feasible-Future Decoding#Safe Reinforcement Learning#Constrained Decoding#Robot Control#Viability2026년 10월 6일댓글 수 로딩 중
[논문리뷰] Thinking Before Constraining: A Unified Decoding Framework for Large Language Models본 논문은 LLM의 풍부한 추론 능력과 엄격한 출력 형식 보장 사이의 상충 관계(trade-off)를 해결하고자 합니다. 기존의 Constrained Decoding 방식은 생성 초기부터 문법을 강제하여 모델의 추론 유연성을 제한하고 성능을 떨어뜨리는 문제를 발생시킵니다.#Review#Large Language Models#Constrained Decoding#Structured Generation#Chain-of-Thought#Parser2026년 5월 28일댓글 수 로딩 중
[SGLang] Outlines: FSM 기반 제약 생성과 Jump-Forward 최적화SGLang의 Outlines 백엔드를 분석한다. Finite State Machine 기반 토큰 제약, Jump-Forward 최적화로 확정 토큰을 건너뛰는 기법을 코드와 함께 살펴본다.#sglang#Outlines#FSM#Jump-Forward#Constrained Decoding2026년 4월 13일댓글 수 로딩 중
[논문리뷰] Vectorizing the Trie: Efficient Constrained Decoding for LLM-based Generative Retrieval on AcceleratorsLLM 기반 생성형 검색(Generative Retrieval)은 추천 시스템의 강력한 패러다임이지만, 산업 환경에서 요구되는 출력 공간 제약(constrained output space) 을 기본 자기회귀 디코딩(autoregressive decoding) 이 지원하지 못하는 문제가 있습니다.#Review#Generative Retrieval#Constrained Decoding#Trie#Sparse Matrix#TPU#GPU#Recommendation Systems#LLM2026년 3월 1일댓글 수 로딩 중