[논문리뷰] Program-as-Weights: A Programming Paradigm for Fuzzy Functions

링크: 논문 PDF로 바로 열기

메타데이터

저자: Wentao Zhang, Liliana Hotsko, Woojeong Kim, Pengyu Nie, Stuart Shieber, Yuntian Deng

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Fuzzy Functions: 규칙 기반의 코드로 완벽하게 정의하기 어렵지만 인간에게는 직관적인 작업(예: 로그 필터링, JSON 복구, 의도 기반 순위 산정)을 지칭함.
• PAW (Program-as-Weights): 자연어 명세(Specification)를 컴파일러가 학습 가능한 PEFT 모듈로 변환하여, 로컬 환경에서 실행 가능한 신경망 프로그램으로 만드는 프로그래밍 패러다임.
• Neural Compiler: 입력받은 작업 명세와 사용자 의도를 바탕으로 LoRA 가중치와 같은 실행 가능한 신경망 아티팩트를 생성하는 핵심 모델.
• Interpreter: 컴파일된 PEFT 모듈을 받아 로컬 장치에서 실행하는 고정된(frozen) 경량 신경망 모델.
• FuzzyBench: 10M 개의 (명세, 입력, 출력) 예제로 구성된 데이터셋으로, PAW 모델의 학습과 검증을 위해 설계됨.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 현대의 복잡한 소프트웨어 작업들이 정교한 규칙으로 정의되기 어렵다는 점에 주목하여, 이를 LLM API에 의존할 때 발생하는 높은 비용, 낮은 로컬리티(locality), 재생산성 문제 등을 해결하고자 한다 [Figure 1]. 기존의 규칙 기반 프로그래밍이나 정형적인 LLM API 호출은 엣지 케이스 처리나 노이즈 대응에 취약하다는 한계를 지닌다. 저자들은 문제를 해결하기 위해 LLM을 실시간 문제 해결사(problem solver)에서 도구 빌더(tool builder)로 재정의하여, 오프라인 환경에서도 로컬 실행이 가능한 경량 아티팩트를 생성하는 새로운 프레임워크를 제안한다.

Figure 1 — PAW 패러다임 개요

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들이 제안하는 PAW는 자연어 명세를 파싱하는 pseudo compiler와 실제 LoRA 가중치를 생성하는 LoRA compiler로 이루어진 2단계 컴파일 파이프라인을 사용한다 [Figure 2]. 컴파일된 결과물은 고정된 0.6B 크기의 Qwen3 해석기에서 실행되며, 이는 기존의 32B 모델을 직접 프롬프팅하는 것보다 우수한 성능을 보여준다. 실험 결과, PAW 모델은 FuzzyBench 데이터셋에서 73.78%의 정확도(Exact Match)를 기록하여, Qwen3-32B의 68.70%를 상회하였다. 또한, 모델의 추론 메모리 사용량을 기존 대비 약 50배 절감하였으며, MacBook M3 환경에서 초당 30 tokens/s의 고속 추론 성능을 보였다 [Table 2]. 특히 노이즈가 많은 스펙을 입력받더라도 컴파일러의 전처리를 통해 견고한 성능을 유지하는 강점을 증명하였다 [Table 6].

Figure 2 — Text-to-LoRA 아키텍처

4. Conclusion & Impact (결론 및 시사점)

본 논문은 프로그래밍의 대상을 명시적 코드에서 신경망 가중치로 확장한 PAW 패러다임을 성공적으로 구축하였다. 이 연구는 거대 모델의 추론 비용을 컴파일 타임으로 전환하여 실행 환경을 최적화함으로써, 향후 Small Language Models가 실제 에이전트 환경에서 효율적으로 구동될 수 있는 실질적인 토대를 마련하였다. PAW는 향후 개발자가 fuzzy한 작업들을 로컬에서 안전하고 빠르게 자동화할 수 있는 강력한 도구로 자리매김할 것으로 기대된다.

Figure 3 — FuzzyBench 데이터셋 구성

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.