[논문리뷰] Agentic Discovery of Neural Architectures: AIRA-Compose and AIRA-Design

링크: 논문 PDF로 바로 열기

메타데이터

저자: Alberto Pepe, Chien-Yu Lin, Despoina Magka, et al.

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• AIRA-Compose: 11개의 에이전트 앙상블을 활용하여 사전 정의된 계산 프리미티브(Attention, MLP, Mamba)의 조합을 탐색하는 고수준 Neural Architecture Search 프레임워크입니다.
• AIRA-Design: 에이전트가 새로운 Attention 메커니즘을 직접 구현하거나 학습 루프를 최적화하여 모델 설계 및 학습을 수행하는 저수준 기계적 설계 프레임워크입니다.
• AIRS-Bench: 복잡한 머신러닝 연구 문제를 에이전트가 이해하고 실행할 수 있는 표준화된 작업 구조로 변환하는 평가 플랫폼입니다.
• Recursive Self-Improvement (RSI): 에이전트가 스스로를 구성하는 신경망 아키텍처를 자율적으로 설계하고 최적화하여 성능을 지속적으로 향상시키는 연구 패러다임입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 연구는 Recursive Self-Improvement의 일환으로 LLM 에이전트가 기존 Transformer 패러다임을 넘어선 차세대 foundation model을 자율적으로 설계할 수 있는지 탐구합니다. 대부분의 최신 모델은 Transformer에 의존하지만, hybrid LLM으로의 패러다임 전환 과정에서 설계 공간이 너무 방대해져 인간의 직관만으로는 비최적화된 아키텍처를 발견하기 어렵습니다. 저자들은 에이전트가 체계적인 탐색과 반복적인 개선을 통해 기존의 수동 설계 방식을 능가할 수 있음을 입증하고자 합니다 [Figure 1].

Figure 1 — AIRA 프레임워크 개요 및 결과 요약

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 Neural Architecture Search를 위한 AIRA-Compose와 저수준 설계 구현을 위한 AIRA-Design이라는 이중 프레임워크를 제안합니다 [Figure 1]. AIRA-Compose는 16계층 소형 모델을 프록시로 사용하여 하이퍼파라미터와 아키텍처 패턴을 탐색하고, 성능 상위 모델을 350M, 1B, 3B 규모로 확장합니다 [Figure 2, 3]. 실험 결과, 발견된 AIRAformer와 AIRAhybrid 모델은 고정된 토큰 예산에서 Llama 3.2 대비 유의미한 성능 향상을 보였으며, 특히 AIRAformer-D는 Llama 3.2보다 2.4% 높은 정확도를 기록했습니다 [Table 2, 3]. AIRA-Design을 통해 에이전트가 작성한 모델은 Long Range Arena에서 인간 SOTA에 근접한 정확도를 달성하였고, Autoresearch 과제에서는 Greedy Opus 4.5 모델이 0.968의 validation bits-per-byte(BPB)를 달성하며 기준선을 상회하였습니다 [Figure 4, 12].

4. Conclusion & Impact (결론 및 시사점)

본 연구는 AI 에이전트가 신경망 아키텍처의 자율적 발견 및 최적화가 가능한 수준에 도달했음을 입증하였으며, 이는 차세대 foundation model 개발의 새로운 패러다임을 제시합니다. 제안된 AIRA 프레임워크는 에이전트가 복잡한 조합 최적화 과제를 해결하는 유연하고 확장 가능한 방법을 제공합니다. 비록 기계적 설계에서 근본적인 과학적 혁신을 이끌어내기까지는 보완이 필요하지만, 에이전트 중심의 연구 방식은 향후 Recursive Self-Improvement 실현을 위한 중요한 이정표가 될 것입니다.

Figure 2 — AIRA-Compose 파이프라인

Figure 3 — 에이전트의 NAS 탐색 및 설계 과정

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.