본문으로 건너뛰기

[논문리뷰] Glyph: An Interpretability Engine for AI-Driven Scientific Discovery in Clinical Data

링크: 논문 PDF로 바로 열기

저자: Robbie Holland, Ashwin Kumar, Mateus A. Esmeraldo, et al. (Co-senior: Akshay S. Chaudhari, Sergios Gatidis)

1. Key Terms & Definitions (핵심 용어 및 정의)

  • Glyph: Foundation model (FM) embedding을 해석 가능한 clinical concept로 바꾸는 자동화된 multistage framework입니다. 추출된 concept가 prognostic 측면에서 유의한지, 여러 site에서 reproducible한지, confounder를 adjust한 뒤에도 독립적인지, 그리고 interpretable한지를 평가합니다.
  • Sparse Autoencoder (SAE): 밀집되고 polysemantic한 FM embedding을 overcomplete dictionary(n = 8,192)로 분해하는 모델입니다. Modality마다 Top-K SAE(K ∈ {5, 10, 20, 40, 80})와 Matryoshka SAE를 학습합니다. Matryoshka SAE는 feature splitting을 줄이고 계층적인 concept를 학습하는 데 쓰입니다. 학습이 끝나면 encoder만 frozen concept extractor로 남기고, 다른 site에서는 zero-shot으로 재추출합니다.
  • Concept (R/I/L 접두어): SAE feature 가운데 필터를 통과한 측정 가능하고 해석 가능한 패턴입니다. R은 radiology report, I는 imaging, L은 laboratory에서 나온 concept입니다(예: R85 = liver cirrhosis·varices, L108 = cholestasis, I76 = severely distended bowel pattern).
  • Discovery / Reproducibility / Confounder filter: 세 단계의 검증 필터입니다. Discovery filter는 Discovery Site에서 Bonferroni 보정 기준 p ≤ 8.28×10⁻⁸과 OR > 1.0을 요구합니다. Reproducibility filter는 held-out cohort에서 Benjamini–Hochberg 5% FDR을 적용합니다. Confounder filter는 다른 modality에서 가장 강하게 연관된 concept 10개와 universal covariate 6개를 함께 넣어 adjusted OR을 검정합니다.
  • Glyph MCP: Concept space를 통해 clinician, engineer, AI agent가 질의하고 open-ended hypothesis를 검증할 수 있게 해 주는 Model Context Protocol 인터페이스입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

이 논문이 해결하려는 핵심 문제는 다음과 같습니다. FM embedding 안에 잠재된 새로운 clinical marker를 사전 정의 없이 추출하고, 그것이 질병 연구에 쓸모 있는지 체계적으로 검증하는 framework가 없다는 점입니다.

  • 기존 접근의 한계: PheWAS나 deep learning·agent 기반 phenotype annotation 같은 기존 방식은 미리 정해 둔 feature set 안에서만 탐색합니다. 그래서 찾을 수 있는 association의 범위가 처음부터 제한되고, 이 한계는 해당 도구를 사용하는 agentic AI system에도 그대로 이어집니다.
  • FM embedding의 잠재력: 대규모 임상 데이터로 학습한 FM의 embedding은 학습 목표 밖의 task(disease prognosis, risk stratification 등)에서도 좋은 성능을 냅니다.
  • 해석의 어려움: 그러나 이런 정보는 high-dimensional vector 안에 entangled되어 있어, 개별 marker로 떼어 내 평가하기 어렵습니다.
  • 필요한 접근: 저자들은 mechanistic interpretability를 단순히 신경망을 이해하는 도구로 쓰는 데 그치지 않고, 임상 discovery engine으로 확장하는 방법이 필요하다고 주장합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

Glyph는 FM embedding을 SAE로 sparse concept로 분해한 뒤, 이를 multi-site에서 검증된 prognostic concept space로 정제합니다.

데이터와 embedding

  • Discovery Site: 환자 14,652명, abdominal CT volume 20,391개, radiology report 약 808만 token, lab entry 약 159만 건.
  • Modality별 FM: CT는 Merlin image encoder, report는 Qwen3-Embedding-8B, lab은 Labs FM으로 embedding합니다.

Concept 추출과 association 검정

  • SAE는 report에서 3,315개, image에서 343개, lab에서 627개, 합계 4,285개의 feature를 찾았습니다.
  • CT 이후 1–4년 안에 발병하는 outcome 중 FM embedding으로 가장 잘 예측되는 141개를 골랐습니다.
  • Feature와 outcome의 모든 조합 604,185쌍에 대해 per-SD odds ratio를 계산했습니다.

정량적 결과

  • Significant association: Discovery filter를 통과한 association은 4,463개(0.739%)이며, 이를 지닌 397개 high-risk concept가 만들어졌습니다.
  • Reproducibility: 별도 calibration 없이 Internal Test에서 69.3%, External Site #1에서 74.3%, 다른 주(state)에 있는 External Site #2에서 54.7%가 재현되었습니다. External Site #2는 lab 데이터가 부족해 report·imaging association만 검정했습니다.
  • Rediscovery: 알려진 disease progression이 다시 발견되었습니다.
    • Hepatic: R85가 primary liver cancer를 예측했습니다(Discovery OR 2.45, p=1.2×10⁻³⁹, 네 cohort 모두에서 재현).
    • Renal: L84(azotemia)가 CKD 진행을 추적했습니다(dialysis 시작 OR 2.04–3.21).
    • Cardiovascular: R21(coronary·valvular calcification)이 심혈관 outcome을 예측했습니다. 또 imaging concept가 cardiovascular outcome의 82.1%를 포괄해, report concept의 67.9%보다 넓었습니다.
  • Confounder adjustment: Discovery Site에서 association의 26.8%(1,198개)만 유지되었습니다.
    • I21(ascites)처럼 전반적 illness severity를 반영하는 marker는 association의 79%를 잃었습니다.
    • R85의 hepatic association(liver cancer adjusted OR 4.07)은 유지되었습니다.
    • Imaging에서 나온 atherosclerosis·calcification concept 그룹은 adjust 후에도 dementia와 연관이 남았습니다(adjusted OR 1.41, p=5.2×10⁻⁶). 반면 report 기반 그룹은 연관이 사라졌습니다.
  • Clinical literature와 비교: Co-scientist agent가 논문 342,647편을 처리해, 본 데이터에서 검정할 수 있는 literature marker 412개를 재구성했습니다.
    • Outcome마다 Glyph concept 10개를 추가하자 held-out AUC가 0.749에서 0.774로 올랐습니다(평균 상대 이득 3.34%, p=2.66×10⁻²⁸).
    • Metabolic, haematologic, infectious outcome에서 평균 상대 AUROC 개선이 6.64%로 가장 컸습니다.
    • 반면 dementia와 Alzheimer's disease에서는 유의한 개선이 없었습니다.
  • Reproduction rate와 effect size: Top-10 Glyph concept의 reproduction rate는 64.8%로, top-10 literature marker의 41.2%보다 높았습니다(p=2.54×10⁻⁶). Median adjusted OR도 1.31 대 1.16으로 더 컸습니다.
  • ICD 기반 Phecode와 비교: Reproduction rate가 Internal Test에서 69.3% 대 49.1%, External Site #1에서 74.3% 대 63.9%로 Glyph가 앞섰습니다.
  • Report에 기록되지 않는 정보: High-risk imaging concept 가운데 radiology report로 해석 가능한 것은 52.5%에 그쳤습니다. 즉 거의 절반은 report에 일관되게 기록되지 않습니다. 대표적인 예가 sepsis와 연관된 I76입니다.

4. Conclusion & Impact (결론 및 시사점)

Glyph는 재학습 없이 기존 pretrained FM의 embedding을 해석 가능하고 reproducible한 prognostic concept space로 바꾸었습니다. 이를 통해 알려진 risk marker를 다시 발견했을 뿐 아니라, literature에 충분히 다뤄지지 않은 새로운 association도 찾아냈습니다.

  • 방법론적 의미: Embedding을 개별 concept로 나누면, data에서 직접 찾은 confounder로 adjust할 수 있습니다. 이 덕분에 nonspecific severity marker와 disease-specific marker를 구분할 수 있었습니다.
  • 연구 측면의 시사점: Interpretability가 신경망 내부를 이해하는 수준을 넘어, FM이 암묵적으로 학습한 feature를 기존 임상 지식 및 outcome과 연결하는 discovery 도구로 확장될 수 있음을 보여 줍니다.
  • 산업·임상 측면의 시사점: Radiology report에 기록되지 않는 imaging phenotype을 찾아내고, 연구가 상대적으로 적은 질환 영역에서 예측력을 보완할 수 있다는 점이 의미가 있습니다.
  • 공개와 확장성: 코드(pip install glyph-discovery)와 Glyph MCP가 공개되어 있습니다. Patient-level explanation, patients-like-me retrieval, agentic hypothesis testing 같은 후속 활용으로 이어질 수 있습니다.
  • 한계: Outcome label이 ICD 기반 Phecode여서, 실제 발병 시점의 노이즈나 기록되지 않은 기존 질환이 결과에 섞였을 수 있습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.

댓글

관련 포스트

Review 의 다른글