[논문리뷰] TernScope: Model-Hardware Co-Design for Efficient Ternary Endoscopic Segmentation

링크: 논문 PDF로 바로 열기

The paper is titled "TernScope: Model–Hardware Co-Design for Efficient Ternary Endoscopic Segmentation". Authors: Zhuoyu Wu, Wenhui Ou, Qiawei Zheng, Xuhong Qiu, Wenqi Fang, Raphael C.-W. Phan Affiliations are listed. Zhuoyu Wu is the corresponding author. The paper is about Model–hardware co-design, endoscopic segmentation, ternary neural networks, structural re-parameterization.

Let's extract the key information for each section.

Metadata:

• Authors: Zhuoyu Wu, Wenhui Ou, Qiawei Zheng, Xuhong Qiu, Wenqi Fang, Raphaël C. -W. Phan
• Keywords: Model-hardware co-design, Endoscopic segmentation, Ternary neural networks, Structural re-parameterization, Low-bit quantization (I'll add this one as it's central to the methodology). I'll aim for 5-8 keywords. From the paper's "Index Terms" it provides: Model–hardware co-design, endoscopic segmentation, ternary neural networks, structural re-parameterization. I will add Low-bit quantization or Quantization-aware Training to make it 5 keywords. Progressive Quantization-aware Training (TPQ) is also a good specific term. Let's use Quantization-aware Training.

1. Key Terms & Definitions:

• Model–Hardware Co-Design: Jointly optimizing the neural network architecture and the underlying hardware accelerator for improved efficiency.
• Ternary Neural Networks (TNNs): Neural networks where weights are constrained to three discrete values, typically {-1, 0, +1}, enabling reduced memory footprint and simplified arithmetic.
• Ternary Progressive Quantization-aware Training (TPQ): An incremental quantization-aware training strategy that gradually adapts the network weights to ternary precision, starting from deeper layers and progressing to shallower layers, including input and prediction layers.
• SplitLK: A component of TernScope-Net that separates spatial processing to a subset of channels using large kernels, efficiently expanding spatial context while minimizing computational cost.
• Structural Re-parameterization: A technique where multiple expressive training branches are merged into a single, efficient inference operator to reduce computational overhead at deployment.

2. Motivation & Problem Statement:

• Edge medical segmentation faces a trilemma of model size, accuracy, and inference speed.
• Deployable models must fit limited memory, accurately delineate lesions, and provide prompt predictions.
• Existing approaches to reduce network width or spatial processing often compromise contextual information, thereby limiting segmentation capacity.
• Simply having a compact network does not automatically guarantee fast inference or a small accelerator; memory access, operator organization, and target architecture also play crucial roles.
• The challenge lies in making a compact segmentation graph learn effectively under ternary constraints, especially when considering branch fusion and full-network ternary weight quantization.

3. Method & Key Results:

• TernScope는 SplitLK, Nearest Unifier 멀티스케일 퓨전, 그리고 Ternary Progressive QAT (TPQ)를 결합하여 효율적인 W2A8 (2-bit weights, 8-bit activations) Endoscopic Segmentation을 달성한다 [Figure 1, Figure 2].
• SplitLK는 large-kernel 처리를 채널의 부분집합에 할당하여 공간적 Context를 효율적으로 확보하고, Nearest Unifier는 모든 네 가지 인코더 스케일을 16채널로 투영하여 narrow multi-scale fusion을 수행한다.
• Branch fusion은 훈련 시의 redundant inference paths를 제거하여 배포 시 단일 효율적인 연산자로 통합하며, 이어서 TPQ가 W2A8 precision으로 fused deployment graph를 점진적으로 학습시킨다.
• 실험 결과, TernScope-Net은 0.2483 M parameters와 0.0949 GMACs를 사용하면서 Kvasir-SEG 데이터셋에서 0.8158 Dice 및 0.7247 IoU를 달성했으며, 외부 데이터셋인 ClinicDB와 ColonDB에서도 기존 FP32 reference 모델들을 뛰어넘는 Dice 및 IoU 점수를 기록했다 [Table 1, Figure 3].
• 특히, TPQ는 direct QAT 대비 외부 데이터셋 Dice를 2.62 및 3.09 포인트 향상시키며, FP32 reference보다도 우수한 성능을 보였다 [Table 2].
• 하드웨어 구현 측면에서, TernScope는 Gemmini 기반의 16 × 16 ternary PE array를 활용하여 compute-array area를 88.46% 감소시키고, standard-cell area를 70.28% 감소시켰다 [Table 3, Figure 4].
• 또한, 100 MHz에서 Gemmini 대비 8.629배 높은 102.701 FPS의 throughput을 달성하며, 이미지당 Logic Energy Cost를 95.690% 절감했다 [Table 3].

4. Conclusion & Impact:

• TernScope는 SplitLK, branch fusion, 그리고 Ternary Progressive QAT (TPQ)를 통해 compact W2A8 graph에서 segmentation quality를 유지하는 model-hardware co-design framework를 성공적으로 제시한다.
• 이 연구는 low-bit learning과 smaller compute array를 edge endoscopy 애플리케이션에 연결하여 고효율 의료 영상 Segmentation을 가능하게 한다.
• TernScope는 FP32 reference 대비 경쟁력 있는 segmentation accuracy를 유지하면서, parameters, GMACs, compute-array area, standard-cell area, logic power 등 다양한 측면에서 크게 개선된 효율성을 입증했다.
• 이러한 co-design 접근 방식은 향후 zero-valued ternary weights를 활용한 sparsity-aware execution 및 compressed storage를 통해 computation 및 data-movement costs를 더욱 낮출 수 있는 방향을 제시하며, edge AI 분야에 큰 시사점을 제공한다.

Figure Information: I need to find the src attribute for the image tags.

• Figure 1: "TernScope training-to-deployment pipeline. Branch fusion removes redundant inference paths; TPQ adapts the fused graph to W2A8, including the stem and head."
  • Looking at the HTML: <img src="2610.29617v1/x1.png" alt="Figure 1: TernScope training-to-deployment pipeline. Branch fusion removes redundant inference paths; TPQ adapts the fused graph to W2A8, including the stem and head." class="ltx_graphics" id="x1-20001r1">
  • URL: https://arxiv.org/html/2610.29617v1/x1.png
• Figure 2: "TernScope-Net and its main components. SplitLK combines a split-channel large-kernel path with a bypass and pointwise mixing. RepLK training branches are fused into a single deployment convolution. The Nearest Unifier combines projected features from four encoder scales."
  • Looking at the HTML: <img src="2610.29617v1/x2.png" alt="Figure 2: TernScope-Net and its main components. SplitLK combines a split-channel large-kernel path with a bypass and pointwise mixing. RepLK training branches are fused into a single deployment convolution. The Nearest Unifier combines projected features from four encoder scales." class="ltx_graphics" id="x1-27000r2">
  • URL: https://arxiv.org/html/2610.29617v1/x2.png
• Figure 3: "Qualitative transfer from Kvasir-SEG to ClinicDB (top) and ColonDB (bottom), without target-domain fine-tuning. Green and blue overlays indicate ground truth and predictions, respectively. Boxed regions are enlarged in the insets."
  • Looking at the HTML: <img src="2610.29617v1/x3.png" alt="Figure 3: Qualitative transfer from Kvasir-SEG to ClinicDB (top) and ColonDB (bottom), without target-domain fine-tuning. Green and blue overlays indicate ground truth and predictions, respectively. Boxed regions are enlarged in the insets." class="ltx_graphics" id="x1-33000r3">
  • URL: https://arxiv.org/html/2610.29617v1/x3.png
• Figure 4: "Hardware mapping of the W2A8 deployment graph. A ternary array executes sign selection and accumulation, while the shared affine and quantization path supports convolution outputs and multi-scale feature addition."
  • Looking at the HTML: <img src="2610.29617v1/x4.png" alt="Figure 4: Hardware mapping of the W2A8 deployment graph. A ternary array executes sign selection and accumulation, while the shared affine and quantization path supports convolution outputs and multi-scale feature addition." class="ltx_graphics" id="x1-36001r4">
  • URL: https://arxiv.org/html/2610.29617v1/x4.png

I can choose up to 3 figures. Figure 1 (pipeline), Figure 2 (architecture), and Figure 4 (hardware mapping) seem most critical for understanding the co-design aspect. Figure 3 is qualitative results. I will pick Figure 1, 2, and 4.

Part 2 JSON:

Figure 1 — TernScope 파이프라인

Figure 2 — TernScope-Net 아키텍처

Figure 4 — W2A8 하드웨어 매핑

Now, I will construct the full response.저자: Zhuoyu Wu, Wenhui Ou, Qiawei Zheng, Xuhong Qiu, Wenqi Fang, Raphaël C. -W. Phan

1. Key Terms & Definitions (핵심 용어 및 정의)

• Model–Hardware Co-Design: 신경망 아키텍처와 이를 지원하는 하드웨어 가속기를 동시에 최적화하여 전반적인 시스템 효율성을 향상시키는 접근 방식이다.
• Ternary Neural Networks (TNNs): 가중치가 일반적으로 {-1, 0, +1}의 세 가지 이산 값으로 제한되는 신경망으로, 메모리 사용량을 줄이고 산술 연산을 단순화할 수 있다.
• Ternary Progressive Quantization-aware Training (TPQ): 네트워크 가중치를 ternary precision으로 점진적으로 전환하는 incremental quantization-aware training 전략으로, 깊은 레이어에서 얕은 레이어, 디코더, 그리고 입력 및 예측 레이어까지 확장한다.
• SplitLK: TernScope-Net의 구성 요소로, 채널의 특정 부분집합에 large-kernel 처리를 할당하여 계산 비용을 최소화하면서 공간적 Context를 효과적으로 확장한다.
• Structural Re-parameterization: 훈련 단계에서 사용되는 여러 개의 표현력 있는 브랜치들을 배포 시 하나의 효율적인 연산자로 통합하여 계산 오버헤드를 줄이는 기법이다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

Edge medical segmentation은 model size, accuracy, inference speed라는 trilemma에 직면해 있다. 배포 가능한 모델은 제한된 메모리에 적합해야 하며, 병변을 정확하게 분할하고, 예측을 신속하게 제공해야 한다. 기존 연구들은 네트워크 폭이나 공간 처리를 줄여 리소스를 절약하려 하지만, 이는 segmentation에 필요한 contextual information을 제한하여 성능 저하로 이어질 수 있다. 더욱이, 단순히 compact network가 fast inference나 small accelerator로 자동적으로 이어지는 것은 아니며, memory access, operator organization, 그리고 target architecture에 따라 실행 효율성이 크게 달라진다. 본 논문은 ternary constraint 하에서 compact segmentation graph를 효과적으로 학습시키는 것이 핵심적인 과제임을 지적한다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

TernScope는 SplitLK, Nearest Unifier 멀티스케일 퓨전, 그리고 Ternary Progressive QAT (TPQ)를 결합하여 효율적인 W2A8 (2-bit weights, 8-bit activations) Endoscopic Segmentation을 달성한다 [Figure 1, Figure 2]. SplitLK는 large-kernel 처리를 채널의 부분집합에 할당하여 공간적 Context를 효율적으로 확보하고, Nearest Unifier는 모든 네 가지 인코더 스케일을 16채널로 투영하여 narrow multi-scale fusion을 수행한다. Branch fusion은 훈련 시의 redundant inference paths를 제거하여 배포 시 단일 효율적인 연산자로 통합하며, 이어서 TPQ가 W2A8 precision으로 fused deployment graph를 점진적으로 학습시킨다. TPQ는 FP32 모델을 먼저 deployment topology로 변환한 후, W8A8 학습을 거쳐 deep to shallow encoder stages, 디코더, 그리고 입력 및 예측 convolution까지 ternary weights로 전환하는 3단계 프로세스를 따른다 [Figure 1].

실험 결과, TernScope-Net은 0.2483 M parameters와 0.0949 GMACs를 사용하면서 Kvasir-SEG 데이터셋에서 0.8158 Dice 및 0.7247 IoU를 달성했으며, 외부 데이터셋인 ClinicDB와 ColonDB에서도 기존 FP32 reference 모델들을 뛰어넘는 Dice 및 IoU 점수를 기록했다 [Table 1]. 특히, TPQ는 direct QAT 대비 외부 데이터셋 Dice를 2.62 및 3.09 포인트 향상시키며, FP32 reference보다도 우수한 성능을 보였다 [Table 2]. 하드웨어 구현 측면에서, TernScope는 Gemmini 기반의 16 × 16 ternary PE array를 활용하여 compute-array area를 88.46% 감소시키고, standard-cell area를 70.28% 감소시켰다 [Table 3, Figure 4]. 또한, 100 MHz에서 Gemmini 대비 8.629배 높은 102.701 FPS의 throughput을 달성하며, 이미지당 Logic Energy Cost를 95.690% 절감했다 [Table 3].

4. Conclusion & Impact (결론 및 시사점)

TernScope는 SplitLK, branch fusion, 그리고 Ternary Progressive QAT (TPQ)를 통해 compact W2A8 graph에서 segmentation quality를 유지하는 model-hardware co-design framework를 성공적으로 제시한다. 이 연구는 low-bit learning과 smaller compute array를 edge endoscopy 애플리케이션에 연결하여 고효율 의료 영상 Segmentation을 가능하게 한다. TernScope는 FP32 reference 대비 경쟁력 있는 segmentation accuracy를 유지하면서, parameters, GMACs, compute-array area, standard-cell area, logic power 등 다양한 측면에서 크게 개선된 효율성을 입증했다. 이러한 co-design 접근 방식은 향후 zero-valued ternary weights를 활용한 sparsity-aware execution 및 compressed storage를 통해 computation 및 data-movement costs를 더욱 낮출 수 있는 방향을 제시하며, edge AI 분야에 큰 시사점을 제공한다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.