---
title: "CASK"
description: "추론형 LLM의 KV 캐시 압축 · arXiv"
canonical: https://portfolio.skyline23.com/ko/projects/cask
language: ko
content-signal: ai-train=no, search=yes, ai-input=yes
---

# CASK

> 추론형 LLM의 KV 캐시 압축 · arXiv

## Overview

LLM의 긴 추론에서 KV 캐시를 줄이는 연구입니다. 답을 만드는 데 필요한 상태는 남기고 반복된 중간 상태는 합칩니다. 2026년 4월 13일 arXiv에 공개했습니다(arXiv:2604.10900).

## Highlights

- core는 보존하고 scratch만 합칩니다. 입력 구간을 먼저 정리해 생성 중 압축에 쓸 공간을 확보합니다.
- H100 PCIe에서 Qwen3-8B와 TriAttention을 비교했습니다. AIME24·AIME25 각 6개 예제로 다음 토큰 일치율과 평균 NLL을 측정했습니다.
- multi_news·vcsum에서는 생성 구간의 병합을 확인했고 qmsum·gov_report에서는 입력만으로 예산이 소진되는 문제가 남았습니다. 논문과 구현 코드를 공개했습니다.

## Metadata

- Type: Project
- Category: ML
- Years: 2026
- Stack: LLM, KV cache, Reasoning

## Links

- Paper: [arXiv](https://arxiv.org/abs/2604.10900)
- Source: [GitHub](https://github.com/Skyline-23/CASK)

## Language versions

- [EN](https://portfolio.skyline23.com/en/projects/cask/index.md) · [KO](https://portfolio.skyline23.com/ko/projects/cask/index.md) · [JA](https://portfolio.skyline23.com/ja/projects/cask/index.md)

- [Portfolio index](https://portfolio.skyline23.com/ko/index.md)