Clew — AI 코딩 에이전트의 토큰 낭비 탐지기 (오픈소스)

프로젝트 소개

AI 코딩 에이전트는 같은 도구를 같은 인자로 다시 호출하고, 실패한 요청을 원인도 안 고치고 반복하며 조용히 토큰을 태웁니다. 에러도 안 나고 청구서로만 나타나죠. Clew는 실행 트레이스에서 그 낭비 지점을 찾아 종류별로 분류한 리포트로 돌려줍니다.

[동작]
값싼 구조 검사(sha256 완전일치)로 반복 후보를 추리고 → 필요할 때만 의미 검사(임베딩+코사인)로 확정하는 2단계 캐스케이드
LLM 판정 없이 결정론적 — 같은 트레이스면 언제나 같은 결과
낭비를 4종으로 분류(에러 반복 / 부작용 재실행 / 회색지대 / 판정불가)하고, 각 유형이 대체로 뭐가 문제인지까지 안내

[어디에 쓸 수 있나]
Claude Code — 세션 파일(JSONL)을 그대로 분석 (실제 공개 세션으로 검증됨)
LangGraph — 트레이스에서 체인 중복 탐지 (실데이터 검증됨)
LangChain·CrewAI·AutoGen·LlamaIndex 등 — OpenTelemetry/OpenInference 표준 형식으로 계측된 트레이스를 파싱합니다 (형식 지원이며, 프레임워크별 실측 검증은 진행 중)
공개 벤치마크 트레이스(Toolathlon, RedundancyBench) — 아래 실측 숫자가 여기서 나왔습니다
Cursor·Codex는 아직 미지원입니다 (아래 로드맵 참고).

실측 (전부 공개 데이터)
공개 벤치마크 6,780 트레이스에서 중복 호출 8,042건 탐지 — 같은 인자 이메일 발송 459건, k8s 스케일 중복 75건 포함 (탐지이며, 실제 부작용 발생 여부는 미확인)
라벨링 벤치마크 precision 0.826

[앞으로의 방향]

주요 코딩 에이전트 전부 커버 — 지금은 Claude Code가 중심이고, Cursor·Codex 등으로 어댑터를 넓혀 "어떤 에이전트를 쓰든 같은 진단"이 목표입니다
사후 리포트 → 실시간 — 정밀도가 충분히 증명된 좁은 범위(같은 이메일을 두 번 보내려는 순간 같은 부작용성 중복)부터, 끝난 뒤 아는 게 아니라 일어나기 전에 알리는 쪽으로
에이전트 간 낭비 — 멀티에이전트 오케스트레이션에서 같은 지시가 반복되는 사례를 확인했고, 단일 에이전트가 안정화되면 이 영역으로 확장합니다

[정직 경계]
회색지대(멱등 연산 반복 등)가 탐지의 47%를 차지하며, 분류해서 보여주되 낭비 여부 판정은 사용자 몫으로 남깁니다. 측정된 비용 절감 사례는 아직 없습니다. 검증 실패한 탐지기는 폐기하고 기록을 남깁니다 — 위 로드맵도 같은 방식으로, 검증을 통과하는 것만 갑니다.

후원은 이렇게 쓰입니다
공개 데이터셋 검증 비용과 유지보수, 그리고 위 로드맵을 밀고 나가는 시간. 오픈소스(MIT)로 계속 공개합니다.

[링크]
코드·검증 기록·실패 로그: github.com/JEONSEWON/Clew-by-Custos

날개를 달아주세요.