Caveman으로 코딩 에이전트 컨텍스트 줄이기: 토큰 절약보다 먼저 볼 것

코딩 에이전트의 비용을 줄일 때 모델부터 바꾸기 쉽습니다. 그러나 실제 작업에서는 에이전트가 매번 읽는 파일과 도구 출력의 양도 큰 차이를 만듭니다. Caveman 공식 README는 이 문제를 짧은 출력과 컨텍스트 축소, 작업 패턴으로 나누어 다룹니다.

줄이는 대상과 보존할 대상을 나눈다

컨텍스트 최적화는 무조건 짧게 만드는 작업이 아닙니다. 코드, 명령, 오류처럼 정확성이 필요한 정보는 보존하고 반복 설명과 불필요한 탐색 결과를 줄여야 합니다.

대상	처리 방향
반복 설명	짧은 작업 패턴으로 치환
긴 도구 출력	현재 판단에 필요한 부분만 전달
코드·명령·오류	원문 보존
작업 결과	실제 수정과 검증으로 확인

Caveman은 에이전트가 provider 호출 전에 읽는 내용과 답변 표현을 줄이는 방식으로 이 경계를 구현한다고 설명합니다.

출력 토큰 수치만 보면 안 된다

공식 문서에는 특정 benchmark에서 출력 토큰이 줄어드는 수치가 제시되지만, 입력과 추론 토큰은 그대로일 수 있고 스킬 자체가 추가 입력을 만들 수 있다는 경고도 있습니다. 따라서 “출력 감소율”을 곧바로 전체 비용 절감률로 읽으면 안 됩니다.

실험은 같은 작업을 두 번 실행해 다음을 따로 기록해야 합니다.

• provider가 보고한 입력·출력 토큰
• 작업 완료까지 걸린 시간
• 수정된 파일 수와 변경 범위
• 테스트·검수 통과 여부
• 사람이 다시 고친 횟수

작은 저장소에서 비교한다

처음부터 대형 프로젝트에 적용하면 원인이 섞입니다. 작은 저장소에서 같은 버그 수정이나 문서 작업을 일반 모드와 최적화 모드로 각각 실행하고, 결과와 오류를 비교하는 편이 낫습니다.

1. 기준 작업과 성공 조건 고정
2. 일반 실행의 로그와 결과 보존
3. 최적화 설정으로 같은 작업 재실행
4. 토큰·시간·변경 범위·검증 결과 비교
5. 품질이 떨어지는 작업 유형 분리

짧은 답변이 항상 좋은 답변은 아닙니다. 에이전트가 중요한 조건을 읽지 못해 재작업이 늘면 토큰을 아낀 의미가 사라집니다.

적용 판단

Caveman의 핵심은 “더 작은 모델”이 아니라 “더 작은 작업 맥락”입니다. 다만 수치는 작업·모델·도구 구성에 따라 달라지므로 자신의 로그로 다시 측정해야 합니다. 비용, 속도, 수정 품질을 함께 기록할 수 있을 때 컨텍스트 최적화가 운영 개선으로 이어집니다.

• Caveman 저장소
• Caveman 설치 문서