프롬프팅의 성공지표

Claude Code에서 효과적인 프롬프팅을 측정하는 방법을 알아봅니다.

성공지표 정의

1. Size (작업 규모)

• 정의: 에이전트가 완료한 작업(Operation)의 총 수
• 의미: 단일 프롬프트로 에이전트가 얼마나 많은 유의미한 작업을 수행했는지를 나타냅니다.
• 예시:
  • Low Size: "이 파일의 오타를 수정해줘" (단순 변경)
  • High Size: "이 모듈의 인증 로직을 리팩토링하고, 관련된 테스트 코드를 모두 업데이트해줘" (복합 작업)

2. Attempts (시도 횟수)

• 정의: 하나의 작업을 완료하기 위해 실행한 프롬프트의 횟수
• 의미: 횟수가 낮을수록 효율적입니다. 반복적인 수정 없이 원하는 결과를 얻는 것이 목표입니다.
• 예시:
  • 1 Attempt: "로그인 페이지 만들어줘" -> 완벽하게 작동하는 코드 생성 (성공)
  • 3 Attempts: "로그인 페이지 만들어줘" -> (에러 발생) -> "에러 로그 확인해서 고쳐줘" -> (스타일 깨짐) -> "CSS 수정해줘" -> 완료

3. Streak (연속 성공)

• 정의: 수정 없이 한 번의 시도(1-attempt)로 작업을 성공적으로 완료한 연속 횟수
• 의미: 프롬프트 작성의 일관성과 숙련도를 나타냅니다. Attempts가 '한 작업'에 대한 효율성이라면, Streak는 '여러 작업'에 걸친 일관성을 의미합니다.
• 예시:
  • Streak 3: 작업 A (1번 시도 성공) -> 작업 B (1번 시도 성공) -> 작업 C (1번 시도 성공)
  • Streak Broken: 작업 A (1번 시도 성공) -> 작업 B (2번 시도 성공, 스트릭 초기화)

4. Presence (개입 빈도)

• 정의: 작업 수행 중 사용자(Human-in-the-loop)가 개입한 횟수
• 의미: 에이전트의 자율성을 측정합니다.
• 예시:
  • High Presence: 에이전트가 파일을 읽거나 명령어를 실행할 때마다 사용자의 승인을 기다림
  • Low Presence: 에이전트가 권한 내에서 스스로 판단하여 필요한 파일을 찾고 수정을 완료함