Thinking 모델

CoT를 통해서 LLM의 추론 능력을 향상시킬 수 있다. 단순 질문과 응답 방식은 암기된 지식으로 답변이 나올 확률이 있다. 사고과정을 Context에 보여줌으로써 해결방법을 찾아가는 과정이 드러나고 이를 통해 추론을 통한 결과 도출이 가능해진다.

Thinking

  • thinking 은 최소 1024 token이 소모된다.
  • think, think hard, think harder, ultrathink 순으로 thinking 수준이 올라간다.

Thinking의 활용

  • 어렵고 복잡한 문제 해결
  • 단계가 많은 문제 해결
  • 지속적으로 발생하는 오류 해결
  1. 클로드 코드가 수정 중에 계속 오류 발생하는 상황
  2. Esc로 Interrupt
  3. Tab으로 Thinking on
  4. Plan Mode로 전환
  5. Prompt현재 발생하는 문제에 대해서 원인을 생각하고 작업을 진행해줘
  6. 필요한 thinking 레벨에 따라 thinking 적용하기

왜 항상 Thinking을 하지 않는가?

  • 시간 소모가 크다.
  • 토큰 소모가 크다.
  • 단순하게 처리할일을 복잡하게 만들수도 있다.

Ref