최신 AI 모델의 등장으로 AI 평가(evals) 방식이 근본적으로 변화했으며, 특히 AI 출력과 최종 편집본을 비교하여 실패 사례를 찾아내는 '상향식(bottom-up) 평가'의 중요성이 커지고 있습니다. 기존의 '하향식(top-down) 평가'는 미리 정의된 규칙을 따르지만, AI가 실패하는 지점을 파악하고 이를 바탕으로 새로운 평가 기준을 만드는 상향식 접근법이 AI 성능 개선에 필수적입니다.
AI 평가 전문가인 슈레야와 하멜은 사용자가 AI 출력에서 발견한 오류를 재사용 가능한 평가 기준으로 전환할 수 있도록 클로드 코드(Claude Code) 및 코덱스(Codex)에서 활용할 수 있는 무료 '오류 발견(Error Discovery) 스킬'을 개발했습니다. 이 스킬은 5단계 과정을 통해 피드백을 유용한 평가로 전환하도록 돕습니다. 구체적으로, AI의 실패 사례를 평가로 전환하기 전에 최소 10~20개의 과거 AI 출력과 최종 편집본을 비교하여 일반적인 실패 패턴을 식별하는 것이 중요합니다.
이러한 접근 방식은 AI 모델의 한계를 명확히 이해하고, 실제 사용 환경에서 발생하는 오류를 체계적으로 포착하여 AI의 전반적인 품질과 유용성을 높이는 데 기여합니다. 특히, AI 도구를 활용하여 생산성을 높이려는 프리랜서나 1인 사업자에게는 AI 결과물의 신뢰도를 확보하고 작업 효율을 극대화하는 데 실질적인 도움을 줄 수 있습니다.
Claude Code
앤트로픽의 클로드 AI 모델을 활용하는 코드 환경
AI 에이전트
자율적으로 특정 작업을 수행하도록 설계된 AI
과적합 (Overfit)
AI 모델이 훈련 데이터에 너무 맞춰져 일반화 능력이 떨어지는 현상
이 글은 Behind the Craft의 원문을 한국어로 요약·재구성한 것입니다. 전체 내용은 원문 보기 →
클로드 코드의 무료 '오류 발견 스킬'을 활용해 AI 출력 10~20개를 비교하여 실패 패턴을 평가 기준으로 만들 수 있습니다.