선점 AI 업무 시험 방법 v1

2026년 10월 1일 첫 판 · 누가 어떻게 만드나

한 줄 답

실제 업무 모양의 가상 자료에 함정을 심고, 같은 지시를 새 대화에서 3번 실행해 판정합니다.

무엇을 시험하나요?

사무 담당자가 매주 하는 일 하나를 가상 자료로 다시 만듭니다. 지점 매출 파일, 견적서 3장, 회의 녹취 정리본, 고객센터 메일함 같은 것입니다. 실제 회사나 고객 자료는 쓰지 않으며, 자료 속 이름과 회사, 번호는 모두 지어낸 것입니다.

그 업무에서 사람이 실제로 자주 틀리는 지점을 자료 안에 2~5개 넣습니다. 원과 천 원이 섞인 파일, 부가세 포함과 별도가 섞인 견적, 회의 중간에 뒤집힌 결정, 숫자가 없는 메모에 「진행률도 넣어 줘」 같은 것입니다.

지시문에는 함정을 알려 주지 않습니다. 담당자가 평소에 하는 말 그대로 한두 문장만 씁니다. AI가 알아서 걸러 내는지를 보려는 것입니다.

한 번 맞힌 것은 우연일 수 있습니다. 회차마다 답이 바뀌면 매주 맡길 수 없습니다. 그래서 같은 자료와 같은 지시를 새 대화에서 3번 실행하고 세 결과를 나란히 비교합니다.

Claude 공식 문서도 같은 지시를 여러 번 실행해 결과를 비교하면 서로 어긋나는 곳에서 잘못된 내용을 찾을 수 있다고 안내합니다. Claude 공식 문서: 환각 줄이기

v1은 Claude 채팅에 파일 내용과 지시문만 넣고 돌렸습니다. 검색, 코드 실행, 파일 연결 같은 도구는 붙이지 않았습니다. 시험한 날짜는 결과 페이지마다 적습니다.

판정	기준	뜻
맡겨도 됨	심은 함정을 3회 모두 잡았고, 3회 결과가 같습니다.	사람은 AI가 표시한 확인 요청과 마지막 실행(발송, 발주)만 맡습니다.
조건부	함정은 대부분 잡았지만 3회 결과가 갈리거나, 입력에 없는 내용을 지어 넣었습니다.	기준표를 먼저 주거나, 지어낸 숫자와 내용을 사람이 실제 기록으로 바꾸면 쓸 수 있습니다.
아직	돈 계산이나 사실 관계 같은 핵심 함정을 1회 이상 놓쳤습니다.	결과 전체를 다시 확인해야 해서 맡기지 않는 편이 빠릅니다.

판정마다 AI가 끝내지 못한 일을 「사람이 할 일」 한 줄로 적습니다. 판정은 이 자료와 이 지시에서 나온 결과이며, 다른 자료에서도 같다고 보장하지 않습니다.

지시문과 입력 자료 원본을 결과 페이지와 판정표에서 내려받을 수 있게 둡니다. 같은 자료로 직접 돌려 보고 결과가 다르면 메일로 알려 주시면 확인합니다. 3회 출력 원문은 시험 기록으로 보관합니다.

다시 시험하면 결과 페이지에 「재시험 기록」 줄을 날짜, 모델, 바뀐 결과와 함께 더합니다. 내용을 다시 확인하지 않고 날짜만 바꾸지 않습니다. 방법이 다른 판끼리는 결과를 바로 비교하지 않습니다.

업무마다 가상 자료 1건으로 3회 돌린 작은 시험입니다. 실제 회사 자료는 더 지저분할 수 있습니다. 고객 개인정보가 든 자료를 AI에 넣기 전에는 회사의 AI 사용 규칙과 개인정보 보호 기준을 먼저 확인합니다.