ChatGPT가 준 숫자, 출처 확인 3분 루틴 | 그럴듯함과 정확함은 다르다

월요일 아침, 성과 보고서 마감까지 두 시간이 남았습니다. 업계 벤치마크 한 줄이 비어 있어서 ChatGPT에 물어봅니다. “SaaS 이메일 평균 오픈율 얼마야?” 21.5%라는 답이 깔끔하게 돌아옵니다. 그대로 복사해서 슬라이드에 붙입니다. 그런데 그 21.5%가 어느 자료의 몇 년도 수치인지, 혹시 물어보셨나요?

대부분은 안 물어봅니다. 급하니까요. 문제는 그렇게 붙인 숫자가 임원 보고에 올라가고, 다음 분기 목표의 기준선이 되고, 광고 예산을 어디에 나눌지 정하는 근거가 된다는 점입니다. AI는 그럴듯한 문장을 만드는 데 최적화된 도구이지, 사실을 보증해 주는 도구가 아닙니다. 대규모 언어모델의 환각(hallucination)을 유형별로 정리한 Huang 등의 2023년 서베이도 이 도구가 ‘그럴듯하지만 사실이 아닌’ 내용을 만들어 내는 성질을 짚습니다. 그럴듯함과 정확함은 다른 이야기입니다. 그래서 오늘은 마케터가 3분 안에 돌릴 수 있는 AI 데이터 검증 루틴 세 단계를 정리해 봅니다.

1. 1단계 — “이 숫자 출처가 어디예요?”라고 되묻기

가장 먼저 할 일은 간단합니다. AI가 답을 주자마자, 그 자리에서 출처를 되묻는 겁니다. 답이 나온 채팅창에 바로 이렇게 치면 됩니다. “방금 그 21.5%는 어떤 자료의 몇 년도 데이터인가요? 출처 링크도 함께 주세요.”

그러면 대개 세 가지 반응이 나옵니다.

첫째, 특정 리포트 이름과 연도를 대면서 링크를 줍니다. 이럴 땐 그 링크를 눌러 원문에서 숫자를 직접 확인하면 됩니다.

둘째, “일반적으로 알려진 범위”라며 얼버무립니다. 이건 사실상 출처가 없다는 뜻입니다. 그런 수치는 보고서에서 뺍니다.

셋째, 그럴듯한 리포트 이름을 대는데, 막상 링크를 눌러 보면 그런 페이지가 없거나 숫자가 다릅니다. 실제로 Walters와 Wilder의 2023년 분석에서는 ChatGPT가 만든 인용 가운데 상당수 — 구형 모델에서는 절반 안팎 — 가 실존하지 않거나 저자·연도가 틀린 것으로 나타났습니다. 이게 가장 위험한 경우입니다.

실제로 겪을 법한 상황을 하나 그려 봅니다(가상의 예입니다). AI가 “◯◯의 2024 이메일 벤치마크 리포트에 따르면 SaaS 오픈율은 21.5%”라고 답했다고 해봅시다. 링크를 눌러 원문을 열어 보니, 그 리포트가 말한 건 ‘오픈율’이 아니라 ‘전체 산업 평균’이었습니다. SaaS 항목은 따로 있었고, 수치도 달랐고요. 출처를 되묻는 30초가 보고서 전체의 신뢰를 지킵니다. 링크가 안 열리거나 원문에서 그 숫자를 못 찾으면, 그 수치는 존재하지 않는다고 보는 편이 안전합니다.

2. 2단계 — 단위·기간·정의를 뜯어보기

출처가 진짜라고 해서 끝이 아닙니다. 같은 숫자라도 단위와 정의가 어긋나면 완전히 다른 이야기가 됩니다. 마케팅 수치에서 특히 자주 터지는 세 군데를 봅니다.

첫째, %와 %p입니다. AI가 “전환율이 2%에서 3%로, 50% 상승했습니다”라고 쓰면, 이건 맞는 표현입니다. 산술적으로 말하면 1%p 오른 것을 상대 증가율로 환산해 50%라 부른 거니까요. 문제는 이 문장을 보고서에 “전환율 50% 개선”이라고만 줄여 적을 때입니다. 그러면 읽는 사람은 3%가 아니라 50%대 전환율을 머릿속에 그립니다. %와 %p를 섞어 쓰면 이런 오해가 생깁니다. 보고서에는 “2% → 3%(1%p 상승)”처럼 둘 다 적어 주는 게 안전합니다.

둘째, 기간입니다. “평균 클릭률 1.8%”라는 숫자도, 그게 지난 7일인지 지난 분기인지, 브랜드 캠페인을 포함했는지 아닌지에 따라 의미가 달라집니다. AI가 준 수치의 집계 기간을 반드시 확인하고, 우리 보고서의 기간과 맞는지 봅니다.

셋째, 정의입니다. ‘전환’이 구매인지, 장바구니 담기인지, 회원가입인지. ‘리드’가 폼 제출인지, 영업이 인정한 리드인지. 이런 용어 하나가 회사마다 다릅니다. AI가 가져온 벤치마크의 ‘전환’과 우리 GA에 찍히는 ‘전환’이 같은 정의인지 확인하지 않으면, 사과와 오렌지를 나란히 놓고 비교하는 셈이 됩니다.

3. 3단계 — 우리 대시보드와 교차 확인하기

외부에서 가져온 숫자든, 우리 데이터를 AI가 요약해 준 숫자든, 마지막은 원본 대조입니다. AI에게 지난달 캠페인 성과 표를 붙여넣고 “평균 CPA 계산해줘”라고 시켰다면, 그 결과를 GA4나 광고 관리자, 스프레드시트 원본과 나란히 놓고 최소 한두 개 항목을 손으로 검산합니다.

특히 계산을 시켰을 때가 함정입니다. 예를 들어(가상의 예입니다) 광고비 300만 원에 전환 150건이면 CPA는 2만 원인데, AI가 표의 한 행을 빠뜨리거나 엉뚱한 열을 더해 “CPA 1만 8천 원”이라고 답하는 일이 생깁니다. 총액 한 줄, 전환 합계 한 줄만 원본과 맞춰 봐도 이런 오류는 대부분 걸립니다.

교차 확인이 번거롭다 싶으면, 기준을 하나 세워 두면 편합니다. 보고서에 들어갈 핵심 지표 딱 세 개 — 이를테면 전환수, CPA, ROAS — 는 항상 원본에서 직접 확인한 값만 넣는다는 원칙입니다. 나머지 보조 설명은 AI 초안을 써도 좋습니다. 다만 의사결정을 바꾸는 숫자만큼은, 내 눈으로 원본을 봤다고 말할 수 있어야 합니다.

4. 이 루틴을 3분 안에 돌리는 법

세 단계가 많아 보이지만 실제로는 짧습니다. 출처 되묻기 30초, 단위·기간·정의 확인 1분, 핵심 지표 교차 검산 1분 30초. 여기서 하나만 몸에 붙여도 절반은 성공입니다. 저라면 AI에게 수치를 물을 때, 프롬프트 끝에 한 줄을 고정으로 붙이겠습니다. “수치를 줄 때는 출처와 연도, 집계 기준을 함께 적어 주세요. 확실하지 않으면 모른다고 해 주세요.” 이 한 줄이 1단계와 2단계를 앞당겨 처리해 줍니다.

결국 AI를 쓰지 말자는 이야기가 아닙니다. AI는 초안을 만드는 속도에서 확실히 강합니다. 다만 그 초안 위에 마케터의 검증이 한 겹 얹혀야 비로소 보고서가 됩니다. 내 이름으로 나가는 숫자에 대한 책임은, 여전히 사람에게 있으니까요.