생성형 AI 답변의 성과를 숫자 하나로 보고하면 실제 변화가 가려질 수 있습니다. 같은 기간에 브랜드 이름은 더 자주 나왔지만 자사 페이지 인용은 줄어든 관측 사례가 있습니다. 보고서를 쓰기 전에 지표 정의, 분모, 엔진별 값을 따로 점검해야 회차 간 비교가 의미를 가집니다.
근거 사례로 삼은 관측 조건
넥스트티가 공개한 관측 자료는 운영 중인 한 브랜드를 대상으로 합니다. 같은 질문 100개를 AI 5곳에 물어 2026년 8월(1회차)과 9월(2회차)의 답변을 비교했습니다. 측정 방식과 원래 수치는 AI 5곳의 답변을 세 지표로 나눠 기록한 자료에서 확인할 수 있습니다. 아래 표는 AI 5곳을 합한 기준의 변화입니다.
| 지표 | 1회차(2026년 8월) | 2회차(2026년 9월) | 변화 |
|---|---|---|---|
| 브랜드 언급 | 73회 | 92회 | +26% |
| 언급 점수 | 428점 | 532점 | +24% |
| 인용 출처(자사 페이지) | 312회 | 252회 | −19% |
표의 세 줄은 같은 대상을 센 값이 아닙니다. 언급 횟수와 언급 점수는 답변 본문에 브랜드 이름이 나온 현상을 서로 다른 단위로 집계한 값입니다. 인용 출처는 답변에 붙은 근거 URL을 기준으로 셉니다.
다만 질문 100개는 무작위로 뽑은 표본이 아니고, 한 브랜드에서 나온 값입니다. 다른 브랜드나 업종에서도 같은 방향의 변화가 나타난다고 볼 근거는 이 자료에 없습니다. 아래 점검 항목은 수치를 기준값으로 삼기보다 자사 측정을 설계할 때 같은 함정을 피하는 참고로 보는 것이 적절합니다.
점검 1. 세 지표의 정의 고정
첫 번째로 확인할 항목은 지표 정의입니다. 이 관측은 다음 세 지표를 따로 셉니다.
- 브랜드 언급: 답변 본문에 브랜드 이름이 나왔는지를 셉니다. 원문은 이를 횟수와 함께 점수로도 집계합니다.
- 인용 출처: 답변에 붙은 근거 URL 가운데 자사 페이지가 있는지를 셉니다.
- 브랜드 표시: 출처 표시 문구에 브랜드명이 드러났는지를 셉니다. 원문에서는 브랜드 인용이라는 이름으로 씁니다.
세 지표는 서로 포함관계가 아닙니다. 본문에 브랜드 이름이 나와도 자사 페이지가 출처로 붙지 않을 수 있습니다. 반대로 자사 페이지가 출처로 붙어도 표시 문구에는 브랜드명이 드러나지 않을 수 있습니다.
그래서 언급이 26% 늘고 인용 출처가 19% 줄어든 결과는 서로 모순되는 값이 아니라 서로 다른 대상을 센 값으로 읽어야 합니다. 사내 보고서에서 노출, 인용, 언급이라는 말을 섞어 쓰고 있다면 이 단계에서 용어부터 정리해야 합니다.
정의를 문서로 고정할 때는 판단이 갈리는 경우도 함께 적어야 합니다. 브랜드의 영문 표기나 약칭이 본문에 나왔을 때 언급으로 셀지 미리 정합니다. 자사 하위 도메인이나 블로그 주소가 근거 URL로 붙었을 때 자사 페이지로 셀지도 함께 정합니다. 이런 기준이 회차마다 바뀌면 수치가 달라져도 실제 변화인지 집계 기준의 변화인지 구분하기 어렵습니다.
점검 2. 비교 수치의 분모
두 번째는 분모입니다. 같은 자료 안의 숫자라도 무엇을 기준으로 셌는지가 다르면 나란히 놓을 수 없습니다.
이 관측에서 Google AI Mode 답변에 붙은 출처 전체는 1회차 838회에서 2회차 379회로 54.8% 줄었습니다. 브랜드와 관계없는 출처까지 모두 센 값입니다. 반면 인용 출처 −19%는 AI 5곳의 답변에서 자사 페이지가 근거 URL로 잡힌 횟수가 312회에서 252회로 줄어든 비율입니다.
두 값을 보고 엔진 전체의 출처 감소가 자사 인용 감소를 낳았다고 결론 내리기는 어렵습니다. 엔진이 붙이는 출처 수가 줄어든 흐름과 자사 인용 감소가 같은 시기에 나타났다고 볼 수는 있습니다. 그러나 이번 측정만으로는 원인을 특정하기 어렵습니다.
분모를 확인할 때는 다음 세 가지를 차례로 묻습니다.
- 이 비율이 자사 페이지만 센 값인지, 답변에 붙은 출처 전체를 센 값인지 확인합니다.
- 여러 엔진을 합한 값인지, 한 엔진의 값인지 확인합니다.
- 두 회차가 같은 질문 수를 기준으로 했는지 확인합니다.
보고서에는 각 수치 옆에 분모를 함께 적습니다. 분모가 다른 수치끼리는 한 문장에서 원인과 결과처럼 잇지 않는 것이 안전합니다.
점검 3. 합계와 엔진별 값의 분리
세 번째는 합계와 엔진별 값을 나눠 보는지입니다. 2회차(2026년 9월) 엔진별 값을 보면 합계로는 드러나지 않는 차이가 보입니다.
| 엔진 | 강하게 나온 지표 | 약하게 나온 지표 |
|---|---|---|
| Perplexity | 인용 출처 117회 | 브랜드 표시 4회 |
| 네이버 AI탭 | 언급 점수 128점(AI 5곳 중 최고, 2위 120점) | 브랜드 표시 0회 |
Perplexity에서는 자사 페이지가 근거로 자주 쓰였어도, 독자가 보는 출처 표시에서는 브랜드가 거의 드러나지 않았다고 볼 수 있습니다. 네이버 AI탭은 본문 언급은 다섯 곳 가운데 가장 높았지만 출처 표시에 브랜드명이 나온 경우는 없었습니다.
엔진마다 강한 지표와 약한 지표가 다르면, 합계 하나로 좋아졌다 또는 나빠졌다를 판단할 때 개선이 필요한 지점을 놓칠 수 있습니다. 출처 표시에 브랜드명이 드러나지 않는 이유는 이 자료로는 알 수 없습니다. 값이 갈리는 엔진을 찾았다면 그 엔진의 답변 원문을 직접 열어 출처 표시 형태를 확인하는 순서가 필요합니다.
엔진별 표를 만들 때는 세 지표를 같은 표에 넣습니다. 측정한 결과가 0회인 칸은 비우지 않고 0으로 적고, 측정하지 못한 칸은 0과 구분해 표시합니다. 수집에 실패한 칸을 0으로 적으면 다음 회차와 비교할 때 실제 감소처럼 읽힐 수 있습니다. 네이버 AI탭의 브랜드 표시처럼 측정한 결과가 0회라면, 0회라는 결과 자체가 다음 회차의 점검 대상이 됩니다.
보고 전 실무 점검 목록
- 지표 정의: 브랜드 언급, 인용 출처, 브랜드 표시를 각각 정의한 문서가 있고 회차마다 같은 정의로 세는지 확인합니다.
- 질문 목록: 회차 간에 같은 질문을 같은 수로 물었는지 확인합니다. 질문 구성이 무작위 표본이 아니라면 그 사실을 보고서에 밝혔는지도 확인합니다.
- 측정 대상: 비교하는 두 회차에서 같은 AI 서비스를 대상으로 했는지 확인합니다.
- 분모 표기: 각 비율 옆에 자사 페이지 인용인지, 답변에 붙은 출처 전체인지 적었는지 확인합니다.
- 단위 구분: 언급 횟수와 언급 점수처럼 단위가 다른 값을 한 칸에 섞지 않았는지 확인합니다.
- 엔진별 기록: 합계 표와 별도로 엔진별 값을 남겼는지, 측정 결과 0과 측정하지 못한 칸을 구분했는지 확인합니다.
- 원문 보관: 답변 원문과 출처 목록을 회차별로 보관해, 값이 크게 바뀐 질문을 다시 열어 볼 수 있는지 확인합니다.
- 해석 문장: 같은 시기에 나타난 변화를 원인으로 단정한 문장이 없는지, 한 브랜드의 값을 업계 전체 경향처럼 쓰지 않았는지 확인합니다.
회차별 기록표에 남길 항목
위 점검을 회차마다 반복하려면 기록표의 열부터 고정하는 편이 효율적입니다. 최소한 다음 항목을 질문 단위로 남기면 세 지표를 나중에 따로 집계할 수 있습니다.
- 측정 회차와 측정 기간
- 질문 번호와 질문 원문
- 답변을 받은 AI 서비스 이름
- 답변 본문의 브랜드 언급 여부
- 답변에 붙은 근거 URL 목록과 그중 자사 페이지 여부
- 출처 표시 문구 원문과 브랜드명 노출 여부
- 수집 실패 여부(측정 결과 0과 구분)
정리
근거 사례에서는 같은 두 달 동안 브랜드 언급이 73회에서 92회로 늘고, 자사 페이지 인용 출처는 312회에서 252회로 줄었습니다. 세 지표를 하나로 묶었다면 이 차이는 보고서에 드러나지 않았을 것입니다. 언급이 늘었다는 결과만으로 자사 페이지가 근거로 더 많이 쓰였다고 판단할 수는 없습니다.
생성형 AI 답변의 성과는 지표 정의, 분모, 엔진별 값을 나눠 점검할 때 판단에 쓸 수 있는 정보가 됩니다. 다음 측정 회차를 준비한다면 위 여덟 항목을 측정 계획서 첫 장에 넣고, 회차가 끝날 때마다 같은 항목으로 결과를 대조하는 방식을 권합니다.