광고에 귀속된 매출과 광고가 만든 매출

어트리뷰션은 구매나 가입 같은 결과가 발생했을 때, 어느 접점에 얼마의 성과를 배정할지 정하는 규칙이다. 마지막 클릭, 첫 클릭, 여러 접점의 분할 배정처럼 규칙에 따라 같은 구매가 다른 채널에 연결될 수 있다. 배정에 사용할 수 있는 접점의 기록 범위와 구매를 인정하는 시간 창도 결과를 바꾼다.

11장에서 설명한 ROAS는 이 귀속 매출을 광고비로 나눈 값이다. AD의 4,500만 원을 1,000만 원으로 나누면 4.5배, 백분율로는 450%다. 이 계산만으로 광고를 중단하면 4,500만 원의 매출이 사라진다고 판단할 수는 없다. 고객이 광고를 보지 않아도 구매했을 가능성은 배정 규칙에 포함되어 있지 않기 때문이다.

어트리뷰션 보고는 접점의 경로를 확인하고 같은 정의 아래 캠페인 운영을 점검하는 데 사용할 수 있다. 다만 동일 구매가 여러 매체에서 중복 주장되거나, 식별되지 않은 접점이 누락될 수 있다. 전체 주문 원장과 대조하고 매체별 정의를 확인하는 일은 인과 효과 추정과 별개로 필요하다. 귀속이 정확해졌다는 사실은 결과의 원인이 밝혀졌다는 뜻까지 포함하지 않는다.

2.1 같은 대상에 대한 두 가능성

인과 효과를 정의하려면 결과뿐 아니라 비교할 두 개입이 필요하다. 예를 들어 ‘현재 조건의 재타기팅 광고를 허용하는 정책’과 ‘이번 캠페인을 억제하는 정책’을 비교할 수 있다. 같은 계정이 같은 기간 두 정책 아래에서 보였을 결과의 차이가 관심 대상이다. 실제로는 둘 중 하나만 관찰되므로 다른 결과는 반사실적 결과로 남는다.

잠재결과 표기에서는 계정 i가 광고 허용 정책 아래 구매할지를 Yᵢ(1), 억제 정책 아래 구매할지를 Yᵢ(0)로 쓴다. 구매하면 1, 구매하지 않으면 0이다. 개별 효과는 Yᵢ(1) − Yᵢ(0)로 정의할 수 있지만 같은 계정의 두 값을 동시에 볼 수 없다. 따라서 비교 가능한 집단을 구성해 모집단의 평균 효과를 추정한다. 이 접근은 마케팅만의 고유 지표가 아니라 여러 분야의 인과 추론에서 공유하는 방법이다. Hernán·Robins, 1·2장

2.2 효과를 묻는 문장에 필요한 조건

“광고가 효과가 있는가”라는 문장은 실무 명세로는 넓다. 대상이 신규 고객인지 기존 고객인지, 노출을 허용하는 광고가 어느 매체의 어떤 캠페인인지, 구매를 언제까지 볼지 정해야 한다. 금액을 볼 때는 환불과 할인 차감을 어떻게 처리할지도 정한다.

AD의 질문은 “사전에 정한 적격 계정에게 14일 동안 이 캠페인을 허용하면, 억제했을 때보다 같은 14일 안의 고유 구매자 비율이 얼마나 달라지는가”다. 다른 마케팅 활동은 양쪽에 같은 정책을 적용한다. 이 질문은 모든 광고의 효과도, 영구적인 브랜드 효과도 아니다. 전체 브랜드 광고가 계속되는 상황에서 특정 캠페인 하나를 추가하는 효과다.

운영자가 개입을 통제할 수 있는 형태로 쓰는 것이 중요하다. 경매형 광고에서 모든 대상에게 정확히 같은 횟수의 노출을 보장하기 어렵다면 ‘한 번 노출의 효과’보다 ‘이 캠페인에 들어갈 기회를 허용하는 정책의 효과’가 실험으로 직접 평가할 수 있는 질문에 가깝다.

재타기팅 대상은 이미 상품을 검색하거나 장바구니를 만든 사람일 수 있다. 이런 사전 관심은 광고 노출 가능성과 구매 가능성에 모두 연결된다. 관심이 높은 사람이 광고도 더 많이 보고 구매도 더 많이 했다면, 두 집단의 차이에는 광고의 효과와 사전 관심의 차이가 함께 들어 있다. 이를 교란의 한 형태로 이해할 수 있다.

제품 로그를 많이 수집하면 사전 관심을 더 잘 설명할 수는 있다. 그러나 측정하지 못한 필요의 긴급성, 다른 채널의 상담, 경쟁 상품의 품절 등은 여전히 남을 수 있다. 모형에 변수를 많이 넣는 것만으로 필요한 비교 조건이 성립했다고 판단할 수 없다. 관찰 자료를 이용한 효과 추정은 어떤 차이를 조정했는지와 어떤 차이가 남았을 수 있는지를 함께 보고해야 한다.

AD에서는 광고 허용군 10,000명 중 실제로 광고가 전달된 사람이 6,000명이고 그중 구매자가 900명이라고 가정한다. 전달되지 않은 4,000명 중 구매자는 300명이다. 노출자의 구매율은 15%, 비노출자는 7.5%다. 이 7.5%포인트 차이는 허용군 내부의 노출 선택과 관련될 수 있다. 경매 참여, 접속 빈도, 기기, 실제 관심이 노출 여부와 함께 바뀌기 때문이다.

따라서 다음 절의 무작위 배정 비교를 실제 노출 여부의 비교로 바꾸지 않는다. 노출 기록은 집행 상태를 설명하는 진단 자료로 사용한다. 노출자에게 미친 효과를 별도로 추정하려면 추가적인 설계와 가정이 필요하다.

4.1 대상 선정과 배정

홀드아웃(holdout)은 개입을 일부 대상에게 의도적으로 적용하지 않고 비교 결과를 관찰하는 집단이다. AD에서는 8월 1일 00시 KST에 적격 계정 20,000명을 정하고 광고 허용과 억제에 각각 10,000명씩 무작위 배정했다고 가정한다. 결과 창은 [8월 1일 00시, 8월 15일 00시)다. 이 교육 예제에서는 계정당 인정 구매가 최대 한 건이고 주문 가격은 모두 50,000원이다. 취소·환불·추가 구매가 없다고 가정해 구매자 수와 매출의 관계를 단순화했다.

분모는 실제 광고를 본 사람이 아닌 처음 배정한 적격 계정이다. 광고를 허용했지만 경매에서 노출되지 않은 사람도 남긴다. 억제군에서 자연 검색으로 구매한 사람도 구매자로 집계한다. 구매 결과는 광고 태그에 연결된 주문만이 아니라 양쪽의 동일 주문 원장에서 수집한다.

4.2 차이의 크기와 단위

구매율 차이는 12% − 10% = 2%포인트다. 억제군 구매율을 기준으로 한 상대 증가는 20%다. 두 표현은 같은 관찰을 다른 단위로 나타내므로 함께 표시할 때 분모를 분명히 한다.

허용군과 같은 10,000명 규모에서 추정 증분 구매자는 10,000 × 0.02 = 200명이다. 증분 매출은 200 × 50,000원 = 1,000만 원이다. 여기서 200명은 구매자 명단에서 정확히 가려낸 200명이 아니다. 집단 평균의 차이를 해당 규모로 환산한 추정치다. 특정 구매자에게 “당신은 광고가 만든 구매자”라는 표지를 붙일 수 없다.

집단 크기가 다르면 단순 구매자 수 차이를 쓰지 않는다. 각 집단의 구매율 차이를 계산하고, 어느 규모에 적용할지 정한 뒤 환산한다. 무작위 배정이어도 우연한 표본 변동은 남는다. 독립된 이진 결과의 큰 표본 근사를 적용하면 이 예제의 구매율 차이 95% 신뢰구간은 약 1.13~2.87%포인트다. 구간 해석과 공식은 18장에서 다룬다. 이 범위는 계측 누락이나 잘못된 배정 같은 체계적 오류까지 포함한 오차 범위가 아니다.

4.3 무작위 배정이 유지되었는가

무작위 배정은 비교 이전 특성들이 집단 사이에서 균형을 이루도록 하는 설계다. 실제 표본의 모든 특성이 정확히 같아진다고 보장하지는 않는다. 배정 이후 결과가 없는 계정을 임의로 제거하거나, 구매 이력이 높은 사용자만 한쪽에서 제외하면 처음 설계의 비교 조건이 깨진다.

적격성 판단, 배정, 광고 허용·억제 적용, 결과 연결을 따로 기록한다. 억제군에 광고가 잘못 나간 비중, 식별자 연결 실패, 다른 캠페인의 보상 집행도 점검한다. 오염이 있으면 실제 비교한 정책을 다시 기술하고 영향 방향을 검토한다. “조금 섞였으니 효과가 항상 작게 나왔을 것”이라고 일괄 가정하지 않는다.

5.1 분자와 분모를 같은 비교에 맞추기

증분 ROAS(iROAS)는 비교한 정책 때문에 늘어난 매출을 그 정책 때문에 늘어난 광고비로 나눈 값이다. 기존 광고가 있는 상태에서 예산을 증액했다면 전체 매출과 전체 광고비를 쓰는 것이 아니라 해당 증액의 차이를 맞추어야 한다. AD에서는 억제군의 이번 캠페인 광고비가 0이고 허용군에 1,000만 원을 지출했으므로 추가 광고비가 1,000만 원이다.

귀속 ROAS = 귀속 매출 4,500만 원 / 광고비 1,000만 원 = 4.5배
증분 ROAS = 추정 증분 매출 1,000만 원 / 추가 광고비 1,000만 원 = 1.0배

귀속된 구매자 900명과 증분 구매자 추정치 200명은 다른 계산에서 나왔다. 900명은 접점 규칙으로 연결한 관측 대상이고, 200명은 정책 비교에서 얻은 집단 차이다. 이 예에서 두 수치가 크게 다르다는 사실을 모든 캠페인의 보정계수로 옮기지 않는다. 고객, 상품, 시기, 채널에 따라 차이는 달라질 수 있다.

5.2 매출 회수와 비용 회수

추가 매출의 공헌이익률이 40%라고 가정한다. 상품·결제·배송 등 매출에 대응하는 변동 비용은 이 비율에 반영하고 이번 광고비는 아직 차감하지 않는다. 증분 매출 1,000만 원의 공헌은 400만 원이다. 여기서 추가 광고비 1,000만 원을 빼면 14일 동안의 증분 공헌은 −600만 원이다. 고정비와 장기 구매는 이 계산에 포함하지 않았다.

이 조건에서 광고비를 회수하려면 증분 매출이 광고비의 1 / 0.4 = 2.5배여야 한다. iROAS 1배는 광고비와 매출이 같은 규모라는 뜻이지 공헌 기준 손익분기라는 뜻은 아니다. 실제로는 신규 주문에 할인·배송 보조가 집중되거나 주문 구성이 바뀔 수 있으므로 전체 평균 마진을 그대로 적용하기 전에 증분 주문의 비용을 검토한다.

이 예제의 구매율 신뢰구간을 고정 단가에 환산한 증분 매출 범위는 약 567만~1,433만 원이다. 고정 마진 가정 아래 광고비 차감 후 공헌은 약 −773만~−427만 원이다. 따라서 표본 오차 범위 안에서도 이번 14일의 비용 회수는 어려운 형태다. 단가와 마진의 불확실성은 이 구간에 포함하지 않았다. 이 수치는 사전에 정한 단기 경제성 판단에 사용할 수 있지만 장기 사업 가치 전체의 판정은 아니다.

5.3 장기 효과와 구매 시점의 이동

광고가 신규 고객의 이후 재구매를 만든다면 긴 관찰 창에서 가치가 추가될 수 있다. 반대로 다음 달 구매를 이번 달로 앞당겼다면 짧은 창의 증가가 이후 감소로 상쇄될 수 있다. 이 가능성을 검토하려면 사전에 장기 결과와 유지할 비교 집단을 정한다. 단기 결과가 불리하게 나온 뒤에만 “브랜드 효과가 있을 것”이라는 설명을 붙이면 반증 가능한 판단이 어려워진다.

자연 검색이나 다른 유료 채널에서 넘어온 주문도 살펴야 한다. 특정 매체의 귀속 구매가 늘고 전체 구매가 같다면 채널 사이의 배정이 이동했을 가능성이 있다. 결과 지표는 가능한 한 제품 전체의 고객 결과와 연결하고, 어떤 경로의 매출을 관찰할 수 없는지도 남긴다.

광고 실험에서는 개인별 억제가 항상 가능한 것은 아니다. 식별자가 기기마다 달라지거나 온라인 광고가 오프라인 구매에 영향을 줄 수 있다. 배정 단위는 개입을 통제할 수 있는 단위와 결과를 안정적으로 수집할 수 있는 단위를 함께 고려해 정한다.

지역 실험은 겹치지 않는 지역들을 비교 조건에 배정하고 지역 단위 결과를 본다. Google의 Vaver와 Koehler가 공개한 2011년 문서는 지역별 무작위 배정, 사전 기간과 실험 기간, 지출 변경 뒤 결과가 나타나기까지의 지연을 설명한다. 공개 연구 문서

지역별 고객이 수백만 명이어도 독립적인 배정 단위가 몇 개 지역뿐이라면 개인 수백만 명을 독립 표본으로 계산해서는 안 된다. 지역의 변동과 실험 설계를 반영한 추정이 필요하다. 두 도시를 임의로 골라 한 곳에만 광고한 결과는 무작위 지역 실험과 다르다. 사전 특성, 동시 행사, 경쟁 상황이 각 도시에서 다를 수 있다.

시간 구간을 바꾸어 적용하는 방식에서는 이전 광고의 기억이나 장바구니가 다음 구간에 남을 수 있다. 전환 간격과 결과 창을 잘못 정하면 억제 구간에 이전 광고의 구매가 들어간다. 충분한 전환 간격을 정할 수 있는지, 잔류 효과를 어떻게 모델링할지 검토한다. 무작위화할 수 있는 구간의 수와 전체 계절을 함께 고려해야 한다.

7.1 차이의 차이 계산

광고를 늘린 지역의 매출 지수가 이전 100에서 이후 140으로 올랐고, 비교 지역은 80에서 100으로 올랐다고 하자. 두 지역의 변화는 각각 +40과 +20이다. 차이의 차이(difference-in-differences)는 이 변화의 차이인 40 − 20 = 20을 계산한다. 이 숫자는 지역 실험 자료와 별개인 산술 예제다.

이 계산을 광고 효과로 해석하려면 광고 변경이 없었더라도 두 지역의 결과가 같은 폭으로 변했을 것이라는 평행추세 가정 등이 필요하다. 이전 수준이 같아야 한다는 뜻은 아니다. 개입이 없을 때의 변화가 비교 가능해야 한다는 뜻이다. 처리 지역에만 신제품 출시나 재고 부족이 있었다면 차이 20에는 그 영향이 함께 들어갈 수 있다.

여러 사전 기간의 추세를 확인하면 명백히 어긋나는 비교를 발견하는 데 도움이 된다. 그렇지만 사전 추세가 비슷했다는 사실만으로 개입 이후의 반사실적 추세가 같았다고 증명되지는 않는다. 두 시점과 두 지역의 표만으로 신뢰구간이나 타당한 효과를 확정하지 않는다. 평행추세와 사전 검정의 한계 추정법 선택은 분석 담당자와 함께 자료 구조에 맞추어 진행한다.

7.2 관찰 모형을 쓸 때의 보고 범위

매칭이나 회귀는 관찰된 특성을 맞추거나 관계를 모형화하는 방법이다. 결과를 인과적으로 읽으려면 중요한 교란 요인이 충분히 관찰되었는지, 비교할 만한 대상이 양쪽에 존재하는지, 개입이 명확한지 등을 검토해야 한다. 모델의 예측 정확도가 높다는 사실은 이러한 조건의 충족과 다르다.

이 장은 관찰 추정기의 구현 매뉴얼을 제공하지 않는다. PM이 방법 이름만 보고 증거 수준을 판단하지 않도록 필요한 질문을 정리한다. 보고서에는 비교군 선택 이유, 사전 변화, 동시 개입, 관찰되지 않은 결과, 민감한 가정을 적는다. 예산 판단을 뒷받침하기 어려운 수준이면 소규모 무작위 검증이나 추가 관찰을 제안할 수 있다. 불확실한 추정치를 정확한 매출 기여로 배분하는 것까지 요구하지 않는다.

식별자 연결이나 동의 범위가 바뀌면 같은 구매가 광고에 연결되는 비율이 달라질 수 있다. 이때 귀속 ROAS 하락에는 구매 감소와 기록 연결 감소가 함께 반영될 수 있다. 먼저 전체 주문, 관찰 가능한 대상 비중, 접점 연결 성공률, 보고 지연을 따로 확인한다. 측정 체계 변경일을 시계열에 표시하고 전후 정의가 비교 가능한지 검토한다.

전체 주문이 안정적이라는 이유만으로 광고 효과도 같다고 단정할 수는 없다. 다른 채널이나 가격 변경이 상쇄했을 수 있기 때문이다. 반대로 귀속 매출이 줄었다는 이유만으로 광고 효과가 사라졌다고 말할 수도 없다. 계측 검수와 효과 추정은 각각의 근거를 갖추어야 한다.

프라이버시 정책이 특정 측정 방식에 제약을 준다는 사실과 모든 광고가 무의미해졌다는 주장은 다른 수준의 설명이다. 정책 문서에서는 허용되는 수집·연결 조건을 확인하고, 실험에서는 그 조건 아래 관찰 가능한 결과와 모집단을 명시한다. 새로운 도구가 제공하는 수치도 이 검토를 대신하지 않는다.

AD 결과를 검토하는 PM은 예산 두 배 확대안을 그대로 승인할 근거가 있는지 확인해야 한다. 14일의 구매율은 높아졌지만, 정한 비용 범위에서는 공헌이 줄었다. 따라서 현재 설정의 즉시 확대를 보류하고 집행 비용·타기팅·제안 내용을 재검토하는 판단이 가능하다. 장기 고객가치를 사전에 주요 판단 기준으로 삼았다면 그 관찰이 끝나는 시점까지 별도로 추적한다.

적격 계정 20,000명을 캠페인 허용·억제에 동수 배정한 교육용 비교에서 구매율은 10%와 12%였다. 허용군 규모의 증분 구매자는 200명, 고정 단가 기준 증분 매출은 1,000만 원으로 추정된다. 귀속 ROAS 4.5배와 증분 ROAS 1배는 다른 질문의 결과다. 공헌이익률 40%와 추가 광고비 1,000만 원을 적용하면 단기 증분 공헌은 −600만 원이다. 현재 집행 방식의 확대를 보류한다. 광고 담당자는 단가·노출 분포를, 재무 담당자는 증분 주문의 비용 경계를, 분석 담당자는 억제 적용과 주문 연결 누락을 재검토한다. 장기 효과는 미확인으로 남기고 별도 관찰 계획에 따라 보고한다.

예산을 두 배로 늘렸을 때 같은 iROAS가 유지된다는 보장도 없다. 확장된 집행은 더 비싼 경매, 낮은 관심의 대상, 잦은 반복 노출을 포함할 수 있다. 정책 효과를 확인한 뒤에도 확대의 한계 효과를 살펴야 한다. 기존 수준의 평균 성과와 추가 예산 한 단위의 성과를 구별하면 과거의 좋은 보고서가 무제한 증액의 근거로 사용되는 일을 줄일 수 있다.

1. AD의 귀속 ROAS를 계산하고 “이 광고가 매출 4,500만 원을 만들었다”는 문장을 수정하라.
2. 광고 효과 질문에 대상·두 정책·결과·시간 창을 포함해 한 문장을 작성하라. 이번 캠페인 억제가 모든 광고 중단과 다른 이유를 설명하라.
3. AD의 구매율 차이, 상대 증가율, 허용군 규모의 증분 구매자와 매출을 구하라. 특정 200명을 찾아낼 수 있는가?
4. 실제 노출자 6,000명과 그중 구매자 900명만 사용하여 15%를 보고했다. 이 값을 억제군의 10%와 비교하면 어떤 문제가 생기는가?
5. 공헌이익률을 40%로 두고 증분 공헌과 손익분기에 필요한 iROAS를 계산하라. 광고비를 이미 뺀 마진에 다시 광고비를 차감하면 어떤 오류가 생기는가?
6. 광고 허용군 20,000명 중 2,400명, 억제군 10,000명 중 1,000명이 구매했다. 허용군 규모의 증분 구매자를 계산하라.
7. 차이의 차이 예제에서 추정치 20을 계산하고 필요한 가정을 설명하라. 사전 추세의 유사성만으로 이 가정을 증명할 수 있는가?
8. 지역 두 곳의 고객 100만 명을 개인별 독립 표본처럼 분석하려는 계획을 검토하라. 배정 단위와 표본의 관계를 설명하라.
9. 담당 캠페인의 예산을 늘리는 상황을 가정하고 실험 계획 또는 관찰 연구의 한계 메모를 작성하라. 단기 공헌·장기 결과·채널 이동·관찰 불가능 범위를 포함하라.

해설과 작성 예시

이전 장: 집단 비교 · 다음 장: 실험 설계와 판단