Follow the Metrics for PM · 웹 교재 v1.0 · 2026-09-21
모든 금액과 고객 수는 교육용 예제다. 인과 해석은 무작위 배정·수집·간섭 등의 가정을 명시적으로 둔 경우에 한한다.
1. 귀속 ROAS
4,500만 원 / 1,000만 원 = 4.5배 = 450%다. 수정 문장은 “정한 접점·기간 규칙에 따라 이번 광고에 배정된 매출은 4,500만 원이었다”가 된다. 광고가 없었을 때의 매출을 비교하지 않았으므로 이 숫자 전체를 광고가 만든 매출로 해석하지 않는다.
귀속된 주문이 정확하게 연결되었는지도 별도 확인해야 한다. 주문 중복, 환불, 매체 간 중복 주장은 귀속 보고의 품질 문제다. 이것을 해결해도 증분효과 추정이 끝나는 것은 아니다.
2. 평가할 정책과 결과
예시 문장은 “사전에 정한 적격 계정에게 8월 1일부터 14일 동안 해당 재타기팅 캠페인을 허용하면, 이번 캠페인을 억제할 때보다 같은 14일 안의 고유 구매자 비율이 얼마나 달라지는가”다. 다른 채널은 같은 운영 정책을 유지한다.
억제군도 브랜드 광고, 자연 검색, 기존 고객 관계의 영향을 받을 수 있다. 따라서 이번 비교는 현재 환경에 해당 캠페인을 추가하는 효과다. 모든 광고가 없는 시장에서의 브랜드 효과로 넓혀 해석하지 않는다. 대상·정책·창이 바뀌면 질문도 바뀐다.
3. 증분 구매와 매출
억제군 10%, 허용군 12%이므로 절대 차이는 2%포인트다. 상대 증가는 (12−10)/10=20%다. 허용군과 같은 규모 10,000명에 적용한 증분 구매자는 10,000×0.02=200명, 고정 단가 50,000원에서 증분 매출은 1,000만 원이다.
이는 집단 차이를 환산한 추정치다. 관찰한 구매자 1,200명 중 어느 200명이 광고가 없으면 구매하지 않았을지는 알 수 없다. “이 200명의 장기 구매만 추적하자”라는 계획은 이 결과에서 직접 실행할 수 없다. 배정 집단을 유지한 상태에서 장기 결과를 비교한다.
4. 노출자만 남긴 비교
허용군 중 노출자의 15%와 억제군 전체의 10%를 비교하면 처음 무작위 배정한 대상과 다른 집단을 비교하게 된다. 노출 여부는 경매, 방문 빈도, 기기 연결, 사전 관심과 관련될 수 있다. 비노출자의 구매자 300명과 분모 4,000명도 허용 정책의 결과에 속한다.
주 분석은 1,200/10,000과 1,000/10,000을 비교한다. 노출률 60%와 노출 집단의 특성은 정책이 어떻게 전달되었는지 보여 주는 진단으로 보고한다. 노출의 효과를 따로 추정하려면 추가 가정과 분석 설계를 제시해야 한다.
5. 공헌과 비용 회수
증분 매출 1,000만 원의 공헌은 1,000×40%=400만 원이다. 여기서 추가 광고비 1,000만 원을 빼면 −600만 원이다. 손익분기 iROAS는 1/0.4=2.5배다. 이는 고정 마진, 해당 비용 범위, 같은 관찰 기간에서의 계산이다.
이미 광고비를 차감한 이익률에 다시 광고비를 빼면 중복 차감이 된다. 마진을 정의할 때 상품 원가·배송·결제·할인·광고비 중 무엇이 반영되었는지 나누어 적는다. 장기 구매로 손실을 보완할 수 있다는 주장은 추가 관찰과 가정을 요구한다.
6. 집단 크기가 다른 비교
허용군은 2,400/20,000=12%, 억제군은 1,000/10,000=10%다. 차이 2%포인트를 허용군 규모 20,000명에 적용하면 증분 구매자는 400명이다.
단순 인원 차이 1,400명을 사용하면 집단 크기의 차이를 효과로 포함하게 된다. 같은 방식으로 분모와 기간을 맞춘 비율 또는 사용자당 결과를 먼저 계산하고 평가할 모집단 규모를 정해 환산한다. 집단 크기가 다르다는 사실 자체가 반드시 SRM인 것은 아니며 사전에 계획한 배정 비율과 비교해야 한다.
7. 차이의 차이와 가정
처리 지역 변화는 140−100=40, 비교 지역 변화는 100−80=20이다. 차이의 차이는 20이다. 인과 해석에는 개입이 없었을 때 두 집단의 변화가 평행했을 것이라는 가정 등이 필요하다. 개입 예상에 따른 사전 행동, 지역별 동시 정책, 집단 구성 변화와 확산도 검토한다.
사전 추세가 유사하면 일부 반례를 줄일 수 있지만 이후의 반사실을 직접 관찰한 것은 아니다. 사전 자료의 검정력이 낮아 차이를 못 찾았을 수도 있다. 두 기간의 집계 네 개만으로 표준오차를 임의 계산하지 않고 충분한 단위·시계열과 적절한 추정법을 검토한다.
8. 배정 단위와 정보량
지역 두 곳에 정책을 달리 적용했다면 독립적인 정책 배정은 두 곳에서 이루어졌다. 각 지역 고객의 결과는 공통된 날씨, 재고, 매장 운영, 지역 행사에 영향을 받을 수 있다. 개인 100만 명을 독립 배정한 것처럼 표준오차를 계산하면 실제보다 정밀하게 보일 수 있다.
더 많은 비교 가능한 지역, 지역 규모·사전 결과를 고려한 설계, 확산·이동의 통제 가능성을 검토한다. 무작위 배정을 하지 않은 두 도시 비교라면 원래의 차이에 대한 가정도 필요하다. 고객 수만 늘리는 것으로 설계의 문제를 해결하지 않는다.
9. 예산 확대 검토서의 작성 예
현재 캠페인의 비용 증가가 제품 전체 구매와 공헌을 높이는지 평가한다. 사전 적격 계정 안에서 허용·억제를 배정하고 양쪽의 전체 주문을 관찰한다. 귀속 ROAS는 집행 진단으로 유지하되 판단에는 배정 기준의 증분 구매와 공헌을 쓴다. 동일 관찰 창의 취소·할인·배송 비용을 연결하고 자연 검색 및 다른 채널에서 이동한 구매를 전체 결과 안에 포함한다. 장기 효과는 별도 후속 창에서 배정 집단을 유지해 확인한다. 식별되지 않은 오프라인 결과의 범위를 명시한다. 최초 규모에서 효과가 확인되어도 두 배 예산의 한계 성과는 추가로 검토한다.
무작위 억제가 불가능한 경우에는 가능하다고 가장하지 않는다. 지역·시간 설계의 통제 가능성을 검토하거나 관찰 연구로 남는 가정을 적는다. 어떤 자료가 더 확보되면 결정을 바꿀지와 당장의 노출·예산 범위도 함께 정하면 실무 계획이 된다.