Follow the Metrics for PM · 웹 교재 v1.0 · 2026-09-21
수치 문제는 본문의 측정 기준을 사용한다. 업무 서술 문제는 하나의 정답 문구보다 비교 대상·시간·가정·후속 업무가 분명한지를 평가한다.
1. 같은 평균을 가진 소요 시간
두 집단의 합은 각각 60분이고 관찰자는 10명이므로 평균은 모두 6분이다. A의 가운데 두 값은 5와 5, B는 3과 3이어서 중앙값은 5분과 3분이다. 본문의 최근접 순위 정의에서 P90은 정렬한 10개 중 9번째 값이므로 A 10분, B 6분이다. B의 최댓값은 30분이다.
B의 중앙값과 P90이 낮다는 관찰은 가능하다. 모든 사용자가 빨라졌다는 설명은 지원하지 않는다. 서로 독립된 집단이므로 동일 개인의 개선도 직접 관찰하지 않았다. 완료한 사람만 포함한 자료여서 미완료자의 경험도 알 수 없다. 보고에는 완료율과 긴 시간 기록의 원인 검토를 추가한다.
2. 단순 평균과 가중평균
집단 비율의 단순 평균은 이전 (80+20)/2=50%, 이후 (70+10)/2=40%다. 두 집단에 같은 가중치를 준 값이며 실제 전체 35%·55%와 다르다. 실제 전체는 각 집단의 사람 수를 반영한다.
이전은 (40+30)/(50+150)=35%, 이후는 (105+5)/(150+50)=55%다. 단순 평균을 실제 전체로 쓰면 크기 50인 집단과 150인 집단이 같은 인원인 것처럼 처리한다. 동일 가중치가 업무 목적상 필요한 비교라면 계산할 수 있지만 ‘두 집단에 같은 가중치를 준 비교’라고 명시해야 한다.
3. 표준화와 산술 분해
이전 구성비는 습관 있음 25%, 없음 75%다. 이후 비율을 적용하면 0.25×70%+0.75×10%=25%다. 이전 실제 35%에서 이후 표준화 25%까지는 −10%포인트, 여기서 이후 실제 55%까지는 +30%포인트다. 합은 +20%포인트다.
이 분해에 개편과 광고라는 인과 이름을 붙일 수는 없다. 습관 집단 안의 다른 특성, 달력 효과, 계측 변화 등이 남아 있다. “이전 구성 기준의 집단 내부 변화”와 “이후 집단별 비율 기준의 구성 변화”로 보고하고 어떤 조정이 이루어졌는지 명시한다. 실제 이후 완료자는 110명이며 표준화율에 200을 곱한 50명을 실제 완료자로 보고하지 않는다.
4. 코호트 경과 시간
수정 보고는 “같은 1개월 경과 시점의 계약 유지 비율은 6월 코호트 60%, 7월 코호트 70%다”가 될 수 있다. 그 차이 10%포인트를 제품 개편의 원인 효과로 확정하지는 않는다. 시작 시기와 고객 특성의 변화가 함께 있다.
8월 코호트의 1개월 경과 시점은 9월 1일이다. 관찰 종료가 8월 31일이므로 해당 값은 미관찰이다. 0%로 넣으면 관찰 기회를 갖지 못한 계약 전부를 종료한 것으로 처리하게 된다. 숫자 0과 관찰 전 상태를 구분하고 전체를 합칠 때도 자격 있는 코호트를 사용한다.
5. 개편 후 사용량으로 선정한 집단
이 표는 개편 뒤 3회 이상 작성한 사람들의 만족도를 기술한다. 개편이 작성 횟수에 영향을 미쳤다면 그 집단의 구성 자체가 달라졌을 수 있다. 만족도가 높아졌다는 사실만으로 신규 사용자 전체의 경험이 개선되었다고 말할 수 없다.
효과 평가의 기본 대상은 개편 전에 정한 적격 집단이다. 무작위 배정이 가능하면 그 집단을 나누고 동일한 결과를 수집한다. 설문에서는 발송·도달·응답의 단계별 수와 응답자 특성도 필요하다. 미응답을 임의 점수로 바꾸지 않는다. 사용량별 표는 작동 과정의 진단으로 별도 표시할 수 있다.
6. RFM과 쿠폰 대상
RFM 표만으로 C와 D의 쿠폰 효과 순위를 정할 수 없다. C의 과거 빈도·금액이 높아도 원래 구매할 사람일 수 있고, D의 긴 간격은 상품의 정상 주기일 수 있다.
추가 정보로 상품별 재구매 주기, 가입·관계 기간, 과거 쿠폰 반응과 비용, 최근 불만·품절, 공헌이익을 제시할 수 있다. 캠페인 정책을 정한 뒤 적격 집단 안에 홀드아웃을 두면 쿠폰으로 추가된 구매와 비용을 비교할 수 있다. RFM은 대상 후보의 요약이며 증분효과를 입증하는 규칙이 아니다.
7. Kaplan–Meier 계산
2일 사건 직전 위험집합은 6이고 해지가 1개이므로 생존은 5/6이다. 3일에 B가 검열되어 이후 위험집합에서 빠진다. 4일 직전은 C·D·E·F의 4개이며 1개가 해지하므로 생존은 (5/6)×(3/4)=5/8=62.5%다.
5일에 D가 검열되고 6일 직전 위험집합은 E·F의 2개다. 생존은 (5/8)×(1/2)=5/16=31.25%가 된다. 검열은 그 시점에 해지했다는 정보가 아니므로 곡선을 내리지 않는다. 이후 관찰 정보가 없으므로 다음 위험집합에서는 제외한다. 사건 시점이 같은 경우의 동률 처리는 이번 자료에 없으며 실제 분석에서는 도구의 처리 규칙을 확인한다.
8. 정보성 검열
불만족 때문에 수집에서 사라진 계약은 나중에 해지할 위험도 높을 수 있다. 남아 있는 계약의 사건 경험이 사라진 계약을 대표한다고 보기 어려워 추정이 왜곡될 수 있다. 방향은 누락 과정에 달려 있으며 일괄적으로 일정 비율만큼 보정할 수 없다.
행정 마감으로 인한 관찰 종료인지, 탈퇴·동의 철회·연결 오류·관계 종료가 기록 누락을 만들었는지 분리한다. 가능한 계약 원장과 대조하고 검열 사유별 분포를 확인한다. 최근 가입 코호트의 특성이 달라지는 경우도 함께 검토한다. 관찰 종료 이유를 모르면 그 불확실성을 남기고 추정의 적용 범위를 제한한다.
9. 비교 메모의 작성 예
다음은 교육용 작성 예다.
신규 계정의 첫 주 완료율이 하락했다. 같은 이벤트 정의와 관찰 완료 조건으로 가입 주를 비교한다. 첫 후보는 모바일 유입 비중 증가이며, 분석 담당자가 가입 당시 기기별 분모·완료율을 확인한다. 둘째 후보는 저장 오류 증가이며, 개발 담당자가 앱 버전과 서버 저장 원장을 대조한다. 셋째 후보는 첫 작성 과업의 난이도이며, 기획 담당자가 중단 기록과 과업 관찰을 연결한다. 집계 변경이 발견되면 같은 정의로 과거 값을 재계산하고, 경험상의 원인이 남으면 개선 가설과 검증 계획을 작성한다.
평가할 핵심은 후보마다 다른 증거를 요구하는지다. ‘사용자가 싫어한다’처럼 같은 말을 반복하거나, 어떤 결과가 나와도 개편이 성공했다고 결론 내리는 계획은 충분하지 않다. 가설이 틀렸을 때 보고를 어떻게 수정할지도 적으면 판단 기준이 더 분명해진다.