400개 계정이 저장했으므로 신규 사용자의 40%가 가치를 경험했다.
A CASE THROUGH THE BOOK · C23
같은 숫자에서,
다른 보고서까지.
처음에는 좋아 보이는 숫자를 모았습니다.
이제는 무엇을 세었고, 어디까지 말할 수 있으며,
무엇을 해야 하는지 설명합니다.
THE BRIEF
주간회고의 첫 경험을
바꿔도 될까요?
‘주간회고’는 한 주의 일을 정리하고 다음 행동을 작성하는 개인용 서비스입니다. 팀은 첫 화면에 수정 가능한 예시 문장을 제공하려 합니다. PM은 전면 출시, 제한 적용, 보류 중 어떤 결정을 제안해야 할까요?
이 사례는 23장의 C23 교육용 자료를 이어 읽는 실습입니다. 실제 회사의 성과 사례가 아닙니다. 이전 장의 서로 다른 예제를 하나의 관찰 자료로 합치지 않았습니다. 기준선과 실험도 별도 집단입니다.
24개 장을 한 장씩 공부하거나, 주 1장씩 24주 과정으로 따라갈 수 있습니다. 아래 8단계는 학습 순서이며 서비스 운영의 8주를 뜻하지 않습니다.
1,000기준선 신규 적격 계정
10,000 × 2별도 교육용 실험의 A·B 집단
미확인장기 가치 · 실제 계획 활용
자료의 범위와 계산 방법 확인하기
23장의 C23을 재사용한 가상 교육용 사례입니다. 실제 기업의 관찰·인터뷰·실험 결과가 아니며, 다른 장의 독립 자료와 합산하지 않습니다. 기준선: 가입 후 [0, 168)시간, 주2: [168, 336)시간. 실험: 배정 후 [0, 168)시간입니다. 계정별 무작위 배정과 관찰 완료를 가정합니다. 두 비율 차이의 구간은 각각의 명목 95% Wald 근사이며 동시 보장을 뜻하지 않습니다.
C23의 정의·원자료 설명 ↗ · 교육용 입력 자료 JSON ↗01 / 01장
좋아 보이는 보고서를 받았다
이 숫자만으로 예시 문장 기능을 출시해도 될까?
개인용 서비스 주간회고의 PM에게 온보딩 개선 보고서가 도착했다. 완료율과 반복 이용이 좋아 보이지만, 어떤 계정을 어떻게 셌는지부터 확인해야 한다.
이번 과제는 예시 문장을 제공하는 안의 검증 범위를 정하는 일이다. 추가 유입 캠페인도 후보지만 예산·증분 효과 자료가 없어 두 안의 투자 순위를 계산할 수는 없다.
처음 받은 보고서 전체 읽기
아래 여섯 문장은 오류를 검토하기 위한 작성 예입니다. 마지막 화면에서 같은 문장을 수정한 보고서와 비교합니다.
- 저장이 곧 가치인가
400개 계정이 저장했으므로 신규 사용자의 40%가 가치를 경험했다.
- 분모가 바꾼 질문
신규 계정의 유효 완료율은 75%다.
- 재작성 집단의 범위
신규 계정의 주2 리텐션이 60%다.
- 상대 증가와 손상 구간
완료율이 10%p 개선됐고 오류 차이는 유의하지 않으므로 안전하다.
- 평균과 추가 비용
추가 완료 한 건에 약 485원이 들었으니 ROI가 좋다.
- 수치에서 다음 업무로
완료 증가를 확인했으므로 모든 사용자에게 즉시 출시한다.
좋아 보이는 숫자만 모은 보고서
아래는 오류를 찾기 위한 교육용 보고서다. 숫자를 옮기는 과정에서 분모와 단위를 잘못 붙였고, 판단 조건도 빠져 있다.
그림의 값을 표로 읽기
| 신규 유효 완료율 | 75% · 오류를 찾기 위한 표현 |
|---|---|
| 리텐션 | 60% · 오류를 찾기 위한 표현 |
| 완료율 개선 | +10%p · 오류를 찾기 위한 표현 |
좋아 보이는 숫자만 모은 보고서. 신규 유효 완료율: 75% · 오류를 찾기 위한 표현 / 리텐션: 60% · 오류를 찾기 위한 표현 / 완료율 개선: +10%p · 오류를 찾기 위한 표현. 신규 유효 완료율 75%, 리텐션 60%, 완료율 +10%p. 예시 화면을 전면 출시하자. — 검토해야 할 오류가 포함된 문장
검토할 처음의 문장신규 유효 완료율 75%, 리텐션 60%, 완료율 +10%p. 예시 화면을 전면 출시하자. — 검토해야 할 오류가 포함된 문장
02 / 02 · 03장
완료와 분모를 다시 정한다
저장된 글, 유효하게 완료한 계정, 가치를 얻은 사용자는 같은가?
이 사례의 유효 완료는 사용자가 확인하거나 수정한 다음 행동 항목을 포함하여 서버에 저장한 상태다. 글이 저장되었다는 조건보다 좁고, 실제로 그 행동을 실천했다는 결과보다 앞선다. 한 계정이 여러 번 저장해도 관찰 창 안에서 한 번만 센다.
기준선에는 작성 시작 600개, 서버 저장 완료 400개, 유효 완료 300개가 있다. 세 집단은 순서대로 포함된다. 300/400인 75%는 저장 계정 가운데 유효 기준을 충족한 비율이다.
신규 계정의 결과를 보고하려면 분모 1,000개를 사용한다. 실험에서는 사전에 테스트·조직 계정을 제외한 별도의 신규 개인 계정 배정 집단을 사용한다. 배정 후 168시간을 관찰하며, 서비스를 이용하지 않은 배정 계정도 분모에 남긴다.
첫 주 유효 완료
서버 저장과 사용자 확인·수정 행동 항목을 갖춘 유효 완료를 구별한다. 관찰 창은 가입 후 [0, 168)시간이다.
그림의 값을 표로 읽기
| 분자 | 300개 |
|---|---|
| 분모 | 신규 적격 1,000개 |
| 비율 | 30% |
| 관찰 기간 | 가입 후 [0, 168)시간 |
첫 주 유효 완료. 분자: 300개 / 분모: 신규 적격 1,000개 / 비율: 30% / 관찰 기간: 가입 후 [0, 168)시간. 신규 적격 1,000개 중 첫 주 유효 완료 300개(30%). ‘활성화’라는 이름을 붙이기 전에 결과 사건과 분모를 함께 기록한다.
보고서에 남길 문장신규 적격 1,000개 중 첫 주 유효 완료 300개(30%). ‘활성화’라는 이름을 붙이기 전에 결과 사건과 분모를 함께 기록한다.
03 / 04 · 05 · 06 · 07장
프레임워크가 답하는 질문을 구분한다
퍼널이나 북극성 지표라는 이름을 붙이면 무엇이 설명되는가?
퍼널은 어느 단계에서 계정 수가 달라지는지 보여준다. 시작하지 않은 400개와 시작 후 저장하지 않은 200개가 왜 그런 행동을 했는지는 이 도식만으로 알 수 없다.
유효 완료를 북극성 지표 후보로 삼더라도 실제 계획 활용과 장기 결과를 대변하는지 확인해야 한다. 시간에 따른 반복 행동, 미래 공헌, 목표 관리의 역할을 하나의 공식으로 섞지 않는다.
프레임워크를 측정 명세로 바꾸기
이 그림은 이론의 계보가 아니라 이번 제품에서 프레임을 적용하는 작업 순서다.
그림의 값을 표로 읽기
| 프레임의 역할 | 질문과 검토 범위 정리 |
|---|---|
| 제품 목표 | 첫 회고 완성과 이후 계획 활용 |
| 관찰 가능한 대리 결과 | 첫 유효 완료 |
| 미확인 | 실제 계획 활용·장기 효과 |
프레임워크를 측정 명세로 바꾸기. 프레임의 역할: 질문과 검토 범위 정리 / 제품 목표: 첫 회고 완성과 이후 계획 활용 / 관찰 가능한 대리 결과: 첫 유효 완료 / 미확인: 실제 계획 활용·장기 효과. AARRR로 빠진 질문을 확인한다. 주 지표는 첫 유효 완료율, 오류는 손상 지표로 별도 관리한다. 지표가 사용자의 계획 활용을 대변하는지는 추가 확인한다.
보고서에 남길 문장AARRR로 빠진 질문을 확인한다. 주 지표는 첫 유효 완료율, 오류는 손상 지표로 별도 관리한다. 지표가 사용자의 계획 활용을 대변하는지는 추가 확인한다.
04 / 08 · 09 · 10장
숫자 사이에 있는 경험을 조사한다
시작했지만 저장하지 않은 200개 계정에는 어떤 일이 있었을까?
“무엇을 적어야 할지 모르겠다”는 발언은 제공되지 않았다. 신규 사용자가 작성 분량과 내용을 정하기 어려울 수 있다는 조사 가설로 적는다.
저장 실패 후 재시도로 완료할 수 있으므로 오류 경험과 유효 완료는 겹칠 수 있다. 수집 누락도 사용자 실패와 구분해야 한다. 사건 연결과 관찰이 끝난 뒤 원인에 맞는 개선안을 정한다.
사건 사이에 사용자 경험을 놓기
네 집단은 같은 기준선에서 차례로 포함된다. 막대 길이의 차이는 원인을 알려주지 않는다.
그림의 값을 표로 읽기
| 신규 적격 | 1,000개 · 전체 대비 100% |
|---|---|
| 작성 시작 | 600개 · 전체 대비 60% |
| 서버 저장 | 400개 · 전체 대비 40% |
| 유효 완료 | 300개 · 전체 대비 30% |
사건 사이에 사용자 경험을 놓기. 신규 적격: 1,000개 · 전체 대비 100% / 작성 시작: 600개 · 전체 대비 60% / 서버 저장: 400개 · 전체 대비 40% / 유효 완료: 300개 · 전체 대비 30%. 작성 시작 600개 중 서버 저장은 400개다. 나머지 200개의 이유는 미확인이다. 오류 원장과 과업 관찰을 대조해 중단·실패·나중 이용을 구별한다.
보고서에 남길 문장작성 시작 600개 중 서버 저장은 400개다. 나머지 200개의 이유는 미확인이다. 오류 원장과 과업 관찰을 대조해 중단·실패·나중 이용을 구별한다.
05 / 11 · 12 · 13 · 14 · 15장
누가 다시 작성했는지 확인한다
180개 계정의 재작성을 60%와 18% 중 무엇으로 보고해야 할까?
모든 기준선 계정은 가입 후 336시간을 지났으며 주2 창은 168시간 이상 336시간 미만이다. 여기서 모르는 것은 관찰 기간이 아니라 첫 주 미완료 집단의 주2 결과다.
초기 완료가 반복 사용의 원인이라는 결론도 아직 내릴 수 없다. 채널별 유입, 장기 유료 유지, 추천과 미래 공헌 자료가 없으므로 획득 효율·고객가치·성장 루프를 이어 계산하지 않는다.
첫 주 유효 완료자 중 주2 유효 재작성
모든 기준선 계정의 가입 후 336시간이 지났다. 주2는 [168, 336)시간이다. 분모 선택은 같은 행동 기록이 답하는 질문을 바꾼다.
그림의 값을 표로 읽기
| 분자 | 180개 |
|---|---|
| 분모 | 첫 주 유효 완료 300개 |
| 비율 | 60% |
| 관찰 기간 | 가입 후 [168, 336)시간 |
첫 주 유효 완료자 중 주2 유효 재작성. 분자: 180개 / 분모: 첫 주 유효 완료 300개 / 비율: 60% / 관찰 기간: 가입 후 [168, 336)시간. 첫 주 유효 완료자 중 주2 유효 재작성: 180/300 = 60%. 첫 주 미완료자의 주2 재작성은 제공되지 않아 전체 신규자의 주2 리텐션은 알 수 없다.
보고서에 남길 문장첫 주 유효 완료자 중 주2 유효 재작성: 180/300 = 60%. 첫 주 미완료자의 주2 재작성은 제공되지 않아 전체 신규자의 주2 리텐션은 알 수 없다.
이 단계의 장별 질문 5개
11획득안의 자료 요청
↗12추가 유입 캠페인을 비교하려면 어떤 획득 비용·적격 계정·증분 효과 자료가 필요한지 요청서를 작성해 보자.
활성화 가설 검토
↗13첫 유효 완료자를 활성화 계정으로 부르기 전에 실제 가치와 후속 행동을 어떻게 검증할지 적어 보자.
재작성 분모 판별
↗14180/300과 180/1,000을 해석하고 전체 신규 계정의 주2 리텐션을 계산하는 데 빠진 자료를 찾아보자.
수익성 계산의 조건
↗15제공 비용만 있는 C23에 매출·환불·고정비·장기 공헌 중 무엇이 있어야 수익성을 판단할 수 있는지 적어 보자.
추천 효과의 증거
↗재작성 180개를 추천 성장의 증거로 쓸 수 없는 이유와 초대·수락·추가 유효 완료를 확인할 자료를 적어 보자.
06 / 16 · 17 · 18장
개선과 손상을 함께 비교한다
완료가 늘었는데 오류 증가의 불확실성이 남았다면?
기존 화면 A와 예시 제공 B에 무작위 배정하고 모든 계정의 168시간 관찰을 마쳤다고 가정한 별도 교육용 집계다. 완료 3,000개와 3,300개, 오류 경험 500개와 550개를 전체 배정 계정으로 나눈다.
완료율의 상대 증가는 10%지만 절대 차이는 3%포인트다. 업무상 관심 기준은 +2%포인트이며 구간 하한이 이에 미치지 못한다. 두 구간은 각각의 명목 구간으로, 동시에 95%를 보장한다고 표현하지 않는다.
효과와 손상을 각각 구간으로 읽기
기준선과 별도인 C23 교육용 실험이다. 계정별 무작위 배정, 같은 기간, 두 집단 각각 10,000개 관찰 완료를 가정한다. 구간은 각각의 명목 95% Wald 근사다.
그림의 값을 표로 읽기
| 완료율 | A 30% · B 33% |
|---|---|
| 완료 차이·구간 | +3.00%p · +1.71%p~+4.29%p |
| 오류율 | A 5% · B 5.5% |
| 오류 차이·구간 | +0.50%p · −0.12%p~+1.12%p |
효과와 손상을 각각 구간으로 읽기. 완료율: A 30% · B 33% / 완료 차이·구간: +3.00%p · +1.71%p~+4.29%p / 오류율: A 5% · B 5.5% / 오류 차이·구간: +0.50%p · −0.12%p~+1.12%p. 완료 +3%p(95% 구간 +1.71~+4.29%p), 오류 +0.5%p(−0.12~+1.12%p). 개선 방향은 보이지만, 최소 +2%p 효과와 오류 증가 +1%p 미만을 모두 확정할 수 없다.
보고서에 남길 문장완료 +3%p(95% 구간 +1.71~+4.29%p), 오류 +0.5%p(−0.12~+1.12%p). 개선 방향은 보이지만, 최소 +2%p 효과와 오류 증가 +1%p 미만을 모두 확정할 수 없다.
07 / 19 · 20 · 21 · 22장
추가 결과에 쓴 비용을 계산한다
B의 평균 완료당 비용이 약 485원이면 투자할 만한가?
평균 완료당 제공 비용은 A 약 333원, B 약 485원이다. 추가 완료의 비용은 (160만−100만)/300으로 계산한다. 두 계산은 서로 다른 업무 질문에 답한다.
비용 입력을 바꾸면 조건부 계산만 달라진다. 수정한 비용이 실제로 발생했거나 완료 증가가 그대로 유지된다는 증거는 아니다. 결과를 평가할 때 완료 상승만 보상하지 말고 오류 발견과 정의 변경 기록도 함께 검토한다.
전체 완료와 추가 완료를 구별하기
관찰 제공 비용 A 100만 원, B 160만 원. 같은 규모의 추가 완료 점추정은 300개다. 이것만으로 수익률을 계산할 수 없다.
그림의 값을 표로 읽기
| A 총 제공 비용 | 1,000,000원 |
|---|---|
| B 총 제공 비용 | 1,600,000원 |
| 추가 완료 | 300개 · 점추정 |
| 추가 완료당 추가 비용 | 2,000원 |
| ROI | 자료 부족 |
전체 완료와 추가 완료를 구별하기. A 총 제공 비용: 1,000,000원 / B 총 제공 비용: 1,600,000원 / 추가 완료: 300개 · 점추정 / 추가 완료당 추가 비용: 2,000원 / ROI: 자료 부족. 관찰 비용 기준: 추가 제공 비용 600,000원 / 추가 완료 300개 = 2,000원. 완료의 금전 가치·장기 유지·고정비가 없어 ROI는 산출하지 않는다.
보고서에 남길 문장관찰 비용 기준: 추가 제공 비용 600,000원 / 추가 완료 300개 = 2,000원. 완료의 금전 가치·장기 유지·고정비가 없어 ROI는 산출하지 않는다.
이 단계의 장별 질문 4개
19성공담의 생략 찾기
↗20“예시 문장으로 완료율 10% 상승”이라는 소개에서 분모·절대 차이·오류 구간·교육용 자료라는 조건을 복원해 보자.
평가가 바꾸는 행동
↗21저장 건수만 보상할 때 생길 행동을 예상하고 오류 발견과 실제 활용을 함께 검토하는 평가 항목을 적어 보자.
지표 운영 문서
↗22유효 완료·오류 경험 지표의 담당자, 정의 버전, 확인 주기, 중단 조건과 재검토 책임을 정해 보자.
사업모델의 경계
↗개인용 C23을 조직 구독 서비스로 바꾼다면 계정·좌석·계약 중 단위를 어떻게 정할지, 어떤 자료를 새로 모을지 적어 보자.
08 / 23 · 24장
다음 행동과 재검토 조건을 남긴다
전면 출시·제한 검증·보류 중 무엇을 선택하고 무엇이 바뀌면 다시 판단할까?
완료 증가의 근거와 해결되지 않은 오류 손상, 아직 관찰하지 못한 활용·장기 결과를 한 문서에 담는다. 수정 버전을 다시 비교한다면 새 계획을 남기고 기존 결과와 임의로 합치지 않는다.
같은 기능을 AI가 자동 작성하도록 바꾸는 제안을 받더라도 사용자 확인·수정 기준, 오류, 제공 비용과 실제 활용을 다시 검토해야 한다. 새로운 이름이 붙어도 증거와 가정을 구분하는 업무는 남는다.
숫자에서 다음 업무까지 연결하기
아래 선택은 독자의 판단 기록이다. 제공 자료가 무엇을 지지하고 무엇을 지지하지 못하는지 함께 남긴다.
그림의 값을 표로 읽기
| 확인한 사실 | 완료 +3%p |
|---|---|
| 남은 불확실성 | 오류 상한 +1.12%p |
| 선택한 행동 | 전면 출시 보류 |
숫자에서 다음 업무까지 연결하기. 확인한 사실: 완료 +3%p / 남은 불확실성: 오류 상한 +1.12%p / 선택한 행동: 전면 출시 보류. 전면 출시는 보류한다. 오류 경로를 검수하고 수정 버전의 검증 계획을 세운다. 계획 활용·장기 공헌·캠페인 증분 효과는 별도 확인한다.
보고서에 남길 문장전면 출시는 보류한다. 오류 경로를 검수하고 수정 버전의 검증 계획을 세운다. 계획 활용·장기 공헌·캠페인 증분 효과는 별도 확인한다.
THE SAME NUMBERS. A MORE ACCOUNTABLE REPORT.
24개 장을 지나,
보고서는 어떻게 달라졌을까요?
같은 숫자에 분모와 기간을 밝히고, 모르는 결과를 남기고, 근거가 허용하는 다음 행동을 적었습니다. 아래 항목을 선택하면 무엇이 명확해졌는지 짚어볼 수 있습니다.
행동 기록과 구조적 완료, 실제 사용자 성과를 같은 것으로 해석했다.
처음의 보고서
익숙한 지표를 나열하고 실행을 먼저 권합니다.
다시 쓴 보고서
정의와 증거의 범위 안에서 실행을 제안합니다.
서버 저장은 400개다. 유효 완료 기준은 300개가 충족했으며, 실제 계획 활용은 별도로 확인해야 한다.
명확해진 것
행동 기록과 구조적 완료, 실제 사용자 성과를 같은 것으로 해석했다.
신규 계정의 유효 완료율은 75%다.
75%는 저장 계정 중 유효 완료 300/400이다. 전체 신규 적격 계정의 유효 완료율은 300/1,000=30%다.
명확해진 것
앞 단계에 도달한 집단의 조건부 비율을 전체 신규 계정의 결과로 표시했다.
신규 계정의 주2 리텐션이 60%다.
첫 주 유효 완료 300개 중 180개가 주2에 재작성했다. 조건부 비율은 60%이며, 18%는 두 조건을 모두 만족한 전체 신규 계정의 비율이다.
명확해진 것
첫 주 미완료자의 주2 결과가 없어 전체 신규 주2 리텐션은 계산할 수 없다. 모든 계정의 336시간 관찰은 완료되었다.
완료율이 10%p 개선됐고 오류 차이는 유의하지 않으므로 안전하다.
A 30%→B 33%는 상대 증가 10%, 절대 차이 +3%p다. 완료 차이의 명목 95% 구간은 약 +1.71~+4.29%p다. 오류 차이의 명목 95% 구간은 약 −0.12~+1.12%p로 손상 경계 +1%p 초과 가능성이 남는다.
명확해진 것
상대 변화와 %포인트를 혼동했다. 0을 포함하는 구간도 허용할 수 없는 손상 크기를 포함할 수 있다.
추가 완료 한 건에 약 485원이 들었으니 ROI가 좋다.
약 485원은 B의 평균 완료당 제공 비용이다. 추가 완료당 추가 비용은 60만 원/300개=2,000원이며 ROI는 미확정이다.
명확해진 것
추가 결과에는 비용 차이를 사용해야 한다. 금전 가치·고정비·장기 공헌 자료도 아직 없다.
완료 증가를 확인했으므로 모든 사용자에게 즉시 출시한다.
오류 손상과 비용·활용 조건을 확인한다. 보류 또는 범위를 정한 제한 검증을 선택하고 담당·중단·재검토 조건을 문서로 남긴다.
명확해진 것
유의한 완료 증가만으로 허용 가능한 손상, 수익성, 다른 대상 집단으로의 확대가 입증되지 않는다.
내가 남긴 다음 업무
- 담당
- 미정 · 역할과 담당자를 지정하세요.
- 다시 판단할 조건
- 오류 경로 검수와 새 검증 계획 수립. 사용자 활용·비용 조건 추가 확인.
현재는 C23의 관찰 비용을 사용합니다.
스크립트 없이도 전체 작성 예를 읽을 수 있습니다.
마치며 · 다음 판단을 위한 읽기
다음 제품에서도,
같은 질문을.
새로운 지표를 만날 때도 출발점은 같습니다. 누구의 어떤 경험을, 어느 기간에 측정했는지부터 확인합니다. 비교의 조건과 아직 확인하지 못한 가정을 적고, 그 근거로 실행할 범위를 정합니다.
보고서는 그 과정을 다른 사람이 검토할 수 있게 남기는 문서입니다. 오늘 내린 판단과 다음에 확인할 질문을 함께 기록하면, 이후의 결과가 다시 제품을 이해하는 자료가 됩니다.
더 읽어볼 것들
남은 질문에서 한 권씩.
자신의 판단 문서에서 가장 설명하기 어려웠던 부분을 골라 이어 읽어보세요.
01경험을 다시 살필 때
사용자가 하려는 일과 우리가 기록한 행동은 얼마나 가까운가?
Mapping Experiences, 2nd Edition
James Kalbach
O’Reilly · 2020경험 지도를 조사와 조직의 합의에 연결하는 과정을 읽어봅니다. 시작하기, 조사하기, 정렬 워크숍을 다루는 장을 함께 살피면 지도를 만든 뒤 무엇을 할지 구체화할 수 있습니다.
02변화의 원인을 물을 때
개선안의 효과라고 말하려면 무엇을 확인해야 하는가?
Trustworthy Online Controlled Experiments
Ron Kohavi · Diane Tang · Ya Xu
Cambridge University Press · 2020온라인 실험의 설계와 분석, 이를 뒷받침하는 실험 플랫폼을 함께 다룹니다. 어떤 지표로 판단할지 정하고, 실험 결과를 신뢰할 수 있는지 점검하는 관점으로 읽어보세요.
03미래의 가치를 계산할 때
이 CLV 공식은 어떤 고객과 기간을 가정하고 있는가?
What’s Wrong With This CLV Formula?
Peter S. Fader · Bruce G. S. Hardie
연구노트 · 2014익숙한 CLV 공식을 기대값, 계산 기간, 비계약형 고객 관계의 관점에서 검토합니다. 공식을 적용하기 전에 자신의 사업이 그 가정에 들어맞는지 대조해볼 수 있습니다.