Follow the Metrics for PM · 웹 교재 v1.0 · 2026-09-21
계산형 문항은 단위·분모·기간을 함께 확인한다. 설계형 문항의 아래 답안은 가능한 작성 예이며 유일한 운영 정답이 아니다.
1. 문제·가설 작성
사용자 문제 후보는 신규 사용자가 첫 회고에 무엇을 얼마나 적을지 정하기 어려울 수 있다는 것이다. 개입 가설은 수정 가능한 예시가 이 부담을 줄여 유효 완료를 높일 수 있다는 연결이다. 조사 없이 실제 고객의 확정 발언으로 쓰지 않는다. 이후 활용에 도움을 주는지는 별도 결과로 둔다.
2. 기준선과 주2 집합
시작 60%, 저장 40%, 유효 완료 30%다. 주2의 180개는 첫 주 유효 완료 300개에서 나온 부분집합이므로 조건부 재작성률은 60%다. 180/1,000=18%는 두 조건을 모두 만족한 비율이다. 첫 주 미완료자에서 발생한 주2 재작성 수가 없으므로 전체 신규 주2 리텐션은 알 수 없다. 관찰 창도 가입 기준 168시간 이상 336시간 미만으로 적는다.
3. 실험 정의서
신규 적격 개인 계정을 가입 직후 무작위 배정하고 계정별 버전을 유지한다. 분모는 배정 전체, 분자는 배정 후 168시간 미만에 서버 저장과 사용자 확인·수정 항목을 갖춘 계정이다. 계정별 중복을 제거하며, 오류와 완료는 겹칠 수 있다. 마지막 계정의 관찰과 수집 검수가 끝난 뒤 분석한다. 이용자만으로 분모를 다시 구성하지 않는다.
4. 경쟁 설명
원래 의욕이 높은 사용자가 예시를 더 많이 썼을 수 있고, 다른 채널에서 들어온 고객 구성이 달랐을 수 있다. 예시와 함께 저장 동작이 바뀌었거나 이벤트 정의가 달라진 경우도 검토한다. 관찰 집단 분리는 원인 후보를 좁히지만 미관찰 차이를 제거하지 못한다. 개입 묶음을 명시한 배정 비교가 필요하다.
5. 효과와 가드레일
완료 차이는 +3%p, 명목 95% 구간 약 +1.71~+4.29%p다. 0보다 큰 방향과 +2%p 이상의 효과를 확정하는 주장은 다르다. 오류 차이는 +0.5%p, 구간 약 −0.12~+1.12%p로 허용 손상 +1%p 초과 가능성이 남는다. 비유의를 안전으로 해석하지 않고 사전 정의한 가드레일 판단을 적용한다. 두 구간은 동시 95% 구간이 아니다.
6. 비용의 분모
평균 완료당 제공 비용은 A 1,000,000/3,000≈333원, B 1,600,000/3,300≈485원이다. 추가 비용 600,000원을 추가 완료 점추정 300개로 나누면 2,000원이다. 분모 300을 3,300으로 대체하면 다른 질문이 된다. 고정비와 장기 가치가 없으므로 ROI나 수익성 결론을 만들지 않는다.
7. 판단 예
전면 출시는 보류하고 오류 원인을 확인·수정한 후 새 계획으로 재평가하는 결론이 가능하다. 제한 검증을 택한다면 적용 대상, 중단 기준, 오류 복원, 담당·재검토일을 명시한다. 완료 효과의 유리한 부분과 오류·비용·후속 활용의 미확인 부분을 함께 기록해야 한다. 어떤 결론을 골랐는지보다 증거와 적용 범위의 일관성을 평가한다.
8. 종합 제출물 평가
문제·경험 20점, 정의 25점, 비교·불확실성 25점, 결정·운영 20점, 근거·재현 10점의 교육용 평가표를 사용한다. 네 문서의 지표 ID·단위·시간이 맞는지 먼저 대조한다. 미확인 결과를 남겨 두고 추가 자료가 결론을 바꿀 조건을 구체화한다. 표본 크기나 긍정적 결론 자체가 높은 점수의 근거는 아니다.
자기 검토
수치와 문장의 대상이 같은지 확인한다. 관찰·가정·처방을 구분하고, 아직 없는 자료를 실제 관찰처럼 채우지 않는다. 계산 결과만 맞은 답안은 해석과 판단 조건을 보완한다.