Follow the Metrics for PM · 웹 교재 v1.0 · 2026-09-21
1. 가입과 가치 경험
가입 완료는 계정과 이용 권한이 준비된 상태다. 저장 후 계획 열람은 회고 결과 생성과 확인까지 도달한 행동을 나타낸다. 서비스가 약속하는 학습 정리·계획 활용에 더 가까운 관찰 후보라는 이유로 선택했다.
다만 내용이 유용했는지, 실제 계획에 반영했는지, 사용자가 가치를 인식했는지는 로그만으로 확정할 수 없다. 과업 평가나 사용자 진술을 추가한다. 후보가 가치 경험의 일부를 관찰한다는 설명과 그 한계를 함께 적어야 한다.
2. 관찰 자격과 활성화율
8월 1일 시작한 20명은 504시간을 관찰하여 첫 주와 후속 구간 모두 완료했다. 8월 20일 시작한 4명은 48시간만 지났으므로 첫 주 결과도 대기다. 확정 활성화율은 8/20 = 40%다.
8/24 = 33.3%는 아직 기회가 남은 4명을 분모에 넣는다. 확정 미달성처럼 읽힐 수 있으므로 관찰 완료자와 대기자를 구분해야 한다. 활성화율만의 최소 관찰 조건은 168시간이고, 후보와 후속 결과의 관계를 평가하려면 504시간이 필요하다는 차이도 설명한다.
3. 시간 경계
활성화 구간은 [0,168)이므로 168시간의 열람은 제외한다. 후속 구간은 [336,504)이므로 336시간의 저장은 포함하고 504시간은 제외한다.
시작 포함·끝 제외 규칙은 인접 구간에서 같은 사건이 중복되는 것을 막는 데 도움이 된다. 날짜 이름만으로 판정하지 말고 계정별 시작 시각과 사건 시각의 차이를 계산해야 한다. 실제 서비스는 수집 지연과 발생 시각도 구분한다.
4. 교차표의 계산과 해석
후보 달성자 후속 저장률은 6/8 = 75%, 미달성자는 3/12 = 25%다. 관찰된 차이는 50%포인트다. 후속 저장자 중 후보가 포착한 비율은 6/9 = 66.7%다.
이 차이는 무작위로 후보 행동을 배정한 효과가 아니다. 원래 동기, 이용 기회, 환경 차이가 두 행동에 영향을 줄 수 있다. 작은 교육용 표본의 연관을 확인한 결과로 쓰며, 후보 달성을 강제하면 후속 이용이 50%포인트 증가한다고 해석하지 않는다.
5. 조건 강화와 독립 검증
저장 후 열람 후보는 8명을 포괄하고 6명이 후속 저장한다. 3회 저장 조건은 4명을 포괄하고 3명이 후속 저장한다. 두 집단의 후속 저장률은 모두 75%이지만 더 엄격한 조건은 대상 범위를 줄인다.
동일 표본에서 탐색한 결과이므로 별도의 이후 코호트에서 같은 정의를 검증한다. 3회 작성이 사용자 가치에 필요한지 과업 맥락도 조사한다. 후보 기준의 선택 성과와 그 행동을 유도하는 개선안의 효과는 별도 검증 과제로 남긴다.
6. 도달 시간의 분모
정렬한 시간은 1·2·4·8·24·48·72·120시간이다. 중앙값은 (8+24)/2 = 16시간이다.
“관찰 완료 신규 계정 20명 중 8명이 첫 주 후보를 달성했으며, 이 8명의 도달 시간 중앙값은 16시간이다. 나머지 12명은 첫 168시간 안에 달성하지 않았다”라고 쓴다. 미달성자의 시간을 0이나 168시간의 완료로 바꾸어 평균에 넣지 않는다.
7. 자동 진입 이후의 변화
기존 열람이 사용자 선택이었는지 자동 화면 표시였는지 먼저 확인한다. 새 버전에서 사건 발생 조건이 달라졌다면 동일 이름의 이벤트라도 의미가 달라진다. 진입 경로를 구분해 재집계하거나 정의 버전을 분리한다.
계획을 이해하고 활용했는지 과업 평가를 추가하고, 화면 강제 이동이 방해가 되지 않았는지 살핀다. 후속 저장은 충분한 기간 뒤 비교한다. 클릭이나 노출의 증가를 바로 가치 경험의 증가로 해석하지 않는 것이 핵심이다.
8. 미래 정보의 혼입
첫 달 총 사용 횟수는 첫 달이 끝나야 알 수 있고 첫 달 재이용 행동의 일부를 이미 포함한다. 첫 주에 개입 대상을 고르는 데 미래 정보를 사용하는 문제가 생긴다. 같은 기간의 결과를 포함한 규칙은 관계가 높게 보일 수도 있다.
후보를 첫 주 행동으로 고정하고 그 이후의 별도 구간에서 결과를 평가하는 수정안이 가능하다. 후보가 확정되는 시점에 실제로 이용 가능한 자료만 사용한다. 독립된 미래 코호트 검증도 추가한다.
9. 적용 문서 평가 기준
가치 가설과 관찰 신호를 구분하고 시작·시간 창·순서·단위·분모·관찰 완료 조건을 명시한다. 후보 평가에는 달성률과 후속 결과, 놓치는 집단, 후보를 고른 자료의 범위를 포함한다.
개선 가설은 사용자 문제와 변경 내용을 구체적으로 적는다. 예측 검증은 별도 코호트에서 관계가 유지되는지, 개입 검증은 경험 변경이 결과를 개선하는지를 질문해야 한다. 유명 기업의 임계값을 가져온 것만으로 정의를 정당화한 답안은 충분하지 않다.