Follow the Metrics for PM · 웹 교재 v1.0 · 2026-09-21
계산 문제는 분모와 단위를 함께 확인한다. 서술·적용 문제는 아래 예시와 문장이 같을 필요가 없으며 근거와 판단 범위를 기준으로 검토한다.
1. 구성개념에서 지표로
주간회고의 구성개념을 다음 행동을 정리하는 데 받은 도움으로 둘 수 있다. 관찰 신호는 행동 항목 수정·확인, 조작적 정의는 한 주 안에 사용자가 확인한 항목을 저장한 계정, 지표는 적격 계정 중 해당 계정의 비율이다.
같은 칸에 모두 저장이라고 쓰면 의미와 사건을 구분하지 못한다. 신호가 실제 도움을 대변한다는 연결은 별도 조사·후속 관찰로 검토할 가설이다.
2. 반복 계산의 한계
같은 프로그램이 같은 값 14개를 내는 것은 입력과 계산 규칙이 고정되었다는 재현 근거가 될 수 있다. 누락된 자료나 부적절한 규칙도 같은 결과를 반복한다. 계산 재현성만으로 사용자 활용이라는 해석의 타당도를 보증할 수 없다.
측정 신뢰도는 정한 조건에서의 일관성을 별도로 검토한다. 실제 대상의 변화와 측정 과정의 변동을 혼동하지 않고, 무엇에 대한 해석을 평가하는지도 적는다.
3. 총계와 개별 판정
자동 유효는 10+4=14개, 검토 기준 통과는 10+2=12개다. 두 총계 차이는 2개이고 개별 불일치는 4+2=6개다. 두 종류의 오류가 서로 상쇄되어 총계 차이는 작게 나타난다.
자동 판정 수에 일괄 보정값 2를 빼도 어떤 결과물을 잘못 분류했는지 해결되지 않는다. ID 단위로 두 판정을 대조하고 불일치의 이유를 확인해야 한다.
4. 정밀도·재현율·일치율
정밀도는 자동 유효 14개 중 검토 통과 10개로 10/14≈71.4%다. 재현율은 검토 통과 12개 중 자동 규칙이 찾은 10개로 10/12≈83.3%다. 전체 일치율은 (10+4)/20=70%다.
이 계산에서 검토 기준은 비교 기준이지 사용자 가치의 완전한 정답이 아니다. 표본 선정·검토자 일관성·미래 표본의 적용도 확인해야 한다. 재현율은 프로그램의 계산 재현성과 다른 개념이다.
5. 기술에서 처방으로 건너뛴 문장
첫 주 완료자의 다음 주 이용이 높다는 부분은 관찰된 관계의 기술이다. 완료를 강제하면 유지가 높아진다는 부분은 개입의 인과 주장이다. 실제 강제를 도입하자는 권고에는 부담·비용·사용자 선택 등 처방 판단도 포함된다.
동기나 과업 필요가 두 행동을 함께 높였을 수 있다. 완료를 돕는 변경과 강제로 기록만 만들게 하는 변경도 같은 처치가 아니다. 독립 자료의 예측 평가와 개입 효과 비교를 따로 설계한다.
6. Slack 사례의 적용 조건
원문의 팀 단위·누적 메시지·팀 규모별 도달 시간·당시 사용 지속이라는 관찰 범위를 확인한다. 우리 서비스에서는 같은 수가 같은 과업을 뜻하는지, 신호를 관찰할 시점을 고정할 수 있는지, 결과 기간이 이후에 놓이는지 검토한다.
당사자 인터뷰는 실무자가 중요하게 본 신호의 근거다. 메시지 수를 인위적으로 늘리는 정책의 인과 효과를 입증하지 않는다. 2,000이라는 수를 개인별 보편적 목표로 옮기는 답은 부적절하다.
7. 문서 수와 검증 수
세 글이 같은 인터뷰나 같은 관측 표본을 재인용했다면 세 번의 독립 관찰을 얻은 것은 아니다. 원자료의 대상·수집·선정과 각 글이 새로 수행한 분석을 구분한다.
같은 자료를 독립적으로 다시 분석하면 계산 재현을 확인하는 데 도움이 될 수 있다. 하지만 새 모집단·새 기간에서의 검증과 같지는 않다. URL이 다르다는 이유만으로 근거 수를 세지 않는다.
8. 지표의 이름과 쓰임
누적 가입자는 계정 이전의 작업량 추정에 사용한다. 버튼 전환율은 클릭을 얻는 과장 안내를 보상하면서 최종 과업 실패를 감추면 잘못된 행동을 유도할 수 있다.
누적값을 무조건 버리거나 전환율을 무조건 실행 가능하다고 평가하지 않는다. 판단 목적, 대상, 가드레일, 변화 뒤의 다음 업무를 함께 적는다.
9. 자기 주장 검토표
자동 유효가 늘면 활용도 개선된다는 주장이라면 자동 판정 수와 실제 활용은 구분한다. 현재 근거는 I2의 규칙 대응이고 미확인 결과는 실제 활용·미래 표본·개입 효과다. 문장은 자동 규칙의 범위와 오류를 확인했다고 수정한다.
평가할 항목은 주장 유형, 출처와 실제 열람 범위, 정의와 비교, 적용 한계, 다음 검증, 결론 변경 조건이다. 자신이 선호하는 제안도 반대 증거를 적을 수 있어야 한다. 하나의 결론에 동의했는지보다 근거와 결정의 연결을 평가한다.