지표 체계를 운영하는 PM의 문서

결과 지표는 달성하려는 상태를 관찰한다. 회고 서비스라면 사용자가 실행할 계획을 완성하고 다음 주에 활용하는 일이 후보가 된다. 입력 지표는 결과에 영향을 줄 것으로 예상하는 과정이나 자원을 관찰한다. 작성 시작률, 저장 성공률, 계획 편집률 등이 여기에 들어갈 수 있다. 입력이라는 명칭은 통제 가능성이나 인과 효과를 보장하지 않는다. 관계를 검증할 가설이 필요하다.

가드레일은 개선 작업 중 허용하기 어려운 손상을 확인한다. 저장 오류, 과도한 알림, 개인정보 노출, 비용 증가처럼 주 목표와 동시에 검토할 결과다. 각각 허용 범위와 자료 품질이 다르므로 주 지표의 상승에 합산하여 상쇄시키지 않는다. 18장에서 주 지표가 좋아도 오류 증가 때문에 출시를 보류한 사례를 참고할 수 있다.

선행 지표는 관심 있는 결과보다 먼저 관찰되는 신호다. 첫 주 이용은 이후 유지보다 빨리 알 수 있지만, 시간상 먼저라는 이유만으로 유지의 원인이 되는 것은 아니다. 후행 지표는 비교적 뒤에 확인되는 성과다. 빠르게 얻는 신호와 최종 결과를 연결해서 보고하되 관찰이 끝나지 않은 후행 성과를 0으로 채우지 않는다.

같은 지표가 모든 상황에서 같은 역할을 갖지는 않는다. 오류를 줄이는 프로젝트에서는 오류율이 주 결과이고, 기능 채택 프로젝트에서는 가드레일이 될 수 있다. 지표 사전에 이름만 등록하지 말고 프로젝트 문서에 역할을 함께 적는다.

북극성 지표(NSM)는 제품이 전달하는 핵심 가치와 지속 가능한 사업 성과의 관계를 대표하도록 선택한 중심 지표다. 영구적인 정답이나 모든 부서의 성과를 대신하는 단일 숫자라는 뜻으로 쓰지 않는다. 이 교재에서는 ‘이 지표의 변화가 왜 사용자 가치와 사업의 지속성에 연결될 것인가’를 명시하는 선택 방식으로 다룬다.

Amplitude는 자사 지표를 변경한 글에서 제품 전략과 고객 가치에 대한 해석이 바뀌면서 중심 지표도 바꾸었다고 설명한다. 이는 한 기업의 선택과 회고를 확인하는 사례다. 특정 정의를 모든 제품에 복제해야 한다는 근거는 아니다. Amplitude의 지표 변경 설명 · S62.

O에서는 ‘유효 계획을 완성한 주간 계정 수’를 후보로 정한다. 여기서 유효는 사용자가 느낀 유용성과 같은 말이 아니다. 저장된 회고에 사용자가 직접 수정하거나 확인한 다음 행동 항목이 하나 이상 있는 상태라는 교육용 운영 정의다. 자동 생성 문구만 저장된 경우는 제외한다. 이 규칙은 구조적 완성을 관찰할 뿐, 실제 실행 가능성이나 만족을 보증하지 않는다.

후보를 검토할 때에는 세 가지 연결을 확인한다. 첫째, 해당 사건이 사용자 목적에 가까운가. 둘째, 반복 측정이 가능하고 정의를 이해할 수 있는가. 셋째, 지표를 늘리는 과정이 이후의 활용·유지·경제성과 함께 검토되는가. 주간회고에 매일 접속시키는 목표보다 주간 단위의 유효 완성이 목적에 가까울 수 있지만, 그것도 실제 사용 주기와 조사 결과에 따라 수정해야 한다.

이 선택이 일회성 이사 서비스에도 적합하다고 확대하지 않는다. 제품 이용 주기와 결과의 위치가 달라지면 NSM 후보도 달라진다. 22장은 이 차이를 사업모델별로 설명한다.

OMTM(One Metric That Matters)은 현재 사업의 조건과 단계에서 가장 집중할 지표를 선택하는 관점이다. Lean Analytics 저자 설명은 사업모델·성장 단계·대상을 선택 조건으로 제시하며, 같은 지표 하나에 영구적으로 집중하는 뜻이 아님을 밝힌다. 저자 설명 · S09.

O에서 최근 저장 실패가 늘었다면 이번 개선 기간에는 저장 성공률에 집중할 수 있다. 중심 결과의 정의를 즉시 저장 성공률로 바꾸는 대신, 유효 완성에 이르는 과정 중 현재 풀어야 할 문제로 기록한다. NSM은 전사 전용, OMTM은 팀 전용이라는 엄격한 표준 구분은 적용하지 않는다. 실제 적용 단위와 기간을 문서에 명시하는 것이 더 중요하다.

집중 기간을 정해도 다른 결과를 보지 않는 것은 아니다. 저장 성공을 높이기 위해 오류 메시지를 숨기면 기록상 성공만 늘 수 있다. 저장 결과의 서버 대조, 재시도, 실제 내용 복원 여부가 필요하다. OMTM 문서에는 선택 사유, 담당자, 결과 확인일, 집중을 끝내거나 바꿀 조건을 적는다. 문제가 해결되었을 때와 가설이 틀렸을 때 모두 변경 가능해야 한다.

지표 트리는 결과와 구성 요소의 관계를 펼쳐 놓은 도식이다. 산술 분해와 인과 가설은 서로 다른 연결이다. 등식은 같은 자료의 정의가 맞으면 성립한다. 인과 가설은 특정 개입이 결과를 바꾼다는 주장으로 비교 설계가 필요하다.

O의 한 주에는 적격 계정 1,000개 가운데 600개가 작성했고, 그중 300개가 저장을 완료했으며, 저장 계정 가운데 240개가 유효 기준을 만족했다. 각 계정은 단계별로 한 번만 세고 모든 결과는 같은 주 안에서 측정했다. 중간 집단이 포함 관계를 이루므로 다음 등식이 성립한다.

유효 완성 계정 수 = 적격 계정 수 × 작성률 × 작성자 중 저장률 × 저장자 중 유효 비율

1,000 × 0.60 × 0.50 × 0.80 = 240개 계정

저장률을 50%에서 60%로 높이고 나머지 비율이 그대로라면 유효 완성은 288개가 된다. 이는 조건부 계산이다. 실제로는 저장 과정이 쉬워지면서 새로 저장하는 계정의 특성이 달라질 수 있다. 저장자 중 유효 비율이 65%가 되면 1,000×0.60×0.60×0.65=234개다. 저장률은 올랐지만 유효 완성 계정은 기준선보다 6개 적다.

이 사례는 입력 지표 개선을 곧바로 최종 효과로 환산할 수 없는 이유를 보여준다. 계획 단계의 기대값은 다른 조건을 고정한 시나리오로 제시하고, 적용 후에는 실제 분자·분모와 품질 분포를 다시 확인한다. 등식의 항을 각각 다른 보고서에서 가져오면 기간이나 계정 집합이 달라 등식이 깨질 수도 있다.

03장의 정의서는 무엇을 어떻게 계산할지 정한다. 운영표는 그 숫자를 누가 언제 어떤 결정에 사용할지 추가한다. 하나의 문서가 길어지면 정의서에는 합의한 측정 기준을 두고 운영표에서 정의서 버전을 참조하는 편이 관리하기 쉽다.

지표 소유자는 계산·해석 문의를 조정하고 정의 변경을 관리하는 역할이다. 데이터 구현 책임자, 사용자 결과를 검토하는 담당자, 출시 결정권자는 다를 수 있다. 소유자를 한 명 정했다고 모든 업무와 결과의 책임을 그 사람에게 몰아주지 않는다. 역할 사이의 전달 조건을 정한다.

검토 주기는 데이터 갱신 속도와 결정의 속도를 함께 고려해서 정한다. 장애는 즉시 대응해야 하지만 주간 과업의 유지 성과는 하루 만에 평가하기 어렵다. 모든 지표를 실시간으로 만들면 미완료 기간의 변동을 과잉 해석할 수 있다. 잠정치와 확정치를 구분하고 비교 가능한 기간을 사용한다.

경보 기준은 주의를 환기하는 운영 규칙이다. 통계적으로 비정상인지 판단하는 기준과 사업상 피해를 감수할 수 있는 기준이 다를 수 있다. O에서 저장 실패의 특정 증가를 경보로 삼더라도 이것이 보편적인 임계값은 아니다. 기준선의 변동, 표본 크기, 피해의 심각도, 대응 비용을 검토하여 정한다. 주 지표가 기준을 넘었다고 자동 출시하도록 연결하지 않는다.

회의 전 자료에는 수치, 비교 기준, 관찰 기간, 정의 버전, 확인된 이상을 적는다. 회의 중에는 사실과 원인 후보를 구분하고 추가 조사·수정·관찰 유지 중 하나를 정한다. 회의 후에는 담당자와 기한을 기록한다. 모든 지표 변화에 개발 과제를 만들어야 하는 것은 아니다. 자료 오류를 수정하거나 충분한 관찰을 기다리는 것도 구체적인 결정이다.

제품이 자동으로 계획 초안을 저장하도록 바뀌었다고 가정하자. 기존 저장 계정 수는 사용자가 작성·저장했다는 신호였지만 새 버전에서는 자동 생성 결과까지 포함한다. 동일한 이름으로 그래프를 이어 붙이면 행동 개선과 정의 변경이 섞인다. 정의의 의미가 달라졌다면 버전을 올리고 변경 시점을 표시한다.

새 정의와 옛 정의를 일정 기간 동시에 계산할 수 있으면 연결 차이를 확인한다. 과거 원자료에 필요한 속성이 없으면 정확한 재계산이 불가능하다. 이때 새 기준으로 과거를 추정해 메우는 대신 비교 불가 구간과 이유를 기록한다. 기존 정의로 산출한 과거 판단도 삭제하지 않고 당시 기준과 함께 보존한다.

지표 폐기는 관리 포기와 다르다. 사용 결정을 더 이상 바꾸지 않거나 다른 지표와 역할이 중복되거나 측정 비용이 효용보다 큰 경우 운영 목록에서 제외할 수 있다. 폐기 사유, 대체 지표, 마지막 사용일, 관련 보고서 변경을 남긴다. 목표 달성 후에도 관성적으로 유지되는 지표는 회의와 계측 비용을 늘린다.

O의 운영 문서는 중심 결과, 현재 집중, 보호할 결과, 조사, 결정 기록을 함께 담는다. 아래 예시는 작성 가능한 수준으로 줄인 문서다. 실제 프로젝트에서는 각 칸이 정의서·개발 명세·분석 문서로 연결된다.

문서가 완성되었다는 판단은 모든 칸에 숫자가 들어갔는지로 하지 않는다. 관찰하지 못한 결과가 표시되어 있고, 새 자료가 들어왔을 때 어떤 결정을 바꿀지 설명할 수 있어야 한다.

1. 결과 지표, 입력 지표, 가드레일을 각각 정의하고 같은 오류율의 역할이 달라지는 예를 쓰라.
2. O의 NSM 후보가 관찰하는 것과 관찰하지 못하는 것을 구분하라.
3. NSM을 유지하면서 저장 성공률에 한시적으로 집중하는 OMTM 운영안을 쓰라.
4. O의 기준선 240개를 계산하고 각 비율의 분모를 쓰라.
5. 저장률 60%, 유효 비율 65%인 시나리오를 계산하고 인과 추정과 구분하라.
6. 지표 소유자와 출시 결정권자를 같은 사람으로 정해야 하는지 설명하라.
7. 자동 저장 도입 시 필요한 지표 버전 변경 기록을 작성하라.
8. 담당 서비스의 지표 하나에 사용 결정·검토 주기·폐기 조건을 작성하라.

해설

NSM의 개념은 S06·S07, 변경 사례는 S62, OMTM은 S09를 참고했다. 운영표의 역할 배분과 주기·버전 양식은 교재의 제안이며 해당 기업의 내부 절차를 재현한 것이 아니다. 오류·부작용 판단은 18장, 보상과 유인은 20장, 사업모델별 정의 선택은 22장으로 이어진다.