사실·지표·모형·처방의 경계

서비스에서 발생한 일을 데이터베이스에 남겼다고 해서 사건 전체를 관찰한 것은 아니다. 버튼 클릭은 저장 요청의 기록일 수 있고, 서버 성공은 내용이 보관되었다는 기록일 수 있다. 사용자가 그 내용을 유용하게 받아들였는지는 별도 결과다. 기록은 관찰 장치와 정의를 통해 만들어지므로 ‘사실’이라는 단어도 무엇을 확인한 사실인지 범위를 붙여 사용한다.

구성개념은 이해·만족·신뢰처럼 설명하려는 속성이나 의미다. 직접 관찰하기 어려워 행동·응답·성과 등의 신호를 통해 검토할 수 있다. 조작적 정의는 그 개념을 이번 업무에서 어떤 관찰과 규칙으로 다룰지 정한 정의다. 만족을 5점 설문의 특정 응답 비율로 나타낸다고 해서 만족이라는 개념 전체가 그 문항 하나로 소진되는 것은 아니다.

Cronbach와 Meehl의 구성타당도 논의는 검사 결과에 부여한 해석을 여러 관계와 증거로 검토하는 문제를 다룬다. 이 책에서는 관찰 지표와 의미 사이의 연결을 검토하는 방법론적 참고로 사용한다. 심리검사의 개별 절차를 제품 분석에 그대로 옮기거나, 현대 제품 지표의 직접 기원이 이 논문이라고 주장하지 않는다. 1955년 원문 재수록 · S39 확인 범위.

PM은 지표 정의에 관찰한 사건을 쓰고, 그 사건이 나타낸다고 해석하는 결과는 가설로 분리해 적는다. ‘유효 완료’라는 이름을 붙였다면 유효가 구조적 요건인지 실제 활용인지 설명한다. 정의가 명료한 것과 사용자 목적을 잘 대변하는 것은 각각 확인해야 할 조건이다.

계산의 재현성은 같은 자료와 규칙을 적용했을 때 같은 계산 결과를 얻을 수 있는지 묻는다. 버전이 고정된 프로그램이 매번 14개를 출력하면 계산은 재현될 수 있다. 그러나 원자료가 누락되었거나 규칙이 잘못되었다면 같은 오류도 반복된다. 재현성은 결과를 대조할 출발점이며 해석의 충분조건이 아니다.

측정의 신뢰도는 의도한 측정 조건에서 결과가 얼마나 일관되는지와 관련된다. 같은 결과물을 두 평가자가 판정했을 때 얼마나 일치하는지, 안정된 대상을 반복 관찰했을 때 측정 오차가 얼마나 나타나는지 등을 살핀다. 관찰 대상이 실제로 변했다면 값이 달라진다고 곧 측정의 신뢰도가 낮다고 할 수 없다. 측정하려는 변화와 측정 과정의 변동을 나누어야 한다.

타당도는 특정 대상·상황·용도에서 지표에 부여한 해석을 증거가 얼마나 뒷받침하는지 묻는다. 동일한 설문을 일관되게 수집했어도 문항이 서비스의 편리함보다 직원의 친절함을 주로 묻고 있다면, 그 점수를 과업 난도 개선의 증거로 사용하는 데 문제가 생긴다. 따라서 ‘이 지표는 타당하다’고 끝내지 않고 어떤 해석과 결정에 사용할지 적는다.

측정 과정의 편향과 변동을 분리하는 관점은 NIST의 측정 과정 설명에서도 확인할 수 있다. 다만 해당 문헌은 계측 과정의 특성을 다루며 제품 경험의 구성타당도를 직접 검증하는 자료는 아니다. 측정 과정의 특성 · S65. 이 장에서는 구별의 필요성을 참고하고 실제 지표의 평가 방법은 목적에 맞게 설계한다.

실무에서 신뢰도를 다루는 첫 작업은 복잡한 계수를 구하는 일만이 아니다. 평가 기준을 문서화하고, 평가자가 결과를 독립적으로 판정한 뒤 불일치 사례를 확인하는 것부터 시작할 수 있다. 단순 일치율과 우연 일치를 보정하는 계수 등은 서로 다른 방법이다. 여기서는 그 계수를 계산하지 않으며 다음 예제의 단순 표를 공식적인 신뢰도 검증으로 부르지 않는다.

I2는 주간회고 결과물 20개를 대상으로 한다. 자동 규칙은 행동 항목이 있으면 ‘유효’로 표시한다. 별도 검토자는 교육용 기준에 따라 행동이 구체적으로 적혀 있고 사용자가 확인한 결과물을 통과로 판정했다고 가정한다. 검토 기준도 실제 사용자의 장기 활용을 완전히 측정하는 정답은 아니다. 여기서는 자동 규칙과 더 구체적인 검토 기준의 불일치를 확인한다.

자동 규칙은 14개를 유효로 분류했고 검토 기준에서는 12개가 통과했다. 전체 숫자의 차이는 2개지만 서로 다르게 분류된 결과물은 6개다. 자동 유효 4개는 검토 기준에 미달했고, 자동 미충족 2개는 검토 기준을 통과했다. 총계만 맞추는 작업으로는 이 불일치를 해결할 수 없다.

자동 유효로 표시한 14개 중 검토 기준 통과는 10개이므로 이 기준에 대한 정밀도는 10/14≈71.4%다. 검토 기준 통과 12개 중 자동 규칙이 찾아낸 것은 10개이므로 재현율은 10/12≈83.3%다. 전체 일치율은 (10+4)/20=70%다. 이 값들은 교육용 검토 기준과의 대응이며 진정한 사용자 가치에 대한 정확도를 확정한 수치가 아니다.

정밀도와 재현율은 오류의 종류를 구분할 때 유용하다. 자동 유효만 대상으로 후속 안내를 보낸다면 미달 결과물을 포함하는 부담을 검토해야 한다. 자동 미충족을 ‘실패한 사용자’로 분류하면 실제로는 검토 기준을 통과한 2개를 잘못 취급한다. 오류의 비용이 다르면 규칙 수정의 우선순위도 달라진다. 일반적인 합격선보다 사용 결정을 먼저 적는다.

표본을 자동 유효 결과물에서만 뽑으면 미충족 집단의 누락을 볼 수 없다. 오류 사례를 의도적으로 많이 뽑았다면 그 비율을 전체 결과물의 오류율로 사용해서도 안 된다. 평가 자료의 선정 기준과 검토자의 판정 일관성을 함께 확인한다. 자료를 더 모으더라도 잘못된 검토 기준이 자동으로 바뀌지는 않는다.

기술은 관찰한 자료의 상태와 관계를 요약한다. 예측은 아직 알지 못하는 결과를 주어진 정보로 추정한다. 인과 질문은 특정 개입을 적용했을 때 다른 조건의 정책과 비교하여 어떤 결과가 달라지는지 묻는다. 처방은 이런 결과에 비용·피해·제약·대안을 더해 무엇을 할지 권고한다. 네 종류의 작업은 연결될 수 있지만 같은 자료만으로 모두 해결되는 것은 아니다.

Shmueli는 설명과 예측의 목적을 구별해야 한다고 논의한다. 이 책은 해당 논문의 초록·서지 범위에서 문제의식을 참고하고, 구체적인 비교 설계는 16~18장의 근거와 사례로 설명한다. 논문 서지·초록 · S48. 예측력이 좋다는 사실을 개입 효과의 증거로 바꾸지 않는 것이 여기서 필요한 구분이다.

좋은 예측에는 반드시 사용자 행동의 원인을 완전히 설명하는 이론이 있어야 하는 것은 아니다. 반대로 그럴듯한 작동 원리가 있어도 미래 표본에서 예측이 틀릴 수 있다. 어떤 질문을 풀고 있는지 구분하면 같은 결과를 서로 다른 기준으로 평가하는 혼란이 줄어든다.

처방에는 가치 판단이 남는다. 성공률을 높이는 변경이 비용과 개인정보 노출 위험도 높인다면, 어느 범위까지 적용할지 결정해야 한다. 효과가 양수라는 사실만으로 모든 비용의 도입이 정당화되지는 않는다. 비교할 대안과 되돌릴 수 있는 범위를 문서에 적는다.

First Round의 Stewart Butterfield 인터뷰에는 Slack에서 팀이 누적 2,000개 메시지를 교환한 상태와 당시 사용 지속을 연결한 설명이 있다. 분석 단위는 개인의 메시지 수가 아니라 팀의 이용 이력이다. 인터뷰는 팀 규모에 따라 그 수에 도달하는 시간도 다르게 설명한다. 당사자 인터뷰의 해당 절 · S20.

이 기록에서 확인할 수 있는 것은 당시 창업자가 어떤 행동 신호를 중요하게 보았는지다. 인터뷰는 무작위 배정·비교군·통일된 추적 기간을 갖춘 인과 연구를 공개한 문서가 아니다. 따라서 메시지를 인위적으로 추가하면 같은 결과가 생긴다고 확정할 수 없다. 실무 신호를 발굴한 사례로 읽고, 우리 제품에 적용할 개입은 따로 검토한다.

사용이 오래 지속된 팀일수록 메시지가 쌓일 기회가 많다. 팀 규모와 업무량이 메시지와 유지 모두에 영향을 줄 수도 있다. 어떤 신호를 평가하려면 관찰 시점을 고정하고 그 이후의 결과를 비교해야 한다. 미래에 알게 된 누적 메시지를 과거의 예측 변수에 넣으면 정보 누출이 생긴다. 12장에서는 이런 문제를 활성화 후보의 평가에 적용한다.

가상의 회의 문장을 수정해 보자. ‘모든 신규 고객에게 2,000개 메시지를 만들게 하자’ 대신 ‘우리 제품에서 어떤 초기 과업이 실제 협업에 이르는지 탐색하고, 그 과업을 돕는 변경의 효과를 비교하자’라고 쓸 수 있다. 숫자를 버리는 것이 아니라 그 숫자가 유용했던 질문과 관찰 조건을 복원하는 작업이다.

논문, 기업 문서, 인터뷰, 블로그는 자료의 형식이다. 주장에 필요한 증거가 있는지는 문서 안의 대상·설계·측정·비교·한계를 읽어서 판단한다. 도구의 계산 방식을 확인할 때는 현행 공식 문서가 직접적인 근거일 수 있다. 효과를 판단할 때에는 그 도구의 홍보 문구만으로 충분하지 않을 수 있다. 학술 논문도 우리 제품과 다른 대상·과업을 다루었다면 적용 범위를 검토한다.

출처를 읽을 때 먼저 문장이 무엇을 주장하는지 표시한다. ‘이 명칭을 2010년 글에서 사용했다’는 기록과 ‘그때 해당 방법을 처음 발명했다’는 주장은 다르다. 발표·명명·도구 구현·한국어 소개·시장 확산은 각기 다른 사건이다. 여러 글이 같은 날짜를 반복한다고 독립적인 역사 증거가 늘어나는 것은 아니다.

그림은 교재가 만든 인용 구조다. 하나의 인터뷰를 요약·번역·강의로 재사용하면 문서 수는 늘지만 독립된 관찰 집합이 늘었다고 할 수 없다. 독립성은 URL의 수가 아니라 자료를 만든 사람·표본·수집 과정과 주장에 따라 검토한다. 별도 분석이 같은 원자료를 사용했다면 분석의 재현 근거는 될 수 있지만 새로운 표본에서의 검증과는 다르다.

상업적 이해관계가 있다는 사실만으로 내용이 틀렸다고 단정하지 않는다. 기업은 구현과 운영에서 유용한 지식을 제공할 수 있다. 동시에 유리한 결과가 선택적으로 공개될 가능성과 확인할 수 없는 조건을 검토한다. 출처의 권위를 지름길로 쓰는 태도와 출처의 동기를 추정하여 내용을 전부 버리는 태도 모두 충분한 근거 평가가 아니다.

허무 지표(vanity metric)라는 표현은 숫자가 커 보이지만 필요한 판단을 뒷받침하지 못하는 사용을 비판할 때 쓰인다. 누적 가입자·페이지뷰 같은 이름에 영구적인 판정을 붙이면 다시 목적을 놓친다. 가입 기록 이전의 작업량을 산정할 때 누적 가입자는 유용할 수 있고, 특정 버튼 전환율도 전체 과업의 손상을 숨긴 채 평가에 쓰면 실행을 잘못 이끌 수 있다.

실행 가능한 지표(actionable metric)는 변화에 따라 검토할 업무와 판단을 구체화할 수 있는 지표다. 버튼 전환율이 내려갔다고 바로 버튼 색을 바꾸는 것이 실행 가능성의 기준은 아니다. 대상·관찰·경쟁 설명을 확인하고, 수정·추가 조사·관찰 유지 중 어떤 업무를 할지 정할 수 있어야 한다. 그 과정에는 비용과 가드레일이 포함된다.

Lean Analytics 저자의 OMTM 설명은 지표 선택을 사업·단계·대상과 연결한다. 이 장은 그 맥락을 지표의 용도 검토에 참고한다. 저자 설명 · S09. 특정 지표 목록을 도입하면 판단이 자동으로 좋아진다는 주장은 하지 않는다.

같은 숫자가 보고·진단·평가·보상에서 어떤 역할을 맡는지 적어 두면 용도의 변화도 발견할 수 있다. 문제를 찾기 위한 지표가 개인 평가의 목표가 되면 기록과 행동이 달라질 수 있다. 20장은 이 유인을, 21장은 지표의 선택·변경·폐기 절차를 다룬다.

단순한 설명은 기억하고 공유하기 쉽다. 그러나 요약 과정에서 대상·시간·실패 사례가 빠지면 제한된 관찰이 보편적인 처방처럼 들릴 수 있다. 그 설명에 익숙한 창업자 이름이나 학문 이름을 붙이면 근거가 더 강해진 것처럼 보이기도 한다. 실제 영향 관계와 개념상의 유사성을 구분하는 이유가 여기에 있다.

생성형 AI가 작성한 요약에서도 같은 구분이 필요하다. 자연스러운 계보와 구체적인 연도·약어가 들어 있어도 원문이 그것을 뒷받침하는지 확인한다. 이 문장은 특정 모델의 오류율에 대한 실증 주장이 아니라 원고 검토의 절차다. 출처 주소가 있다는 사실만으로 검증이 끝나지 않고, 실제 문장과 근거의 관계를 대조해야 한다.

이 책의 편집 표기 H/M/A/U는 관계를 구분하기 위한 도구다. H는 문헌으로 직접 영향을 확인한 경우, M은 수학·분석 방법의 공유, A는 교육적 비교, U는 미확인 연결을 뜻한다. 표기 자체가 학술 표준이나 신뢰 점수는 아니다. 서로 비슷하다는 이유로 화살표를 H로 그리지 않는다.

‘새로운 지표는 모두 재포장이다’라는 반대 주장도 같은 방식으로 검토한다. 어떤 지표의 어느 요소가 기존에 있었는지, 새 관찰·구현·조직 운영에 어떤 기여가 있는지 나누어야 한다. 미래에 특정 용어가 유행할 것이라는 전망은 조건부 시나리오로 쓸 수 있지만 확인된 역사처럼 연표에 넣지 않는다. 24장은 새로운 기술 주장에 이 검토 과정을 적용한다.

검토표는 타인의 글을 비판하는 데만 쓰지 않는다. PM 자신이 만든 출시 제안과 이 교재의 주장에도 적용한다. 문장을 분리하고, 근거가 허용하는 표현으로 바꾸고, 부족한 자료가 무엇인지 적는다. 자료가 부족하다는 결론에서 끝내지 않고 다음 업무의 범위를 정한다.

I2에는 전후 관측도 없으므로 자동 유효가 증가했다는 부분부터 확인할 수 없다. 현재 자료가 제공하는 판정 대응과 앞으로 확인할 변화·효과를 구분한다.

기획 문서에는 긴 방법론 설명을 모두 넣지 않아도 된다. 주장의 유형, 핵심 정의, 비교 범위, 미확인 결과, 다음 판단 조건을 한 페이지에 정리하고 상세 자료로 연결하면 된다. 간결함은 조건을 없애는 방식이 아니라 판단에 필요한 조건을 앞에 배치하는 방식으로 만든다.

1. 구성개념·관찰 신호·조작적 정의·지표를 담당 서비스의 예로 구분하라.
2. 같은 프로그램이 매번 같은 값을 낸다는 사실로 타당성을 보증할 수 없는 이유를 쓰라.
3. I2의 자동 유효 수, 검토 기준 통과 수, 개별 불일치 수를 계산하라.
4. I2의 정밀도·재현율·전체 일치율을 계산하고 기준의 한계를 설명하라.
5. ‘첫 주 완료자의 다음 주 이용이 높으므로 완료를 강제하면 유지가 높아진다’에 포함된 주장을 분리하라.
6. Slack 인터뷰 사례를 우리 제품의 처방으로 옮기기 전에 확인할 조건을 적으라.
7. 같은 원자료를 재인용한 글 세 개가 독립 검증 세 개와 다른 이유를 설명하라.
8. 유용한 누적 가입자 지표와 판단을 잘못 이끄는 버튼 전환율의 사용 예를 쓰라.
9. 자신이 동의하는 주장 하나에 검토표를 작성하고 결론을 바꿀 증거를 적으라.

해설과 평가 기준

측정 해석은 S39, 과정의 변동·편향은 S65, 설명·예측의 구분은 S48, Slack 발언은 S20의 열람 범위 안에서 사용했다. I2와 검토 양식은 독립된 교육용 자료다. 다음 03장은 이 판단의 바탕이 되는 대상·시간·분모를 구체적으로 정의한다.