지표의 정의와 집계 기준

제품의 목표에는 ‘계획을 세우기 쉬워진다’, ‘학습을 지속하는 데 도움이 된다’처럼 직접 계수하기 어려운 내용이 포함된다. 반면 시스템에 남는 것은 화면 진입, 입력, 저장, 재열람과 같은 사건이다. 기획자는 목표와 기록 사이에 어떤 관계가 있는지 설명해야 한다. 계획 저장이 늘면 사용자가 계획을 세우는 데 도움을 받았을 가능성이 있지만, 기본 문구를 그대로 저장하게 만든 경우에도 저장 수는 늘 수 있다.

조작적 정의는 관찰하려는 개념을 실제 측정 절차로 구체화한 것이다. 이 장에서 ‘일간 회고 저장 사용자’는 한국 시간 하루 동안 유효한 회고 저장이 한 번 이상 확인된 고유 계정으로 정의한다. 이 정의를 따르면 누구나 같은 자료에서 같은 수를 계산할 수 있다. 다만 정의가 명확하다는 사실만으로 해당 수치가 학습의 개선을 충분히 나타내는 것은 아니다. 측정 절차의 재현 가능성과 그 결과에 부여하는 해석의 타당성은 따로 검토한다.

이 구분의 학술적 배경으로는 심리측정의 구성개념 타당도 논의를 참고할 수 있다. Cronbach와 Meehl은 1955년 논문에서, 검사 점수를 어떤 속성의 증거로 해석하려면 이론과 관찰 사이의 관계를 명시하고 검토해야 한다고 논의했다. 제품의 저장 수를 학습 도움의 지표로 사용하는 문제에도 이러한 검토 관점을 적용할 수 있다. 이는 이 교재의 방법론적 적용이며, 오늘날 제품 지표가 해당 논문에서 직접 파생되었다는 계보 주장은 아니다. 원문 재수록 · S39

실무에서는 지표 정의서에 ‘측정하려는 것’과 ‘현재 관찰하는 것’을 각각 한 문장으로 적는 방법이 유용하다. 주간회고의 경우 전자는 ‘사용자가 다음 주에 실행할 계획을 정리할 수 있다’이고, 후자는 ‘서버에 회고와 계획이 저장된다’다. 두 문장의 차이에서 후속 조사 항목이 나온다. 계획을 다시 찾을 수 있는지, 작성한 계획이 실제 일정에 쓰였는지, 템플릿을 이해했는지 등을 따로 확인하게 된다.

측정 정의를 선택하는 과정

서비스 목표가 ‘회고를 쉽게 마칠 수 있게 한다’라면 적어도 두 가지 질문이 포함된다. 첫째는 시작한 사람이 저장까지 도달하는가이고, 둘째는 그 과정에서 불필요한 시간과 반복 입력이 발생하는가다. 완료율만 정의하면 두 번째 질문은 남는다. 작성이 매우 번거로워도 오래 버틴 사람이 모두 저장한다면 완료율은 높을 수 있기 때문이다. 이 경우 완료율을 유지하면서 시간·오류·도움 요청을 함께 관찰하는 평가가 필요하다.

지표를 선정하는 회의에서는 목표 문장을 그대로 지표 이름으로 옮기기보다, 관찰했을 때 목표의 달성을 지지하거나 의심하게 만드는 상황을 적어본다. ‘첫 저장이 이루어졌다’는 작성 과정을 통과했다는 증거가 된다. ‘저장한 계획을 찾지 못했다’는 계획을 활용할 수 있다는 해석을 약화한다. 이렇게 예상되는 증거를 적으면 어떤 사건을 수집하고 어떤 평가를 따로 수행해야 하는지 정할 수 있다.

이 세 수준을 분리하면 책임도 구체적으로 정할 수 있다. 기록의 누락은 수집 체계에서, 서로 다른 분모는 지표 정의에서, 저장과 계획 활용 사이의 차이는 평가 설계에서 해결한다. 모든 문제를 데이터 오류로 부르거나 지표를 하나 더 추가하는 방식으로 대응하면 실제 수정할 업무가 불분명해진다.

아래 표는 자료 M의 9월 1일 기록을 계정별로 요약한 것이다. 모든 계정은 로그인되어 있으며 직원·테스트 계정은 없다. 기기와 계정의 연결도 알려져 있다고 가정한다. 실제 서비스에서 확인하기 어려운 식별 문제를 잠시 고정하여 집계 단위의 차이에 집중한다.

앱을 연 기기는 다섯 대이고, 앱을 연 계정은 네 개이며, 회고를 저장한 계정은 두 개다. 세 값은 각각 다른 질문에 답한다. 기기 수는 서비스 접속 환경을 검토할 때 필요하고, 진입 계정 수는 이용 범위를 파악하는 데 쓰인다. 저장 계정 수는 핵심 기능 이용을 파악하는 데 적합하다. 대시보드에 세 항목을 모두 ‘활성 사용자’라고 표시하면 회의에서 정의를 다시 해석해야 한다.

계정 수를 곧바로 사람 수로 부르는 것도 주의가 필요하다. 한 사람이 계정을 여러 개 만들거나 여러 사람이 조직 계정을 함께 쓸 수 있기 때문이다. 이 교재의 예제에서는 계정 하나를 사용자 한 명에 대응시키지만, 실제 보고서에는 분석 단위를 명시한다. 조직용 서비스에서는 개인 계정의 이용과 조직의 이용을 함께 봐야 할 수 있다. 이용 계정이 늘어도 유료 조직 수는 그대로일 수 있다.

세션은 분석 규칙에 따라 묶은 연속 이용 구간이다. 사람이 실제로 수행하려던 과업과 경계가 일치한다고 보장할 수 없다. 회고를 쓰다가 다른 기기에서 이어 쓰면 세션은 나뉘어도 과업은 이어진다. 반대로 한 세션에서 지난주 회고를 수정하고 이번 주 계획을 만들면 여러 과업이 발생한다. 따라서 과업 완료율에 세션을 사용할 때는 그 대체 관계가 적절한지 먼저 검토해야 한다.

원자료 한 행이 나타내는 대상도 확인한다. 이벤트 표의 한 행은 사건의 기록이고, 계정 표의 한 행은 계정이며, 회고 표의 한 행은 저장된 회고일 수 있다. 이 표들을 연결할 때 회고 하나에 이벤트가 여러 개 붙으면 행 수가 늘어난다. 연결한 표의 행 수를 회고 수로 세면 과대 집계가 생긴다. 기획자가 모든 처리 구문을 작성할 필요는 없지만, 보고서가 세는 대상과 중복 제거 기준은 설명할 수 있어야 한다.

분석 단위를 바꾸었을 때의 정보 손실

사건을 계정 단위로 묶으면 이용 범위를 간결하게 보여줄 수 있지만 반복 횟수는 줄어든다. 자료 M에서 u01은 이틀 동안 두 번 저장했다. 기간 고유 저장 계정 수에서는 한 개로 기여하고, 저장 사건 수에서는 두 건으로 기여한다. 계정 단위 요약은 ‘누가 경험했는가’에 적합하고, 사건 단위 요약은 ‘얼마나 발생했는가’에 적합하다. 이 차이를 알면 대시보드에서 여러 지표가 비슷해 보이더라도 함께 필요한 이유를 설명할 수 있다.

집계 수준을 정한 뒤에는 원자료의 연결 관계를 살핀다. 회고 한 건에 ‘저장 요청’과 ‘저장 확정’이라는 두 기록이 있다고 가정하면, 회고 표에 이벤트 표를 붙인 결과에는 같은 회고가 두 행으로 나타날 수 있다. 회고에 붙은 다른 속성을 합산할 때도 같은 문제가 생긴다. 기획 문서에는 ‘회고 한 건당 한 행’, ‘시도 한 번당 한 행’처럼 최종 분석 자료의 단위를 적어두는 편이 좋다.

식별자를 정확하게 관리해도 관찰하지 못하는 사람까지 알 수 있는 것은 아니다. 로그인하지 않은 이용을 포함할지, 여러 기기를 연결할 근거가 있는지, 조직 계정을 공유하는지에 따라 계정 지표의 적용 범위가 달라진다. 비교 기간 사이에 로그인 정책이 바뀌었다면 제품 이용의 변화와 식별 가능한 범위의 변화를 나누어 검토한다.

활성 사용자와 방문 지표의 기본 단위

DAU·WAU·MAU는 각각 정한 하루·한 주·한 달 동안 인정 행동을 한 고유 대상 수다. 활성의 기준을 앱 실행으로 정할지 핵심 과업 완료로 정할지는 질문에 따라 선택한다. 같은 계정이 여러 날 활동할 수 있으므로 일별 DAU를 더해 월간 고유 이용자 수라고 부르지 않는다. 달력 월과 최근 30일도 서로 다른 관찰 구간이다.

페이지뷰(PV)는 인정한 페이지 조회 사건 수, 세션은 정한 연결 규칙에 따라 묶은 방문 단위, 고유 방문자는 식별자를 기준으로 중복 제거한 대상 수다. 한 사람이 여러 기기를 쓰거나 같은 기기를 여러 사람이 쓰면 식별자와 실제 사람 수가 어긋난다. 세션 종료 조건과 화면 조회의 정의는 도구마다 확인한다. 이 장은 특정 도구의 기본값을 보편 정의로 사용하지 않는다.

PM은 ‘활성 사용자가 늘었다’는 보고를 받을 때 행동·식별 단위·기간이 같은지 먼저 확인한다. 그 활동이 사용자 결과를 대변하는지는 02장의 타당도 질문으로 검토한다. 단위를 정확히 정하는 일과 의미를 검증하는 일은 함께 필요하다.

‘9월 1일’은 시간대를 포함해야 완전한 정의가 된다. 이 장에서는 Asia/Seoul을 사용하고, 9월 1일 00:00 이상부터 9월 2일 00:00 미만까지를 하루로 정한다. 시작 경계를 포함하고 끝 경계를 제외하면 자정의 사건이 두 날짜에 중복으로 들어가지 않는다. 세계시 기준으로 저장된 시각도 먼저 정한 시간대로 해석하여 날짜를 나눈다.

예를 들어 2026-09-01 15:05 UTC는 한국 시간으로 9월 2일 00:05다. 세계시 날짜만 잘라 집계하면 9월 1일에 포함되지만, 이 장의 기준에서는 9월 2일에 포함된다. 서로 다른 도구를 비교할 때 시간대가 일치하지 않으면 같은 원자료에서도 날짜별 추세가 달라질 수 있다.

또한 ‘어제 일어난 사건’과 ‘어제 수신한 기록’을 구분한다. 네트워크 문제로 오늘 도착한 어제의 저장 사건을 어느 날짜에 넣을지 정해야 한다. 주간회고의 이용 지표는 발생 시각을 기준으로 날짜를 배정하고, 수신 지연은 별도의 품질 항목으로 관리한다. 과거 날짜의 수치가 뒤늦게 바뀔 수 있으므로 보고서에는 자료를 마감한 시각도 남긴다. 구체적인 수집 문제는 09장에서 다룬다.

자료 M에서 9월 2일 앱을 연 계정은 u01·u02·u05다. 9월 1일의 네 계정과 9월 2일의 세 계정을 단순히 더하면 7이지만, 이틀 동안 이용한 고유 계정은 u01부터 u05까지 5개다. u01과 u02가 이틀 모두 포함되기 때문이다.

일간 활성 사용자 수의 합인 7은 ‘계정·일’의 수로는 의미가 있다. 사용자가 하루에 한 번 이상 이용한 날을 계정마다 합한 값이다. 다만 이를 이틀간 고유 사용자 수라고 부르면 단위가 바뀐다. 월간 이용자를 구할 때도 일간 고유 수를 더하지 않고, 월 전체에서 계정 식별자를 다시 중복 제거해야 한다.

가입 후 7일 같은 경과 시간은 달력 날짜와 다른 축이다. 같은 날짜에도 사용자별 가입 후 경과 시간이 다르다. 서비스 전체의 오늘 현황을 볼 때는 달력 시간이 유용하고, 가입 이후의 변화를 비교할 때는 출발 사건에 맞춘 경과 시간이 유용하다. 관찰 완료 여부와 복귀 구간은 13장에서 설명한다.

완료된 기간과 진행 중인 기간의 비교

주간 보고서를 수요일에 열면 이번 주는 아직 진행 중이고 지난주는 관찰이 끝난 상태다. 두 주의 누적 저장 수를 바로 비교하면 관찰 기회의 차이가 들어간다. 운영 현황을 보려면 이번 주 월요일부터 수요일의 마감 시각까지와 지난주 같은 요일·시각까지를 비교할 수 있다. 주 전체 결과를 보려면 이번 주가 끝난 뒤 집계한다. 어느 비교든 휴일이나 사용자 구성 같은 다른 조건까지 같아지는 것은 아니므로, 비교한 범위를 보고서에 적는다.

날짜 단위 자료를 사용할 때에는 ‘주’와 ‘최근 7일’도 구분한다. 월요일부터 일요일까지의 주간 집계는 달력에 고정되고, 최근 7일은 기준일이 바뀔 때 양쪽 경계가 이동한다. 이동 구간의 추세는 인접한 두 점이 상당수 날짜를 공유하므로, 연속된 수치를 서로 독립적인 관찰처럼 다루면 안 된다. 이 장에서는 우선 같은 기간 규칙을 적용하는 데 집중한다.

분석 문서의 시간 항목에는 사건 기간, 자료 마감, 비교 기준 기간을 각각 적는다. 예를 들어 ‘9월 1~2일 발생, 9월 3일 오전 자료로 집계’와 같이 쓰면 실제 이용 기간과 기록을 기다린 시간을 구분할 수 있다. 전날 보고서와 오늘 보고서가 다른 경우에도 지연 자료의 추가인지 계산 규칙의 변경인지 조사할 출발점이 생긴다.

분모는 비율의 계산을 위한 보조 숫자가 아니라, 판단의 대상 집단을 정하는 기준이다. 9월 1일 회고를 저장한 두 계정을 앱 진입 계정 네 개로 나누면 50%다. 작성 시작 계정 세 개로 나누면 약 66.7%다. 앞의 값은 진입 이후 저장까지의 도달 정도를 나타내고, 뒤의 값은 작성에 착수한 이후 저장까지의 진행 정도를 나타낸다.

마지막 두 값은 이 자료에서는 같지만 일반적으로 같은 지표가 아니다. 한 계정이 세 번 시작하여 한 번 저장하면 계정 기준으로는 저장 경험이 있는 계정 하나이고, 과업 기준으로는 세 번 중 한 번의 성공이다. 재시도가 많은 서비스를 계정 기준으로만 보면 사용자의 반복 부담을 놓칠 수 있다.

비율을 정의할 때는 분자에 포함된 대상이 분모의 자격을 갖췄는지 확인한다. 이번 주 신규 가입자의 구매 전환율을 구하면서 기존 가입자의 구매를 분자에 포함하면 질문에 맞지 않는 값이 된다. 이와 함께 관찰 시간을 맞춰야 한다. 월요일 가입자에게 일주일을 주고 일요일 가입자에게 하루만 준 채 같은 구매 기회를 가진 것으로 처리하면 가입일에 따라 조건이 달라진다.

분모가 0이면 비율은 계산할 수 없다. 이때 0%로 표시하면 ‘기회가 있었지만 아무도 완료하지 않았다’는 해석과 섞인다. 보고서에는 ‘대상 없음’ 또는 계산 불가로 표시하고, 대상 수를 함께 보여준다. 이 원칙은 성공률뿐 아니라 유지율·응답률·광고 전환율에도 적용된다.

분모에 들어갈 자격과 관찰 기회

분모는 결과가 나오기 전에 어떤 대상을 평가할 것인지 정하는 기준이어야 한다. 작성 경험을 평가하면서 실패한 시도를 자료에서 제거한 뒤 완료율을 계산하면, 평가해야 할 어려움이 분모에서 사라진다. 제외 조건은 직원의 검수 활동처럼 질문과 무관한 기록을 분리하는 데 사용할 수 있지만, 결과가 좋지 않다는 이유로 대상을 제거하는 데 사용해서는 안 된다.

기능이 일부 사용자에게만 제공되는 경우에는 노출 자격도 고려한다. 예를 들어 회고 기능이 아직 모바일 웹에는 제공되지 않는다면 전체 방문자를 분모로 둔 이용 비율은 제공 범위와 이용 선택이 함께 반영된 값이다. 기능을 사용할 수 있었던 계정 중 이용한 비율은 다른 질문이다. 두 지표가 모두 필요할 수 있으므로 ‘전체 서비스에 대한 도달’과 ‘이용 가능 집단 안의 선택’을 구별하여 정의한다.

분자와 분모의 단위가 다를 때에는 퍼센트 표현이 적합한지 확인한다. 자료 M의 이틀간 저장 사건은 네 건이고, 저장 계정은 세 개다. 4/3은 저장 계정당 약 1.33회의 저장을 뜻한다. 계정 중 133%가 저장했다는 뜻이 아니다. 부분집합의 비중, 계정당 횟수, 단위 시간당 발생 정도는 모두 나눗셈으로 계산하지만 단위와 해석이 다르다.

지표 이름에 ‘율’이 붙었다는 이유로 모두 같은 통계적 대상을 가정하지 않는다. 계산식과 단위를 보면 비중을 말하는지, 반복 빈도를 말하는지, 처리 속도를 말하는지 구별할 수 있다.

자료 M의 9월 1일에는 시작 과업 세 개 중 두 개가 저장되었고, 9월 2일에는 두 개 중 두 개가 저장되었다. 각 계정은 하루에 최대 한 번 시작하며 시작한 날 안에 결과가 정해진다는 예제 조건을 둔다. 실제 과업 연결에는 별도의 시도 식별자가 필요하다.

이틀의 과업을 합치면 완료율은 4/5 = 80%다. 날짜별 비율 약 66.7%와 100%를 단순평균하면 약 83.3%가 된다. 단순평균은 과업이 세 개 있었던 날과 두 개 있었던 날에 같은 무게를 준다. 이틀 동안 시작한 과업의 완료 정도를 설명하려면 각 날짜의 분모를 합산하여 계산해야 한다.

합산 완료율 = (첫날 완료 과업 + 둘째 날 완료 과업)
             / (첫날 시작 과업 + 둘째 날 시작 과업)
           = (2 + 2) / (3 + 2) = 80%

같은 값을 가중평균으로 표현하면
           = (3/5 × 2/3) + (2/5 × 2/2) = 80%

기간 전체의 고유 계정을 사용하면 또 다른 값이 나온다. 작성 시작 계정은 u01·u02·u03·u05이고, 저장 계정은 u01·u02·u05다. 따라서 이틀 동안 작성한 계정 중 한 번 이상 저장한 비율은 3/4 = 75%다. u01의 두 번의 시작과 두 번의 저장을 각각 하나로 합쳤기 때문에 과업 단위의 80%와 달라진다.

세 값을 비교할 때에는 어느 계산이 일반적으로 우수한지보다 보고서가 답해야 하는 질문을 기준으로 선택한다. 작성 시도의 처리 품질이 목적이면 80%, 날짜 하나를 같은 무게로 평가하려는 운영 목적이면 83.3%, 기간 중 저장 경험의 도달 범위가 목적이면 75%가 대응한다. 평균을 사용할 때는 ‘무엇 하나에 같은 무게를 주는가’를 함께 적어두면 집계 논리를 설명하기 쉽다.

평균의 분모는 시간 지표에서도 중요하다. 성공한 과업만의 평균 시간과 실패·중단을 포함한 모든 시도의 평균 관찰 시간은 서로 다른 값이다. 완료자만 빨라졌어도 완료 자체가 어려워졌을 수 있다. 분포와 성공 여부를 함께 검토하는 방법은 10장에서 다룬다.

변화량의 표기와 구성 비교

비율의 차이를 보고할 때에는 퍼센트포인트와 상대 변화율을 구분한다. 별도의 가상 예에서 완료율이 50%에서 60%로 바뀌었다면 차이는 10%p이고, 이전 비율에 대한 상대 증가는 (60−50)/50 = 20%다. ‘10% 상승’이라는 표현만 쓰면 어느 계산을 뜻하는지 모호하다. 두 기간의 분자·분모를 함께 제시하면 비율의 변화가 실제 몇 건의 결과와 연결되는지도 알 수 있다.

전체 비율은 집단별 결과와 집단이 차지하는 비중의 영향을 함께 받는다. 신규 사용자와 기존 사용자의 완료율을 따로 계산한 뒤 전체 값과 대조하면, 특정 집단의 수행이 바뀌었는지 이용자 구성이 바뀌었는지 구분할 출발점을 얻는다. 집단을 나누었을 때는 같은 사람을 어느 집단에 넣는지도 정해야 한다. 분석일 현재의 상태를 사용할지, 과업 시작 당시의 상태를 사용할지에 따라 과거 분류가 바뀔 수 있다.

작은 자료에서는 한 건의 변화가 비율을 크게 움직인다. 예를 들어 분모가 네 개인 비율에서는 결과 한 개가 25%p에 해당한다. 이 사실은 수치가 무의미하다는 뜻이 아니라, 보고서의 소수점 정밀도와 설명의 강도를 대상 규모에 맞춰야 한다는 뜻이다. 한 자리 소수까지 계산할 수 있다는 사실과 그 정도의 차이를 안정적으로 판단할 수 있다는 사실은 구분한다.

저량(stock)은 특정 시점에 존재하는 양이며, 유량(flow)은 일정 기간에 발생한 양이다. 월초 유효 계정 100개, 월중 신규 생성 12개, 폐쇄 5개라면 다른 변동이 없다는 조건에서 월말 유효 계정은 107개다. 월말 계정 수의 단위는 계정이고, 신규 생성 수는 해당 월에 생성된 계정 수다. 시간의 역할이 서로 다르다.

기말 유효 계정 = 기초 유효 계정 + 기간 중 생성 − 기간 중 폐쇄
              = 100 + 12 − 5 = 107

가입자가 늘어도 최근 이용자가 늘었다고 보장할 수 없다. ‘월말까지 누적 가입한 계정’과 ‘최근 한 달 동안 사용한 계정’은 대상의 자격이 다르다. 최근 30일 활성 계정 수는 과거 30일의 사건으로 정해지는 이동 구간의 수치다. 이를 단순한 계정 재고처럼 다루어 ‘어제 활성 + 오늘 신규 가입 − 오늘 탈퇴’로 갱신할 수는 없다. 오랫동안 이용하지 않은 계정의 복귀와, 기존 이용자가 30일 구간 밖으로 빠지는 변화도 고려해야 한다.

매출을 ‘구매 계정 수 × 구매 계정당 평균 매출’로 나누는 것은 같은 기간·매출 범위·계정 집합을 사용하면 성립하는 산술 관계다. 이 관계는 현황을 분해하는 데 유용하지만 구매 계정 수를 늘리는 어떤 정책이 평균 매출에도 영향을 줄 수 있다. 두 항목을 독립적으로 조절할 수 있다고 가정하면 계획을 과대평가할 수 있다.

지표 트리에서도 같은 문제가 발생한다. 회고 저장 수를 ‘시작 수 × 저장 완료율’로 표시할 수 있지만, 작성 진입을 쉽게 만드는 변화가 가벼운 시도를 늘려 완료율을 낮출 수도 있다. 분해식에는 계산상 관계를 표시하고, 기능 변경이 각 항목에 미치는 영향은 가설로 따로 적는다. 원인을 확인하는 비교와 실험은 후속 단원의 대상이다.

산술 관계를 검토 과제로 바꾸기

‘저장 수 = 시작 수 × 저장 완료율’이라는 관계에서 시작 수가 줄었다면 진입 경로, 이용 필요, 대상 집단의 규모를 검토할 수 있다. 완료율이 낮아졌다면 작성 중 오류·질문 이해·관찰 미완료를 확인할 수 있다. 이렇게 분해식은 조사 범위를 좁히는 데 활용한다. 각 항목의 변화를 어떤 기능 하나의 영향으로 확정하는 데에는 추가 근거가 필요하다.

목표치를 설정할 때도 같은 주의가 필요하다. 저장 수를 늘리기 위해 시작 버튼을 더 자주 보여주면 시작 기록은 늘어날 수 있다. 그중 실제로 작성할 의도가 없던 시도가 늘면 완료율이 내려갈 수 있다. 프로젝트의 목표를 시작 수 하나로 정하면 버튼 노출의 확대가 성과처럼 보일 수 있으므로, 저장까지의 결과와 사용자에게 발생한 부담을 함께 검토한다.

이때 모든 지표를 하나의 종합 점수로 합칠 필요는 없다. 이용 범위, 과업 처리, 사용자 부담, 수집 품질은 각기 다른 업무 질문을 지원한다. 보고서에는 의사결정의 중심 지표와 함께 해석에 필요한 보조 지표를 배치하고, 각 항목이 어떤 판단을 보완하는지 설명한다.

지표 정의서는 보고서 제작을 요청하는 문서이면서 이후의 해석 기준이다. 이름과 공식만으로는 부족하다. 데이터가 만들어지는 조건, 관찰하지 못하는 범위, 변경 이력을 포함해야 담당자가 바뀌어도 수치를 비교할 수 있다.

보고서가 불일치하면 먼저 기간과 마감 시각을 맞추고, 대상·분석 단위·인정 사건·제외 조건을 대조한다. 이후 실제로 한쪽에만 포함된 계정 또는 사건을 추출하여 차이를 분류한다. 원자료의 공통 표본 몇 개를 따라가면 전체 값을 다시 계산하는 것보다 원인을 빨리 좁힐 수 있다. 차이가 정의에서 비롯되었다면 보고서 이름과 용도를 분리하고, 수집 오류에서 비롯되었다면 영향을 받은 기간과 재집계 범위를 적는다.

정의 변경에는 변경 전후를 비교할 근거가 필요하다. 예를 들어 종전에는 저장 버튼 클릭을 완료로 인정했고 새 버전에서는 서버 저장만 인정한다면, 새 수치의 하락에는 정의 변경이 포함된다. 두 기준을 동시에 관찰할 수 있는 기간을 확보하여 차이를 설명하거나, 비교가 불가능한 날짜에 경계 표시를 남긴다. 과거 자료에 서버 성공 여부가 없으면 새 정의로 정확하게 환산할 수 없다는 사실도 기록한다.

보고서 불일치를 조사하는 작성 예

자료 M의 9월 1일에 대해 운영 보고서는 활성 5, 제품 보고서는 활성 4, 회고 기능 보고서는 활성 2라고 제시했다고 가정하자. 조사 담당자는 먼저 세 보고서가 동일한 발생일과 수신 마감을 사용했는지 확인한다. 이 조건이 같다면 각 보고서에 포함된 식별자를 나란히 놓는다. 운영 보고서에는 d1~d5, 제품 보고서에는 u01~u04, 기능 보고서에는 u01·u02가 있다.

다음으로 서로 다른 값이 나오는 이유를 기록한다. 5와 4의 차이는 u01이 두 기기를 사용한 데서 발생한다. 4와 2의 차이는 u03과 u04가 저장하지 않은 데서 발생한다. 이 사례에서는 원자료를 수정할 이유가 없으며, 표시 이름을 각각 앱 진입 기기 수·앱 진입 계정 수·회고 저장 계정 수로 구분하는 것이 적합하다. 수치 불일치 조사의 결과가 항상 오류 수정일 필요는 없다.

정의서를 검토할 때는 다른 담당자가 같은 표본을 보고 어떤 대상을 포함할지 판단할 수 있는지 확인한다. 문구만 읽고는 ‘자동 저장도 인정하는가’, ‘삭제된 회고도 과거 저장에 포함하는가’를 알 수 없다면 정의가 더 필요하다. 이러한 경계 사례를 두세 개 붙여두면 긴 설명만 있는 정의서보다 구현과 검수의 해석 차이를 발견하기 쉽다.

보고서에 수치를 사용한 뒤에는 판단 기록을 남긴다. 이번에는 단위 차이를 정리했으므로 활성 수를 근거로 제품 악화를 주장하지 않는다. 저장 경험이 없는 두 계정의 이유를 알아야 한다면 별도의 경험 분석 과제로 넘긴다. 정의의 정리와 제품 개선 조사를 순서대로 연결하면 같은 수치 논쟁을 반복하는 시간을 줄일 수 있다.

1. 자료 M의 9월 1일을 대상으로 기기·진입 계정·저장 계정을 각각 집계하고, 세 지표가 지원하는 업무를 한 가지씩 작성하라.
2. 9월 1일 네 계정과 9월 2일 세 계정을 합산한 7을 어떤 단위로 해석할 수 있는가. 이틀간 고유 계정 수를 구하라.
3. 9월 1일의 저장 계정 두 개를 분자로 두고, 분모가 네 개일 때와 세 개일 때의 질문을 구분하라. 분모가 0일 때의 표시 방식도 정하라.
4. 이틀의 과업 합산 완료율, 일별 완료율 단순평균, 고유 계정 기준 완료 경험 비율을 구하라. 각 평균에서 같은 무게를 받는 대상을 설명하라.
5. 세계시 9월 1일 15:05에 발생하고 한국 시간 9월 3일 09:00에 수신된 사건의 발생일을 정하라. 9월 2일 00:00 마감 보고서와 이후 보고서의 차이를 설명하라.
6. 앱 진입을 활성으로 보던 정의를 회고 저장으로 변경했다. 수치가 감소했을 때의 보고 문구와 필요한 변경 기록을 작성하라.
7. 담당 서비스의 지표 하나를 위 정의서 형식으로 작성하라. 관찰 기록이 충분히 설명하지 못하는 사용자 결과를 한 가지 포함하라.
8. 이틀 동안 저장 사건 네 건과 저장 계정 세 개를 나눈 값을 설명하라. 완료율 50%→60%의 변화도 %p와 상대 변화율로 각각 표현하라.
9. 보고서의 활성 수가 5·4·2로 다르다는 문의를 받았다. 원자료 수정 여부, 표시 이름, 추가 조사를 구분한 검토 메모를 작성하라.

해설은 별도 문서에 수록했다. 다음 08장에서는 계산에 앞서 어떤 경험을 관찰해야 하는지 정하고, 09장에서 이를 수집 가능한 사건으로 옮긴다.

• S39. Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52, 281–302. 원문 재수록. 구성개념과 관찰·해석의 관계를 참고했다. 심리검사와 제품 로그의 측정 조건이 같다는 주장은 하지 않는다.
• 예제 M, 집계 공식, 정의서와 세 그림은 교재의 자체 교육 자료다. 원자료와 계산 결과에서 대조할 수 있다. 실제 사용자 식별 정확도나 제품 성과를 추정한 자료가 아니다.
• 역사적 직접 영향과 방법의 공유를 구별한다. 구성타당도 논의의 원문 확인 범위는 출처 장부에 기록했다.