Follow the Metrics for PM · 웹 교재 v1.0 · 2026-09-21
1. 체류 시간 증가의 해석
가능한 설명은 질문을 이해하지 못한 경우, 학습 자료를 찾으러 잠시 나간 경우, 충분히 생각하며 내용을 작성한 경우 등이다. 저장 대기나 단순한 자리 비움도 가능하다. 여기에는 확인된 원인이 없다.
문항 이해는 참여자가 질문을 자신의 말로 설명하는 과정과 수행 관찰로, 자료 탐색은 앱 안팎의 과업 맥락을 묻는 면담으로, 처리 지연은 요청·응답 시각과 오류 기록으로 확인할 수 있다. 체류 시간 하나로 이 원인을 분리할 수 있다고 답하면 충분하지 않다.
2. 목적·과업·접점
목적은 다음 주 학습을 계획에 맞춰 진행하는 데 필요한 내용을 확보하는 것이다. 과업에는 저장한 계획 찾기, 내용을 확인하기, 현재 일정에 맞게 적용하기가 포함된다. 접점은 회고 목록, 상세 화면, 알림 또는 외부 일정 도구가 될 수 있다.
측정 범위는 ‘원하는 계획의 재발견’까지 먼저 정할 수 있다. 이후 학습에 실제 도움이 되었는지는 앱 밖의 실행과 관련되므로 별도 후속 조사를 계획한다. 재열람 이벤트만으로 활용까지 확정하지 않는다.
3. 자료의 선택
구현 검토에는 화면 흐름과 상태별 명세가 유용하다. 실패 안내, 재시도 가능 상태, 작성 내용의 보존·복구, 완료 화면으로의 이동 조건을 확인한다. 사용자 경험 조사는 실패 전의 기대, 실패 인지, 반복 입력, 지원 요청, 나중에 다시 시도하는 과정까지 경험 지도에 정리할 수 있다.
퍼널은 시도에서 저장까지 도달한 비율을 집계하는 보조 자료로 사용한다. 집계에서 어느 단계가 줄었는지 확인해도 그 단계의 어려움을 확정하지는 못한다. 하나의 도구만 정답으로 고르기보다 질문과 자료의 대응을 설명하는 것이 핵심이다.
4. 조사하지 않은 감정 곡선
현재 도표를 ‘조사 전 가설’로 표시하고, 감정에 관한 문장과 시각적 높낮이를 실제 근거와 분리한다. 빈도·강도 수치처럼 보이는 축은 삭제하거나 가정임을 명시한다. 가설을 지우는 대신 어느 행동과 진술을 확인하면 이를 수정할 수 있을지 조사 항목으로 전환한다.
조사 후에는 자료 위치·맥락·관찰 범위와 연결한다. 두 참여자의 말만으로 모든 이용자의 감정 곡선을 그렸다고 주장하지 않는다. 사용자가 실제로 말한 내용과 연구자의 해석도 구별한다.
5. 재열람이 없는 경우
계획을 기억해서 다시 열지 않았거나 외부 일정 도구에 옮겨 썼을 수 있다. 반대로 찾으려다 포기했거나 계획 자체를 쓰지 않았을 수도 있다. 이 중 두 가지 이상을 제시하고 서로 구분할 방법을 적으면 된다.
후속 면담에서는 계획을 사용한 구체적인 상황, 다시 찾을 필요, 다른 도구로의 이동을 확인한다. 필요한 경우 동의한 참여자의 이용 관찰을 연결한다. 앱 전체 활동을 과도하게 수집하지 않아도 과업 맥락을 파악할 수 있는지를 먼저 검토한다.
6. 경험 지도 평가 기준
지도의 단계 수보다 범위와 근거의 적합성을 본다. 과업 전의 준비와 이후 결과를 포함했는지, 화면 이름만 나열하지 않았는지, 대기·복귀·재작업을 표현했는지 확인한다. 로그로 확인 가능한 항목도 실제 계측이 존재하는 것과 앞으로 수집할 수 있는 것을 구분한다.
| 항목의 예 | 가능한 확인 방법 | 남는 범위 |
|---|---|---|
| 저장 성공 | 서버 확정과 원장 | 사용자가 결과를 이해했는지는 미확인 |
| 계획 발견 | 지정 과업 관찰 | 일상 환경의 발견 빈도는 추가 확인 |
| 계획의 유용성 | 이용 이후 면담·적합한 평가 | 전체 사용자에 대한 일반화는 별도 검토 |
가정과 근거를 명확하게 구분한 작은 지도가, 근거 없는 수치와 감정이 가득한 지도보다 개선 논의에 적합하다.
7. 개선 과제의 인수 기준
‘저장 실패 후 이어 쓰기’를 예로 들면 구현 기준은 오류 상태 표시, 복구 가능한 작성 내용 보존, 재시도 시 중복 문서 방지다. 사용자 평가 기준은 참여자가 실패 상태를 이해하고 같은 내용을 다시 입력하지 않은 채 저장을 마칠 수 있는지다.
개발·검수 담당은 배포 전 재현 시나리오로 구현을 확인하고, 기획·연구 담당은 평가용 과업으로 복구 경험을 확인한다. 일정에는 두 검토를 각각 배치한다. 실제 검토를 하지 않았다면 ‘확인 예정’으로 기록한다. 수치 목표를 설정한다면 그 근거와 평가 표본도 함께 정해야 한다.
업무 제목을 ‘사용자 경험 개선’으로만 등록하면 구현 범위와 종료 조건이 불분명하다. ‘저장 실패 시 작성 내용 유지와 재시도 제공’처럼 변경할 동작을 명시하고, 해당 동작이 사용자에게 어떤 도움을 주어야 하는지 별도로 적는다. 기술 검수에서 내용이 유지되더라도 사용자가 재시도 방법을 찾지 못하면 사용자 평가 기준은 아직 충족되지 않은 것이다.
8. 행동에서 해석 후보로
달력 이동은 다음 주의 빈 시간을 확인하는 정상적인 계획 활동일 수 있다. 다른 알림을 확인하거나 별도 용무를 처리한 것일 수도 있다. 이동 전에 수행하던 과업, 돌아온 뒤 바뀐 내용, 당사자가 참고한 자료를 확인하면 두 설명을 구분하는 데 도움이 된다. 달력 이동 자체를 이탈 또는 불편으로 판정하지 않는다.
목록 탐색의 반복은 제목·날짜가 모호해 원하는 계획을 찾지 못한 결과일 수 있고, 여러 주의 계획을 비교하는 활동일 수도 있다. 요청받은 과업이 무엇인지, 어떤 단서를 기준으로 항목을 선택했는지, 최종적으로 원하는 결과를 얻었는지 확인한다.
| 주어진 행동 | 가능한 해석 | 구분할 자료 |
|---|---|---|
| 달력 이동 | 계획을 위한 일정 참고 / 별도 용무 | 과업 맥락·참고 내용·복귀 후 행동 |
| 목록 반복 탐색 | 탐색 어려움 / 의도한 비교 | 찾으려는 대상·선택 단서·최종 결과 |
해설의 목적은 가능한 이유를 많이 나열하는 데 있지 않다. 서로 다른 이유라면 개선 업무가 어떻게 달라지는지 설명해야 한다. 일정 참고가 정상 활동이라면 연결 편의를 검토할 수 있고, 날짜 표시가 혼동을 일으킨다면 목록 정보의 표현을 검토할 수 있다. 실제 조사 전에는 모두 가설로 남긴다.
9. 측정 역할과 작업 순서
결과 지표는 지정된 계획을 도움 없이 찾아 제시한 과업의 비율로 둘 수 있다. 진단 자료에는 탐색 경로, 시간, 잘못 선택한 대상, 도움 요청을 포함한다. 이용 범위 지표에는 계획 목록이나 상세를 재열람한 계정 수를 둘 수 있다. 이 세 역할을 하나의 ‘참여도’ 점수로 합치지 않고 각각 지원하는 질문을 적는다.
작업 순서의 예는 현재 경로 관찰, 탐색 단서와 원인 후보 정리, 개선 후 지도 작성, 화면·상태 설계, 사건 명세와 수집 검수, 과업 평가, 적용 범위 검토다. 실제 프로젝트에서는 수집 가능성을 확인하며 앞 단계로 돌아갈 수 있다. 순서를 외우는 것보다 다음 작업이 앞의 어떤 근거를 사용하는지 설명하는 것이 중요하다.
현재 지도에는 확인한 행동과 남은 가정을 구분한다. 개선 지도에는 새로 제공할 동작을 표시하고, 그것이 구현되었는지와 사용자 과업이 나아졌는지의 평가를 각각 연결한다. 기준 버전과 작성일이 없거나 개선할 동작이 현재 서비스에 이미 있는 것처럼 표현되었다면 문서를 보완한다.