리텐션의 측정과 서비스 개선

리텐션은 일정한 기준으로 정한 사용자 집단에서, 정해진 시간이 지난 뒤에도 관계나 이용이 유지되는 정도를 나타낸다. 디지털 서비스에서는 가입 또는 첫 이용 이후 특정 행동을 다시 수행한 사용자의 비율로 측정하는 경우가 있다. 이때 가입, 방문, 구매, 기능 사용 중 어느 사건을 기준으로 삼느냐에 따라 지표의 의미가 달라진다.

‘주간회고’는 사용자가 한 주의 학습 내용을 정리하고 다음 주 계획을 세우는 서비스다. 이 서비스를 개선하는 기획자는 회고 화면의 진입률과 작성 완료율을 통해 첫 이용 과정의 문제를 살펴볼 수 있다. 이후에도 회고가 이어지는지를 확인하려면 가입 시점별 사용자를 일정 기간 추적해야 한다. 리텐션은 이 두 번째 검토에 필요한 지표다.

온보딩을 개편한 후 D7 리텐션이 35%에서 55%로 상승했다고 가정하자. D7의 측정 기준은 뒤에서 구체적으로 정한다. 현재 확인된 사실은 집계된 비율이 20%p 높아졌다는 것이다. 이를 개편 성과로 보고하려면 전후의 대상 집단과 집계 조건을 확인해야 한다. 기존에 회고 습관이 있던 사용자의 유입이 늘었다면 온보딩과 무관한 구성 변화가 결과에 반영되었을 수 있다.

사업 성과를 검토하는 회의에서는 이러한 구분이 의사결정에 직접 영향을 준다. 온보딩이 원인이라면 해당 기능의 확대나 후속 개선을 검토할 수 있다. 유입 구성의 변화가 주요 요인이라면 사용자 획득 전략을 따로 검토해야 한다. 사용자의 회고 완료는 늘었지만 실제 학습 계획에 도움이 되지 않았다면 작성 횟수 외의 결과를 추가로 살펴야 한다. 같은 상승 수치에서도 다음 과제는 달라진다.

그림 13-1은 사용자가 얻은 결과와 서비스에서 수집한 기록, 그리고 개선 판단의 관계를 나타낸다. 서비스에서 확인할 수 있는 기록은 회고 완료 이벤트다. 이 기록을 일정한 기준으로 집계하면 리텐션을 계산할 수 있다. 회고가 학습에 도움이 되었는지, 온보딩 개편이 완료 비율을 높였는지는 각각 별도의 검토가 필요하다.

기획 단계에서는 이 관계를 지표 정의서에 반영하는 것이 좋다. ‘회고 완료를 반복 이용의 기준으로 선정한 이유’, ‘학습에 도움이 되었는지 확인할 방법’, ‘개편 효과를 비교할 대상’을 함께 적어두면, 출시 후 숫자가 나왔을 때 해석 기준을 다시 정하는 일을 줄일 수 있다.

리텐션을 이해하는 데 필요한 배경은 코호트 분석, 생존분석, 고객 유지 연구에서 찾을 수 있다. 이들은 각각 집단의 구분, 사건 발생까지의 시간, 고객 관계의 지속을 다룬다. 제품 분석에서는 이러한 관점을 측정 목적에 맞게 적용한다.

코호트(cohort)는 특정한 출발 사건과 시기를 공유하는 집단이다. 이 장에서는 같은 기간에 가입한 사용자를 하나의 코호트로 본다. 예를 들어 9월 첫째 주 가입자를 묶으면 가입 이후 1주, 2주, 3주가 지난 시점의 이용을 같은 출발 집단 안에서 살펴볼 수 있다. 기존 회고 습관이나 유입 경로처럼 특성에 따라 나눈 집단은 세그먼트(segment)로 구분한다. 하나의 가입 코호트를 여러 세그먼트로 나누어 분석할 수도 있다.

생존분석(survival analysis)은 정해진 사건이 발생하기까지의 시간을 다루는 방법이다. 고객 관계에 적용할 때는 계약 해지와 같이 관계의 종료를 나타내는 사건을 정의할 수 있다. 다만 앱에 방문하지 않은 날이 있다는 이유만으로 고객 관계가 종료되었다고 볼 수는 없다. 일별 이용 여부와 계약 종료까지의 시간은 분석 대상이 다르므로 구별해서 사용해야 한다.

리텐션과 관련된 주요 문헌 및 도구 구현 기록은 다음과 같다.

위 문헌은 각 방법의 연구 배경을 확인하기 위한 자료다. Kaplan·Meier의 1958년 논문은 불완전한 관찰에서의 추정을 다루고, Ryder의 1965년 논문은 사회 변화 연구에서 코호트 개념을 논의한다. 이 날짜들을 리텐션이라는 지표의 발명 시점으로 해석할 근거는 확보되어 있지 않다. Kaplan·Meier 논문, Ryder 논문 서지.

Fader·Hardie의 고객 유지 연구에서는 생존분석과의 연결을 저자가 명시한다. 계약 관계가 유지될 확률을 이용해 고객의 잔존과 미래 유지율을 설명한다. 이 연결은 계약형 서비스의 리텐션을 해석할 때 참고할 수 있다. 뒤의 6절에서는 조건부 유지율과 최초 집단의 누적 유지율을 구별하여 계산한다. 2006년 저자 원고.

그림 13-2의 각 행은 서로 다른 분석 문제에 해당한다. 코호트는 비교할 집단을 정하는 데, 생존분석은 종료 사건과 관찰 기간을 다루는 데, 고객 유지 모델은 관계의 지속을 설명하는 데 사용된다. 세 방법을 하나의 발전 순서로 보기보다 현재 서비스에서 어떤 문제가 필요한지에 따라 검토하는 편이 적절하다.

실무 도구는 이러한 분석을 반복해서 수행할 수 있도록 지원한다. Amplitude의 2016년 기능 공지에서도 구간별 복귀와 특정 시점 이후의 복귀를 계산하는 기능을 확인할 수 있다. 도구의 발전은 집계와 탐색에 드는 수고를 줄여주지만, 서비스에 적합한 사건과 기간을 정하는 일은 여전히 분석 설계에 속한다. 도입을 검토할 때는 기능의 명칭보다 지원하는 정의, 시간 처리 방식, 원자료 확인 가능성을 살펴볼 필요가 있다. 2016년 기능 공지.

3.1. 서비스의 이용 목적과 측정 행동

‘주간회고’에서 반복 이용을 측정할 행동은 ‘회고 완료’로 정한다. 이 서비스는 매주 학습 내용을 돌아보고 다음 계획을 정리하는 과정을 지원하므로, 회고 완료는 주요 기능의 이용 여부를 나타내는 기준으로 사용할 수 있다. 앱 열기는 접근 여부를 확인하는 보조 지표로 둔다.

회고 완료의 정의에는 기능 동작도 포함해야 한다. 완료 버튼을 누르는 시점과 작성 내용의 저장에 성공한 시점은 다를 수 있다. 저장 실패가 발생했는데 버튼 클릭만 집계하면 실제 이용보다 높은 결과가 나올 수 있다. 이 사례에서는 회고 저장이 성공했을 때 review_completed를 기록하는 것으로 정한다. 출시 전 검수에서는 해당 이벤트가 의도한 시점에 발생하는지 확인한다.

회고를 완료했다는 기록만으로 학습의 질을 평가할 수는 없으므로, 서비스의 유용성은 추가 자료로 검토한다. 예를 들어 회고에서 작성한 계획이 다음 학습에 사용되었는지, 작성 과정의 부담은 어느 정도였는지 등을 조사할 수 있다. 리텐션과 사용자 조사 결과를 함께 검토하면 이용 횟수의 변화가 서비스 목적에 부합하는지 판단하는 데 도움이 된다.

3.2. 지표 정의서

지표 정의서는 기획, 개발, 분석 담당자가 동일한 기준으로 데이터를 다루기 위한 문서다. 최소한 분석 대상, 시작 사건, 복귀 행동, 측정 기간, 중복 처리 기준을 명시한다. 이 장의 사례에는 다음 기준을 적용한다.

구간 표기 [a, b)는 시작 시각 a를 포함하고 종료 시각 b는 제외한다는 뜻이다. 가입 시각부터 24시간이 지나기 전까지를 D0로 두면 D7은 가입 후 168시간 이상 192시간 미만이다. 따라서 D7 전체의 관찰이 끝나는 시점은 가입 후 8일이 되는 시각이다. 정확히 8일째에 기록된 행동은 다음 구간에 포함한다.

측정 기간의 끝을 정해두면 날짜별 집계가 겹치는 것을 피할 수 있다. 개발 요청서와 분석 문서에도 같은 기준을 사용해야 한다. 담당자마다 ‘7일 뒤’라는 표현을 다르게 해석하면 이벤트가 정상적으로 쌓여도 보고서의 결과가 달라질 수 있다.

3.3. 달력 날짜와 경과 시간

일별 리텐션의 시간 기준은 달력 날짜 또는 사용자별 경과 시간으로 정할 수 있다. 9월 1일 밤 11시 50분에 가입하고 9월 2일 새벽 0시 10분에 회고를 완료한 사용자를 예로 들면, 달력상으로는 가입 다음 날의 행동이다. 가입 시각을 기준으로 계산하면 20분이 지난 시점이므로 D0에 해당한다.

달력 날짜는 요일이나 운영 일정에 맞춰 이용 현황을 검토할 때 편리하다. 경과 시간은 각 가입자에게 같은 길이의 관찰 기간을 적용할 때 적합하다. 이 장은 정확한 24시간을 기준으로 계산하고, 시각은 한국 표준시로 표시한다. 도구의 달력일·경과 시간 설정뿐 아니라 반올림과 시작 사건의 처리 방식도 확인해야 한다. Amplitude의 시간 계산 문서는 이러한 구현 차이를 확인하는 참고 자료다. 공식 시간 계산 문서.

3.4. 분석 단위와 사용자 식별

개인용 서비스에서는 고유 사용자 한 명을 분석 단위로 정할 수 있다. 이때 사용자가 여러 기기를 이용하더라도 같은 사람의 기록으로 연결할 수 있어야 한다. 기기 식별자를 그대로 사용자 수로 세면 휴대전화에서 가입하고 노트북에서 다시 이용한 사람이 서로 다른 사용자로 집계될 수 있다.

조직용 서비스라면 개인과 계정 또는 팀을 별도로 볼 필요가 있다. 팀 계정이 유지되더라도 일부 구성원만 이용할 수 있으며, 팀 전체의 업무에 활용되는지는 참여 범위와 공동 과업의 결과로 확인해야 한다. 어떤 단위를 선택하든 ‘사용자’라는 표현만 쓰지 말고 실제 식별 기준을 남긴다.

사건의 중복도 검토 대상이다. 같은 사용자가 두 번 회고한 경우와, 한 번 발생한 사건이 전송 과정에서 두 번 기록된 경우는 원자료에서 구별해야 한다. 사용자 리텐션은 동일 기간 안의 완료를 한 명으로 집계하지만, 완료 건수나 사용 빈도를 함께 분석할 때는 사건 중복이 결과에 영향을 준다.

3.5. 복귀 기간의 선택

복귀 여부를 판단하는 대표적인 기간 정의는 다음과 같다.

주간 단위의 이용을 검토하는 ‘주간회고’에서는 둘째 주 중 한 번 이상 완료했는지가 주요 지표 후보가 된다. 특정 요일이나 일정한 간격의 재이용을 유도하는 기능을 검토한다면 D7과 같은 특정 일 지표도 함께 사용할 수 있다.

특정 일 이후의 복귀를 계산할 때는 관찰 종료도 정해야 한다. 오래 관찰한 사용자에게는 늦게 돌아온 행동까지 포함할 기회가 더 많기 때문이다. 이 장의 [7,21) 계산은 모든 사용자에게 동일하게 21일의 관찰 기간을 확보한 자료에 적용한다. 분석 도구의 Return On, Return On or After 등의 명칭은 해당 도구의 정의를 확인한 뒤 사용한다. 공식 리텐션 정의.

4.1. 사용자별 기록 확인

예제 A는 같은 시각에 가입한 여덟 명의 자료다. 모두 8월 1일 오전 10시에 가입했으며, 8월 22일 오전 10시 직전까지 관찰했다. 아래 숫자는 가입 시각부터 경과한 일수다. 7.5는 가입 후 7일 12시간이 지난 시각을 의미한다. 표에서 —는 해당 기간에 완료 기록이 없음을 나타낸다.

그림 13-3에서는 각 사용자의 완료 기록과 세 가지 측정 구간을 같은 시간축에 표시했다. u02의 8일째 완료는 D7의 종료 경계에 있으므로 D7에는 포함되지 않고 둘째 주에는 포함된다. u04의 14일째 완료도 같은 방식으로 둘째 주에서는 제외되고 [7,21)에는 포함된다. u05는 D7에 두 번 완료했지만 사용자 수로는 한 명이다.

4.2. 분자와 분모의 집계

이 예제의 리텐션은 다음과 같이 계산한다.

리텐션 = 측정 구간에 회고를 한 번 이상 완료한 사용자 수
         ÷ 해당 구간 전체를 관찰할 수 있었던 가입자 수

모든 가입자를 21일 동안 관찰했으므로 세 구간의 분모는 모두 8명이다. D7에 완료한 사용자는 u01과 u05로, 리텐션은 2/8 = 25%다. u05의 두 완료를 각각 세어 3/8로 계산하면 분자에는 사건 수, 분모에는 사용자 수를 사용하게 된다. 사용자 리텐션을 구할 때는 사용자별 포함 여부를 먼저 정한 뒤 인원을 합산한다.

둘째 주 [7,14)에는 u01·u02·u03·u05·u07이 포함되어 5/8 = 62.5%가 된다. [7,21)에는 u04가 추가되므로 6/8 = 75%다. 세 값은 동일한 기록에 서로 다른 측정 기간을 적용한 결과다. 보고서에서는 ‘D7 25%, 둘째 주 62.5%’처럼 정의를 함께 표기한다. 정의 변경에 따른 차이를 개편 전후의 성과로 보고하지 않도록 주의한다.

앱 열기까지 완료로 인정하면 D7에는 u06·u08이 추가되어 4/8 = 50%가 된다. 앱 열기를 별도의 이용 지표로 운영할 수는 있으나, 회고 완료 지표와는 구분해서 관리해야 한다. 측정 행동을 변경하는 경우에는 변경일과 사유를 남기고, 과거 자료에도 새 기준을 적용할 수 있는지 확인한다.

4.3. 가입 이후 이용과 첫 이용 이후 재사용

예제의 시작 기준은 가입이다. 따라서 D7 완료자에는 이전에 회고한 경험이 있는 사람과 그날 처음 회고한 사람이 함께 포함된다. u05는 가입 후 7일째에 처음 회고했지만 가입 기준의 D7에는 포함된다.

첫 이용 이후의 반복을 별도로 검토하려면 최초 회고 완료를 기준 시각으로 정해야 한다. 그 시각부터 측정 구간을 다시 계산하고 관찰 기간도 확인한다. 첫 회고에 도달하지 못한 가입자는 이 집단에 포함되지 않으므로, 가입에서 첫 회고로의 전환을 함께 보고하는 것이 적절하다. 그래야 초기 이용 과정의 문제와 이후 반복 이용의 문제를 나누어 개선할 수 있다.

4.4. 주차별 이용의 지속성

[7,21)의 75%는 해당 기간에 한 번 이상 완료한 비율이다. 주간 이용의 지속성을 보려면 기간을 주차별로 나누어 살펴야 한다. 같은 자료에서 둘째 주에는 다섯 명이 완료했으나, 셋째 주 [14,21)에는 u04 한 명만 완료했다. 셋째 주의 비율은 1/8 = 12.5%다.

주간 반복을 목표로 한 기능의 성과 보고에는 이러한 주차별 결과가 필요하다. 한동안 이용하지 않다가 다시 회고한 사용자와 매주 회고한 사용자는 후속 안내나 기능 개선의 필요가 다를 수 있다. 다만 이 사례는 세 주의 소규모 자료이므로, 장기적인 이용 습관은 더 긴 기간을 관찰한 뒤 검토해야 한다.

5.1. 관찰이 완료된 사용자의 선정

리텐션 보고서에는 서로 다른 날짜에 가입한 사용자가 함께 들어갈 수 있다. 최근 가입자는 아직 D7을 경험하지 않았을 수 있으므로, 집계 시점에 해당 구간이 끝났는지 확인해야 한다.

예제 B는 9월 10일 오전 10시까지 관찰한 여섯 명의 자료다. 각 사용자의 가입 시각은 오전 10시이며, D7의 기준은 예제 A와 동일하다.

그림 13-4의 세로선은 관찰 종료 시각이다. b01~b04의 D7 구간은 이 선의 왼쪽에 있고, b05·b06의 구간은 오른쪽에 있다. 따라서 현재 D7을 평가할 수 있는 사람은 네 명이며, 이 중 세 명이 완료했다. 리텐션은 3/4 = 75%다.

b05·b06을 미완료로 처리하면 3/6 = 50%가 된다. 최근 가입자를 계속 분모에 추가하면서 아직 발생할 수 없는 D7을 0으로 채우면, 신규 유입이 많아지는 시기에 지표가 낮아지는 문제가 생긴다. 이를 방지하려면 결과가 성공인지 실패인지와 무관하게 동일한 관찰 기간 기준을 적용해야 한다. 구간이 끝나기 전에 이미 완료한 사용자만 먼저 포함하는 방식도 분모 선정에 결과를 반영하므로 피한다.

현재 결과는 ‘D7 관찰이 완료된 네 명의 리텐션 75%’로 보고한다. 여섯 명 전체의 결과는 마지막 가입자인 b06의 구간이 끝나는 9월 15일 오전 10시 이후에 집계할 수 있다. 기존 네 명의 기록이 유지된다고 할 때 최종 완료자는 최소 세 명, 최대 다섯 명이므로 가능한 비율은 50~83.3%다. 이는 남은 두 명의 결과에 따른 범위이며 통계적 신뢰구간은 아니다.

5.2. 코호트 표의 해석

그림 13-5는 예제 B를 가입일별 행과 경과일별 열로 정리한 코호트 표다. 각 셀에는 완료자 수와 해당 가입일의 사용자 수를 표시했다. 0/4는 네 명의 관찰 기간이 끝났으나 완료가 없었다는 뜻이고, 빗금의 —는 해당 구간 전체의 관찰이 아직 끝나지 않았다는 뜻이다.

같은 행을 가로로 읽으면 하나의 가입 집단에서 시간이 지나며 나타난 행동을 살펴볼 수 있다. 9월 1일 가입자 네 명은 D0~D6에 완료가 없고 D7에 세 명이 완료했다. 이 지표는 가입을 기준으로 회고 완료를 측정하므로 D0가 100%일 필요는 없다. 시작과 복귀를 동일한 사건으로 정의한 지표에서는 D0의 의미가 달라질 수 있다.

같은 열을 세로로 읽으면 서로 다른 가입 집단의 같은 경과일을 비교할 수 있다. D7을 비교하려면 D7이 끝난 행만 사용한다. D2에는 9월 6일·7일 가입자가 각각 한 명씩 완료해 1/1로 표시되어 있지만, 이들의 D7은 아직 평가할 수 없다. 또한 같은 실제 날짜에 발생한 장애나 캠페인이 코호트마다 다른 경과일에 영향을 줄 수 있으므로, 원인을 검토할 때는 가입 기준의 표와 운영 일정을 함께 확인한다.

5.3. 여러 코호트의 전체 비율

전체 가입자의 비율을 구할 때는 각 코호트의 분자와 분모를 합산한다. 예제 B의 D2에는 세 코호트 모두 관찰이 완료되어 다음과 같이 계산한다.

D2 전체 = (0 + 1 + 1) / (4 + 1 + 1)
        = 2/6 ≈ 33.3%

행별 비율인 0%, 100%, 100%를 단순 평균하면 약 66.7%가 된다. 이 계산은 코호트마다 같은 가중치를 부여한다. 가입자 전체의 비율을 보고하려면 코호트 크기를 반영한 33.3%를 사용해야 한다. D7에는 첫 번째 코호트만 관찰이 완료되어 3/4로 집계된다. 도구에서도 전체 비율의 가중 방식과 미완료 구간 처리 기준을 확인할 필요가 있다. Amplitude의 집계 설명.

여기서 D2와 D7의 분모는 각각 6명과 4명이다. 두 결과를 선으로 연결하더라도 동일한 여섯 명의 경과를 나타내는 것은 아니다. 같은 출발 집단의 추이를 보려면 집단을 고정하고 필요한 관찰 기간을 확보한다. 여러 가입 집단을 합친 추이는 각 시점의 분모 인원과 함께 제시하는 편이 해석에 도움이 된다.

5.4. 관찰 기간과 데이터 수집 상태

관찰 기간이 끝났는지와 기록이 충분히 수집되었는지는 별도로 확인한다. 창이 아직 끝나지 않은 경우에는 시간이 더 필요하지만, 이벤트 수집 장애가 발생했다면 기록의 누락 범위부터 조사해야 한다. 분석 대상에서 제외된 사용자도 어떤 기준으로 제외했는지 남겨야 한다.

실무 보고서에는 관찰 종료와 자료 추출 시각을 함께 적는다. 늦게 전송된 사건이 있다면 같은 관찰 기간을 사용해도 추출 시점에 따라 결과가 달라질 수 있다. 이 장의 자료는 관찰 종료 전의 관련 사건이 모두 수집되었다고 가정한다. 실제 서비스에서는 이 가정을 수집 상태와 처리 지연으로 검토한다.

5.5. 우측 검열과 분석 대상

사건 발생까지의 시간을 분석할 때는 관찰 종료 시점에도 사건이 발생하지 않은 사용자가 있을 수 있다. 예를 들어 30일간 계약을 추적했지만 해지가 발생하지 않았다면, 해지까지의 시간이 적어도 관찰 기간보다 길다는 정보를 갖는다. 이러한 형태를 우측 검열이라고 한다. Kaplan–Meier 방법은 불완전하게 관찰된 사건 시간 자료로 생존확률을 추정하는 방법이다. NIST의 검열 설명, Kaplan–Meier 설명.

적용하려면 무엇의 발생 시각을 분석할지 먼저 정해야 한다. ‘첫 복귀까지 걸린 시간’을 분석한 결과와 ‘D7에 한 번 이상 사용했는지’의 결과는 다르다. 따라서 미완료 D7을 생존분석으로 처리하려면 추정하려는 대상을 별도로 설계해야 한다. 이 장에서는 미래 행동을 추정하지 않고, D7 전체의 관찰이 끝난 사용자의 기록으로 비율을 계산한다.

6.1. 계약형 서비스의 유지율

구독형 서비스에서는 해지나 갱신 여부를 통해 계약 관계의 종료를 관찰할 수 있다. 반면 비계약형 쇼핑몰에서는 구매가 한동안 없다는 정보만으로 고객 관계가 영구적으로 종료되었는지 알기 어렵다. 이 차이는 고객의 유지와 미래 가치를 분석할 때 적용할 모델의 선택에 영향을 준다. Fader·Hardie의 논고에서도 계약형·비계약형 상황을 구별하고 재구매와 관계의 생존을 구분한다. CLV 공식에 관한 논고, 2~4쪽.

최초 가입자 100명 중 1개월 말에 80명, 2개월 말에 72명의 계약이 유지되었다고 하자. 이 예제에서는 첫 계약이 종료된 뒤의 재가입을 별도 관계로 취급한다.

2개월째 조건부 유지율은 직전 월말의 80명을 기준으로 한 72/80 = 90%다. 같은 기간의 해지율은 8/80 = 10%다. 최초 100명 가운데 2개월 말까지 남은 비율은 72/100 = 72%이며, 각 기간의 조건부 유지율을 곱한 80% × 90%와 같다. 보고서에는 ‘2개월째 조건부 유지율’과 ‘가입 후 2개월 누적 유지율’을 구별해 적어야 한다. 고객 유지 모델의 설명, 1~3쪽.

그림 13-6의 왼쪽은 첫 계약이 유지된 비율이고 오른쪽은 예제 A의 일별 회고 완료 비율이다. 첫 계약이 종료된 사용자는 왼쪽 집단에서 제외된다. 오른쪽에서는 D6에 사용하지 않은 사람이 D7에 완료할 수 있으므로 일별 비율이 다시 상승할 수 있다. 따라서 일별 미사용을 계약 해지와 동일하게 처리해서는 안 된다. 두 패널은 대상과 시간 단위도 다르다.

6.2. 휴면과 재활성의 운영 기준

반복 이용 서비스에서는 최근 이용일을 기준으로 휴면 상태를 정의할 수 있다. 예를 들어 ‘최근 30일 동안 이용 기록이 없음’을 휴면으로 정하면, 이후 다시 이용한 사람을 재활성 사용자로 분류할 수 있다. 이때 30일은 서비스의 이용 주기와 운영 목적에 따라 선정한 기준이다.

휴면 기준을 30일에서 60일로 변경하면 같은 자료에서도 휴면 사용자 수가 줄어든다. 이러한 정의 변경은 기능 개선과 구분하여 관리한다. 세무나 이사처럼 필요가 발생하는 간격이 긴 서비스에서는 사용자의 실제 필요 주기를 검토한 뒤 기간을 정해야 한다.

구독 서비스에서도 해지 신청일, 유료 이용 종료일, 실제 사용 종료일은 다를 수 있다. 어떤 시각을 계약 종료로 처리할지, 유예 기간과 재가입을 어떻게 분류할지를 운영 정책과 데이터 정의에 맞춰 정한다. 계약은 유지되지만 이용이 적은 고객을 파악하려면 계약 유지율과 행동 리텐션을 함께 봐야 한다. 매출 유지율을 사용하는 경우에는 증액·감액도 별도로 반영된다.

6.3. DAU/MAU와의 차이

특정 일의 DAU를 해당 월의 MAU로 나누면, 월간 활성 사용자 중 그날 활동한 사용자의 비중을 구한다. 이는 이용 빈도를 파악하는 단서로 사용할 수 있다. 다만 시작 집단을 가입 시점별로 고정하지 않으므로, 지난달 가입자가 얼마나 다시 이용했는지는 이 비율만으로 알 수 없다.

신규 사용자와 기존 사용자가 모두 활성 사용자에 포함될 수 있다는 점도 고려해야 한다. 신규 유입이 늘어난 시기의 DAU/MAU 변화를 기존 고객의 재이용 개선으로 바로 해석하기는 어렵다. 기간 평균 DAU를 쓰는 등 계산 관행도 다를 수 있으므로, 같은 이름의 지표라도 분자와 기간 정의를 확인한다.

일평균 DAU를 사용하는 정의라면 활성 일수와 연결해 읽을 수 있다. 독립 교육용 예에서 30일 동안 같은 인정 행동을 사용하고, 일평균 DAU가 200개 계정, 그 달 MAU가 1,000개 계정이면 비율은 20%다. 일간 활성 계정을 합친 6,000계정·일을 MAU로 나누면 월간 활성 계정당 평균 활성 일수는 6일이다. 한 번도 활동하지 않은 등록 계정은 MAU 분모에 없고, 하루의 활동 횟수나 과업의 품질도 이 값에는 나타나지 않는다.

7.1. 개편 전후의 집단 비교

예제 C는 온보딩 변경 전후에 가입한 각 200명의 자료다. 모든 사용자의 D7 관찰이 끝났고, 두 기간에 동일한 이벤트와 측정 기준을 적용했다. 가입 설문에서는 온보딩을 경험하기 전부터 주간 회고 습관이 있었는지를 확인했다.

전체 D7은 35%에서 55%로 상승했지만, 습관이 있던 집단은 80%에서 70%로, 없던 집단은 20%에서 10%로 하락했다. 그림 13-7의 왼쪽을 보면 습관이 있는 사용자의 구성비가 25%에서 75%로 증가했다. 이 집단은 변경 후에도 상대적으로 높은 완료 비율을 보이므로, 구성비 증가가 전체 결과에 반영된다.

전체 비율은 각 집단의 비율에 사용자 구성비를 가중하여 계산한다.

변경 전 = (50/200 × 80%) + (150/200 × 20%) = 35%
변경 후 = (150/200 × 70%) + (50/200 × 10%) = 55%

집단별 비교와 집계된 비교의 방향이 뒤집히는 이러한 현상은 심프슨 역설의 한 형태다. 이 사례에서 전체 가입자의 완료 비율이 높아졌다는 보고는 맞다. 다만 온보딩의 성과를 평가하려면 사용자 구성의 변화와 집단 내부의 하락을 함께 설명해야 한다.

7.2. 구성비를 고정한 비교

구성비의 영향을 검토하는 방법으로 두 기간에 동일한 가중치를 적용할 수 있다. 변경 전의 구성비인 ‘습관 있음 25%, 없음 75%’를 기준으로 변경 후 결과를 다시 계산하면 다음과 같다.

변경 후의 표준화 비율 = (25% × 70%) + (75% × 10%)
                     = 25%

이전 구성비를 유지한 비교에서는 35%에서 25%로 하락한다. 이러한 표준화는 선택한 특성의 구성 차이를 일정하게 두고 결과를 살펴보는 방법이다. 기준 구성비는 분석 목적에 따라 정하고 보고서에 명시한다.

표준화 후에도 같은 집단 안의 유입 의도, 가입 시기, 이용 환경 등이 달라졌을 수 있다. 따라서 위의 10%p 차이를 온보딩이 일으킨 효과로 확정할 수는 없다. 개편의 원인 효과를 평가하려면 전후 비교에 남아 있는 차이를 검토하고, 가능한 경우 동일 기간의 무작위 비교를 설계한다.

7.3. 구성 변화와 획득 전략의 평가

변경 후 집단별 비율을 70%와 10%로 고정하고, 습관이 있는 집단의 비중을 w라고 두면 전체 비율은 w × 70% + (1−w) × 10%다. 이 비중이 25%, 50%, 75%일 때 전체는 각각 25%, 40%, 55%가 된다. 열람판에서는 구성비를 조절하며 이 관계를 확인할 수 있다.

적합한 사용자를 더 많이 확보한 결과로 구성비가 달라졌다면 획득 전략의 성과로 검토할 여지가 있다. 이 경우에는 유입량, 획득 비용, 이후 이용 결과를 함께 분석해야 한다. 반면 온보딩의 개선 여부는 유입 구성의 변화를 별도로 고려한 비교가 필요하다. 이 자료만으로 구성 변화의 원인까지 확인되지는 않으므로, 관련 캠페인과 유입 경로를 추가로 검토한다.

세그먼트의 구분 시점도 중요하다. 개편된 온보딩을 완료한 사용자만 비교하면, 개편 자체가 비교 대상에 들어올 조건을 바꿀 수 있다. 예제에서는 개편을 경험하기 전의 습관을 사용했다. 이 특성이 모든 차이를 통제하는 것은 아니지만, 개편 이후의 행동으로 대상을 선택하는 문제는 피할 수 있다.

7.4. 표본 규모와 비교의 한계

사용자 수가 적으면 한 명의 결과가 비율에 미치는 영향이 크다. 예제 A의 분모 8명에서는 한 명이 12.5%p를 움직이고, 예제 C의 분모 200명에서는 한 명이 0.5%p를 움직인다. 예제 B의 한 명짜리 코호트가 100%라는 이유만으로 더 우수한 결과라고 판단하기 어려운 이유다.

실제 성과 비교에서는 분모와 관찰 기간을 제시하고, 표본의 변동성과 선정 과정을 검토한다. 같은 팀에 속한 사용자처럼 행동이 서로 관련되어 있다면 사용자 수만으로 독립적인 정보량을 판단하기도 어렵다. 이 장의 자료는 계산 구조를 설명하기 위한 것이며, 검정력이나 유의성을 평가할 근거로 사용하지 않는다.

7.5. 장기 이용자 집단의 해석

같은 집단을 오래 추적하는 과정에서도 구성이 달라질 수 있다. 해지 성향이 높은 사람이 먼저 떠나면 남은 집단의 평균 조건부 유지율은 높아질 수 있다. Fader·Hardie의 모델은 개인별 유지 성향이 변하지 않는 경우에도 고객 간 이질성으로 이런 현상이 나타날 수 있음을 설명한다. 저자 원고, 6~9쪽.

따라서 장기 이용자의 높은 유지율을 분석할 때는 이용 경험의 개선과 이용자 선택 과정을 함께 검토해야 한다. ‘오래 이용하게 하면 누구나 같은 유지율에 도달한다’는 처방을 내리려면 추가 근거가 필요하다. 장기 이용자에게 공통으로 관찰되는 행동은 후속 조사의 단서로 삼고, 해당 행동을 유도하는 개입의 효과는 따로 평가한다.

8.1. 분석 결과와 후속 업무의 연결

리텐션 분석의 결과는 수정할 기능, 추가 조사, 다음 평가 일정으로 구체화해야 한다. 이를 위해서는 지금 해결할 문제가 집계 기준인지, 관찰 기간인지, 이용 과정인지 구분할 필요가 있다. 서로 다른 문제를 모두 ‘리텐션 개선’이라는 하나의 업무로 묶으면 담당자와 완료 조건을 정하기 어렵다.

그림 13-8은 분석 과정에서 확인할 항목과 후속 업무를 정리한 것이다. 이벤트 정의가 달라졌다면 재집계를 먼저 수행하고, 관찰 기간이 부족하다면 평가 시점을 조정한다. 비교 집단이 바뀌었다면 집단별 현황을 검토한다. 이후 사용자 조사와 비교 실험을 통해 개선 방향을 구체화할 수 있다.

계측 점검은 개발·분석 담당자와, 이용 과정의 검토는 기획·디자인 담당자와 함께 진행할 수 있다. 실제 역할 분담은 조직에 맞추되, 업무별 담당자와 산출물을 명시한다. 예를 들어 ‘데이터 확인’이라는 업무는 완료 여부가 모호하지만 ‘동일 이벤트 정의로 두 기간을 다시 집계하고 차이의 원인을 기록한다’는 업무는 검토할 결과가 분명하다.

8.2. 사용자 조사 범위

‘주간회고’의 조사 대상에는 완료자와 미완료자를 모두 포함한다. 완료자에게는 회고 내용이 다음 학습 계획에 어떻게 사용되었는지 확인한다. 미완료자에게는 회고할 필요가 없었는지, 다른 방법을 사용했는지, 작성 과정에 어려움이 있었는지를 구분해서 묻는다.

질문은 최근의 구체적인 이용 상황을 중심으로 구성한다. 예를 들면 ‘지난주 학습을 정리한 방법’, ‘마지막으로 작성하다 중단한 부분’, ‘작성한 계획을 다시 확인한 시점’을 물을 수 있다. 이러한 질문은 서비스 밖의 대안과 이용 중의 제약을 파악하는 데도 도움이 된다. 여기서 제시한 질문은 조사 설계 예시이며, 실제 인터뷰 결과는 아니다.

조사에서 확인된 내용은 개선 가설과 측정 항목으로 정리한다. 예를 들어 사용자가 다음 주 계획을 작성하는 단계에서 어려움을 겪는다는 자료가 확보되면, 그 단계의 안내를 개선하고 작성 완료와 이후 계획 활용을 함께 평가하는 과제를 검토할 수 있다. 이 가설의 효과는 이후 비교를 통해 확인한다.

8.3. 개편 효과의 평가 계획

개편 효과를 검토하려면 적용 대상, 비교 집단, 주요 결과, 관찰 기간을 출시 전에 정하는 것이 좋다. 개인 단위의 서비스에서는 적격 신규 가입자를 기존 온보딩과 개편 온보딩에 무작위 배정하는 방안을 고려할 수 있다. 평가할 때는 온보딩 완료 여부와 관계없이 배정된 집단을 기준으로 비교하여, 개편 이후의 행동이 대상 선정 조건이 되지 않도록 한다.

주간 이용을 목표로 한다면 둘째 주 완료 비율을 주요 결과 후보로 둘 수 있다. 알림 해제, 작성 부담, 회고의 유용성도 함께 검토한다. 필요한 표본과 관찰 기간은 기대 효과와 변동성을 고려해 별도로 산정한다. 결과가 나온 뒤 더 유리한 지표로 평가 기준을 바꾸지 않도록 사전에 기록해 두어야 한다.

8.4. 분석 보고서 예시

예제 C의 결과를 검토 회의에 제출한다면 다음과 같이 정리할 수 있다.

검토 안건: 온보딩 개편 이후 반복 이용의 변화와 확대 적용 여부.
분석 결과: 동일한 D7 정의를 적용한 변경 전후 각 200명에서 완료 비율이 35%에서 55%로 상승했다. 다만 가입 전 회고 습관이 있는 사용자의 구성비가 25%에서 75%로 늘었고, 습관 유무로 나눈 두 집단의 완료 비율은 각각 10%p 하락했다. 이전 구성비를 적용한 변경 후 비율은 25%다.
검토 의견: 전체 상승에는 사용자 구성 변화가 반영되어 있어 개편 효과를 별도로 확인해야 한다. 집단 내부의 하락도 확인되지만, 현재의 전후 자료로는 그 원인을 개편으로 확정하기 어렵다. 확대 적용 판단을 위해 추가 비교를 진행한다.
후속 업무: 동일 기준의 재집계와 유입 구성을 확인하고, 습관 유무·완료 여부별 사용자 조사를 진행한다. 조사 결과에 따라 개입 가설을 정리하고 기존·개편 온보딩의 비교를 설계한다.
재검토 조건: 사전에 정한 관찰 기간이 끝나면 주요 결과와 부작용을 함께 검토한다. 집계 오류가 발견되면 기존 보고 수치를 정정하고, 사용자에게 해로운 결과가 확인되면 적용 범위의 조정을 우선 검토한다.

실제 업무 문서에는 후속 업무의 담당자와 기한, 다음 회의에서 확인할 자료를 추가한다. 일정은 관찰 기간과 필요한 표본을 고려해 정한다. 보고서 제출일에 맞추기 위해 아직 끝나지 않은 코호트까지 확정값으로 집계하지 않도록 관리해야 한다.

리텐션은 담당자가 바뀌거나 서비스 정책이 개편된 뒤에도 같은 의미로 해석할 수 있어야 한다. 이를 위해 지표 정의서와 변경 이력을 관리한다. 이벤트 이름, 사용자 식별, 기간, 제외 기준 중 하나라도 바뀌면 이전 보고서와의 비교 가능성을 검토한다.

주간 이용 지표의 정의는 다음과 같이 남길 수 있다.

지표명: 가입자 둘째 주 회고 완료율.
대상과 기준 시각: 최초 가입자 전체, 사용자별 최초 가입 시각.
측정 행동과 기간: 가입 후 [7일,14일)에 회고 저장이 한 번 이상 성공한 사용자.
분모: 해당 기간 전체의 관찰이 끝난 고유 사용자.
기록 항목: 시간대, 관찰 종료, 자료 추출 시각, 사용자 식별과 제외 기준, 이벤트 정의의 버전.
활용: 가입 후 주간 기능 이용의 현황을 파악하고 개선 대상을 선정한다. 학습 결과와 개편의 원인 효과는 별도의 조사·비교 자료로 검토한다.

다른 서비스의 사례를 참고할 때도 같은 항목을 확인한다. 특정 기업의 리텐션 수치만 제시되어 있고 대상 사용자나 복귀 행동이 빠져 있다면, 자사 목표치를 정하기 위한 자료로는 부족하다. 기존 사례는 측정 목적과 조건까지 확인한 뒤 서비스의 이용 주기에 맞게 적용해야 한다.

이 장에서 다룬 방법의 학술적 배경도 이러한 검토에 활용할 수 있다. 코호트는 비교 집단을, 생존분석은 사건과 관찰 기간을, 고객 유지 연구는 관계의 지속과 집단 차이를 검토하는 데 필요한 관점을 제공한다. 새로운 프레임워크나 분석 도구를 도입할 때는 이 가운데 어떤 업무를 지원하는지 확인하고, 지표 정의·원자료·분석 결과를 팀이 검토할 수 있도록 남긴다.

각 문제는 계산 결과와 함께 적용한 기준, 결과의 해석, 후속 업무를 서술하도록 구성했다. 해설과 평가 기준을 참고해 풀이를 확인한다.

문제 1. 사용자 수와 사건 수

예제 A를 본 동료가 “D7 회고 완료가 세 번이므로 리텐션은 37.5%”라고 말했다. 분자와 분모의 단위가 어떻게 다른지 설명하고, 바른 사용자 리텐션을 계산하라. u02의 정확히 8일째 완료가 포함되는지도 설명하라.

문제 2. 측정 기간의 변경

PM이 D7 대신 둘째 주 비율을 쓰자 “25%에서 62.5%로 개선되었다”고 발표하려 한다. 어떤 문장으로 고쳐야 하는가? 이 서비스에 둘째 주 지표가 유용할 수 있는 이유와, 여전히 입증하지 못한 것을 하나씩 써라.

문제 3. 관찰 기간과 집계 대상

예제 B에서 현재 계산 가능한 D7 비율, 미관찰 인원, 여섯 명 전체의 창이 끝나는 시각을 구하라. 전체 최종 결과의 가능한 범위가 통계적 신뢰구간이 아닌 이유도 설명하라.

문제 4. 사용자 구성비의 표준화

예제 C의 변경 후 비율을 변경 전 구성비로 표준화하라. 전체 비율과 표준화 비율이 각각 무엇을 나타내는지 설명하고, 개편의 원인 효과를 판단하기 위해 추가로 필요한 조건을 서술하라.

문제 5. 계약 유지와 행동 복귀

100명 중 1개월 말에 80명, 2개월 말에 72명의 계약이 남았다. 2개월째 조건부 유지율, 그 기간의 해지율, 최초 집단의 2개월 누적 유지율을 구하라. D6에 오지 않았다가 D7에 오는 사용자에게 이 계약 생존의 곱셈을 그대로 적용할 수 있는가?

문제 6. 분석 대상과 기준 시각의 변경

예제 A에서 가입 후 첫 24시간에 회고를 완료한 사용자만 남기고, 기준 시각은 여전히 가입 시각으로 둔다. 이 집단의 D7은 얼마인가? 이것을 가입자 전체의 D7과 직접 성과 비교할 수 있는가? ‘첫 회고 이후의 반복’ 지표를 만들려면 무엇을 추가로 바꿔야 하는가?

문제 7. 분석 결과에 따른 후속 업무

알림 강화 뒤 앱 열기 리텐션이 올랐다. 회고 완료는 그대로이고 알림 해제는 늘었다. 이 정보로 지지할 수 있는 관찰 두 가지, 아직 모르는 것 한 가지, 후속 조사 한 가지를 써라. 실험 여부는 제시되지 않았다.

문제 8. 분석 보고서 작성

예제 C를 바탕으로 다섯 문장 이내의 메모를 써라. 관찰값, 정의·관찰 조건, 인과 해석의 한계, 후속 행동, 결론을 바꿀 증거를 포함하라. 후속 업무는 담당자가 수행할 작업을 알 수 있도록 구체적으로 작성하라.

문제 9. 코호트별 비율의 집계

그림 13-5에서 D2 전체 비율을 계산하라. 세 행의 비율을 단순 평균하면 왜 다른 답이 나오는가? D2와 D7의 전체 비율을 잇는 선이 같은 여섯 명을 계속 추적한 곡선인지도 설명하라.

문제 10. 주차별 이용의 지속성

예제 A에서 셋째 주 [14일,21일) 회고 완료 비율을 계산하라. D7~D20 복귀가 75%라는 사실과 함께 보고할 때 ‘여섯 명이 매주 회고했다’라는 문장을 어떻게 고쳐야 하는가? 그림 13-3에서 어느 사용자의 어느 점을 보면 답을 확인할 수 있는가?

이 장의 계산과 PM 판단 메모는 교육용 창작이다. 문헌의 실제 실험 결과나 기업 사례로 제시하지 않는다. 문헌 근거는 다음 범위에서 사용했다.

실습 과제: 담당 서비스의 리텐션 지표 정의서와 분석 보고서를 작성한다. 정의서에는 대상·행동·기간·집계 기준을, 보고서에는 관찰 결과·해석·후속 업무·재검토 조건을 포함한다.