활성화의 정의와 첫 가치 경험

1.1 서비스가 약속한 결과

가입은 계정과 권한이 준비되었다는 뜻이다. 회고 서비스가 약속하는 결과는 사용자가 학습을 정리하고 다음 계획을 활용하는 데 있다. 따라서 가입률만으로 제품의 첫 경험을 평가하기 어렵다. 작성 화면까지 왔지만 무엇을 적어야 할지 몰라 멈춘 사용자와 회고를 저장하고 계획을 가져간 사용자는 서로 다른 상태다.

활성화 후보를 정할 때는 08장의 경험 지도에서 가치가 전달되는 구간을 찾는다. 사용자가 해결하려던 일이 무엇인지, 서비스가 어떤 결과를 제공했는지, 그 결과를 이용자가 확인하거나 활용했는지 검토한다. 이후 그 경험 중 기록으로 관찰할 수 있는 부분을 선택한다.

주간회고에서는 ‘회고 저장 후 계획 열람’을 후보로 두었다. 저장은 결과물이 생성되었음을, 계획 열람은 사용자가 결과를 다시 확인했음을 나타낸다. 두 사건이 있다고 학습 계획이 유용했다고 단정할 수는 없다. 내용이 비어 있거나 자동 생성된 문장을 읽지 않았을 수도 있기 때문이다. 이런 내용상의 적합성은 10장의 과업 평가와 사용자 조사로 보완한다.

1.2 한 번의 사건과 경험 상태

서비스가 간단하다면 첫 성공 사건이 좋은 후보가 될 수 있다. 파일 변환 서비스의 첫 변환 완료가 그 예다. 협업 도구에서는 조직 생성만으로는 협업 경험을 확인하기 어려우므로 다른 구성원의 참여나 공동 작업까지 관찰할 수 있다. 어떤 경우든 행동 수를 늘리는 조건은 측정하려는 경험과 연결되어야 한다.

활성화 기준에 너무 많은 행동을 묶으면 해석이 어려워진다. 조건을 달성하지 못했을 때 어떤 부분을 개선해야 하는지 알기 어렵고, 이미 가치를 얻은 이용자도 미달성으로 분류될 수 있다. 처음에는 사용자 결과를 설명하는 소수의 후보를 세우고, 각 후보의 의미와 누락 범위를 비교하는 편이 검토하기 쉽다.

2.1 심리적 경험과 관찰 신호

Aha moment는 제품의 유용함을 이해하는 순간을 표현하는 실무 용어로 자주 쓰인다. 그러나 사용자가 깨달음을 얻었는지는 로그만으로 직접 관찰하기 어렵다. 첫 주 메시지 수나 친구 연결 수를 분석했다면 측정한 것은 행동 패턴이다. 인터뷰에서 확인한 가치 인식과 로그에서 찾은 패턴을 같은 종류의 증거처럼 다루지 않는다.

이 구분은 용어를 배제하기 위한 것이 아니다. 기획 문서에서 “사용자가 가치를 느꼈다”라고 쓰려면 어떤 근거로 그렇게 판단했는지 밝혀야 한다는 뜻이다. 사용자의 진술인지, 과업 성공인지, 후속 이용과 관련된 행동인지 표시하면 다른 담당자도 정의의 강도를 이해할 수 있다.

2.2 Slack 사례에서 확인할 범위

Slack 창업자의 First Round 인터뷰에는 팀의 누적 메시지 2,000개가 이용 지속을 살피는 신호로 등장한다. 같은 양의 메시지에 도달하는 데 필요한 시간은 팀 규모에 따라 달라진다고 설명한다. 이 사례의 단위는 팀이며, 모든 신규 사용자에게 일주일 안에 2,000개 메시지를 쓰게 했다는 실험 결과가 아니다. 창업자 인터뷰

다른 제품에 이 수치를 적용하려면 먼저 팀 규모, 메시지의 기능, 이용 기회, 관찰 기간을 검토해야 한다. 팀원이 많은 조직은 동일한 협업 품질에서도 메시지가 빨리 쌓일 수 있다. 따라서 숫자를 그대로 목표로 옮기면 제품 사용의 의미보다 조직 규모를 구분하는 기준이 될 수 있다. 사례는 후보를 찾는 관점을 제공하지만 각 서비스의 임계값을 대신 정해 주지는 않는다.

이 장에서는 활성화의 기원을 게슈탈트 심리학이나 특정 습관 모형의 직접 계승으로 단정하지 않는다. 행동의 관찰, 가치 경험의 해석, 장기 이용의 예측은 관련된 질문이지만 동일한 학술 개념은 아니다. 직접적인 영향 관계가 확인되지 않았다면 개념적 연결과 역사적 계승을 구별해 적는다.

3.1 시작 사건과 두 관찰 구간

AC에는 24명의 계정이 있다. 20명은 8월 1일 00시에, 4명은 8월 20일 00시에 이용을 시작했다. 분석 종료는 8월 22일 00시이며 시간대는 Asia/Seoul이다. 실제 서비스에서는 시작 시각이 사람마다 다르지만, 계산을 명확히 하기 위해 예제의 시작 시각을 맞췄다.

활성화 후보는 시작 이후 0시간 이상 168시간 미만에 회고를 저장하고 그 이후 계획을 연 경우다. 후속 이용은 336시간 이상 504시간 미만에 회고를 다시 저장한 경우로 정한다. 두 기간을 분리하여 후보 행동 이후의 결과를 관찰한다. 168시간에 정확히 발생한 계획 열람은 첫 구간에 포함하지 않고, 336시간에 발생한 후속 저장은 결과 구간에 포함한다.

3.2 관찰 완료와 판정 대기

8월 1일 시작한 20명은 분석 시점에 504시간이 경과했으므로 두 구간의 관찰이 끝났다. 8월 20일 시작한 4명은 48시간만 지났다. 이들은 첫 주 활성화 여부도 아직 확정할 수 없다. 첫 주에 후보 행동이 없다는 현재 기록을 최종 미달성으로 처리하면 남은 기회를 무시하게 된다.

이 장의 후보 비교는 후속 이용까지 관찰한 20명을 대상으로 한다. 활성화율만 운영상 보고할 때에는 168시간 관찰을 완료한 집단을 사용할 수 있다. 두 분석의 자격 조건이 항상 같을 필요는 없다. 무엇을 비교하는지에 따라 필요한 관찰 기간을 명시해야 한다. AC에서는 두 조건을 만족하는 집단이 우연히 같은 20명이다.

새로운 4명을 실패로 넣으면 활성화율은 8/24 = 33.3%가 된다. 관찰 완료 집단에서는 8/20 = 40%다. 두 수치의 차이는 제품 경험의 변화에서 나온 것이 아니라 분모 자격을 다르게 처리한 결과다. 보고 화면에는 관찰 완료 20명과 판정 대기 4명을 함께 표시한다.

4.1 교차표를 먼저 만든다

관찰 완료 20명 중 8명이 첫 주에 회고를 저장한 뒤 계획을 열었다. 이 중 6명은 정해진 후속 구간에 회고를 저장했고 2명은 저장하지 않았다. 후보를 달성하지 않은 12명 중에서는 3명이 후속 구간에 저장했다.

후보 달성 집단의 후속 저장률은 75%, 미달성 집단은 25%다. 관찰된 차이는 50%포인트다. 비율로는 세 배이지만, 표본이 작고 집단을 무작위로 나누지 않았으므로 개선 효과의 크기로 사용하지 않는다. 이 표가 직접 보여주는 것은 AC 표본 안에서 두 행동이 함께 나타난 정도다.

4.2 놓치는 사람과 잘못 기대하는 사람

후보를 달성한 8명 모두가 후속 이용을 한 것은 아니다. 2명은 결과 구간에 저장하지 않았다. 반대로 후속 이용자 9명 가운데 3명은 후보를 달성하지 않았다. 이 세 명에게는 다른 가치 경험 경로가 있었을 수 있다. 계획을 앱 밖에서 사용했거나 첫 주에는 시간이 없어 나중에 회고를 시작했을 가능성도 검토 대상이다.

후보를 후속 이용의 예측 신호로 보면, 달성자 중 결과가 나타난 비율은 6/8 = 75%이고 실제 후속 이용자 중 후보가 포착한 비율은 6/9 = 66.7%다. 각각 예측의 정밀도와 재현율에 대응시켜 해석할 수 있다. 여기서는 복잡한 모형 없이 후보 기준 하나를 이진 분류 규칙으로 본 것이다.

두 수치는 업무 목적에 따라 의미가 다르다. 지속 이용 가능성이 높은 소수에게 후속 제안을 하려는 경우와, 도움이 필요한 신규 이용자를 넓게 찾으려는 경우에 적절한 기준이 같지 않을 수 있다. 온보딩 완료 조건을 정할 때에는 수치가 좋은지뿐 아니라 누구에게 추가 부담을 줄지도 검토한다.

5.1 같은 표본에서 세 후보를 평가한다

AC에서는 ‘첫 저장’, ‘저장 후 계획 열람’, ‘3회 이상 저장과 계획 열람’을 비교한다. 마지막 후보는 첫 주에 3회 이상 저장하고 첫 저장 이후 계획을 연 경우다. 세 후보는 좁아지는 관계로 구성했으며 평가 대상과 후속 이용 구간은 동일하다.

3회 저장 조건은 달성자를 절반으로 줄이지만 그 집단의 후속 저장률은 75%로 같다. 이 표본에서는 더 엄격한 조건을 선택할 근거가 충분하지 않다. 저장 횟수 자체가 제품 가치에 중요하다는 별도의 근거가 없다면, 온보딩에서 세 번의 작성을 요구하는 것은 사용자의 부담만 늘릴 수 있다.

5.2 후보 탐색과 검증을 분리한다

여러 임계값을 살펴본 뒤 가장 좋아 보이는 것을 고르면 우연히 유리한 기준이 선택될 수 있다. 같은 표본에서 기준을 찾고 그 성과를 확정하면 실제 운영에서 재현되지 않는 패턴을 과대평가하기 쉽다. AC의 표는 후보 탐색 결과이며 검증 성과라고 표시하지 않는다.

실무에서는 후보를 정한 시점과 사용한 자료를 기록하고, 이후에 유입된 별도 코호트에서 같은 정의를 적용한다. 신규 코호트도 필요한 관찰 기간을 마친 뒤 비교한다. 전체 비율뿐 아니라 기기·이용 목적·팀 규모 같은 중요한 집단에서 관계가 유지되는지 확인한다. 새로운 자료에서 관계가 약해지면 계측 변화와 모집단 변화부터 점검한다.

5.3 후보의 설명 가능성

후보를 선택할 때에는 숫자와 이용 과정의 설명을 함께 검토한다. 계획 열람이 중요한 이유가 사용자가 다음 행동을 확인하기 때문인지, 화면 이동이 쉬운 집단이 우연히 많이 눌렀기 때문인지 조사해야 한다. 단순 클릭 수가 높게 예측하더라도 사용자의 목표와 연결되지 않으면 제품 개선안을 만들기 어렵다.

개선에 쓰려면 해당 경험을 방해하는 요소를 찾아야 한다. 계획의 위치를 찾지 못하는 경우에는 정보 구조를 고칠 수 있고, 계획 내용이 현실적이지 않은 경우에는 생성 방식이나 입력 안내를 손봐야 한다. 같은 열람 지표라도 원인에 따라 해결 과제가 달라진다.

6.1 무엇까지 걸린 시간인가

Time to Value는 정한 시작점에서 가치 경험의 관찰 기준까지 걸린 시간이다. 가치 자체를 직접 측정한 시간이 아니라면 보고서에 기준 사건을 함께 적는 편이 정확하다. 이 장에서는 ‘이용 시작부터 첫 저장 후 계획 열람까지의 시간’을 사용한다.

시작을 가입 완료로 잡을지, 첫 과업 시작으로 잡을지에 따라 시간이 달라진다. 가입 후 며칠 동안 이용 기회가 없었던 사용자는 첫 번째 정의에서는 긴 시간을 가지지만 실제 작업 시간은 짧을 수 있다. PM은 전체 도달 시간과 과업 수행 시간을 구분해서 어떤 문제를 해결하려는지 정한다.

6.2 달성자만의 시간 요약

AC의 달성자 8명이 후보에 도달한 시간은 1·2·4·8·24·48·72·120시간이다. 중앙값은 8시간과 24시간의 평균인 16시간이다. 이 값은 달성자 8명에 한정된다. 관찰 완료 20명 전체가 대체로 16시간 만에 가치를 경험했다고 설명하면 범위를 넓혀 해석한 것이다.

나머지 12명은 첫 168시간 안에 후보를 달성하지 않았다. 이들의 시간을 0으로 넣거나 168시간에 달성한 것으로 처리하면 안 된다. 관찰이 끝났을 때까지 사건이 일어나지 않았다는 정보를 따로 남긴다. 시간 분석을 확장하려면 이런 관찰 종료를 처리하는 생존분석 등이 필요하며, 단순한 완료자 중앙값과 구별한다.

보고서에는 활성화율 40%, 달성자 시간 중앙값 16시간, 첫 주 미달성 12명을 함께 제시한다. 온보딩 개편 후 빠른 사용자만 남았다면 달성자 시간은 짧아져도 전체 활성화율은 낮아질 수 있다. 도달 비율과 도달 시간을 동시에 보는 이유다.

7.1 공통 원인과 자기 선택

학습 동기가 높은 사용자는 회고를 작성하고 계획을 읽으며 나중에도 서비스를 이용할 가능성이 있다. 이때 학습 동기는 후보 행동과 후속 이용의 공통 원인일 수 있다. 계획 열람을 늘렸다는 사실만으로 학습 동기와 동일한 결과를 얻을 수는 없다.

이용 환경도 영향을 줄 수 있다. 이미 학습 자료를 정리해 둔 사용자, 충분한 시간을 가진 사용자, 팀의 지시로 가입한 사용자는 같은 화면을 보더라도 행동 기회가 다르다. 분석에서 관찰 가능한 차이를 비교할 수는 있지만, 모든 차이를 기록했다고 가정하기는 어렵다.

Shmueli의 논문은 통계 모형의 설명 목적과 예측 목적을 구별한다. 여기서는 공개 초록의 구분을 활성화 후보 검토에 연결한다. 후보가 이후 행동을 잘 예측하는지와 그 후보 행동에 개입하면 결과가 바뀌는지는 다른 검증 과제다. 논문 서지·초록

7.2 결과를 미리 포함한 후보

‘첫 달에 5번 이상 사용’을 후보로 두고 같은 첫 달의 재이용을 결과로 삼으면 후보 정의에 결과의 일부가 들어갈 수 있다. 이 경우 높은 관계가 나와도 초기 시점의 판단에 활용하기 어렵다. 일찍 알아야 하는 신호를 만들면서 나중에야 알 수 있는 정보를 사용한 셈이다.

AC는 첫 주의 후보와 셋째 주의 결과를 분리했다. 실제 분석에서도 후보가 확정되는 시점 이후의 결과를 정의하고, 데이터가 그 시점에 이용 가능했는지 확인한다. 나중에 수정된 결제 상태나 미래 행동을 사용한 특성이 섞이지 않았는지도 검수한다. 이 원칙은 통계 모형을 사용하지 않는 간단한 규칙에도 적용된다.

8.1 사용자 문제에서 개선안을 만든다

계획 열람이 후보로 선정되었다고 해서 모든 사용자에게 강제로 계획 화면을 띄우는 것이 좋은 개선안은 아니다. 화면을 자동으로 열면 열람 이벤트는 증가하지만 사용자가 내용을 이해했는지는 알기 어렵다. 지표 정의가 사용자 선택에 의한 열람을 뜻했다면 계측 의미 자체도 달라진다.

먼저 미달성 집단의 과업을 조사한다. 저장을 마치지 못했는지, 저장은 했지만 다음 계획의 위치를 찾지 못했는지, 결과를 읽어도 도움이 되지 않았는지 구분한다. 각각 작성 지원, 탐색 구조, 결과 품질이라는 다른 개선 과제로 이어진다. 목표는 이벤트 발생을 쉽게 만드는 것과 실제 이용 경험을 개선하는 것을 함께 대조하는 데 있다.

8.2 개선 가설의 작성

가설은 대상, 문제, 변경 내용, 예상 경로, 확인 결과를 포함한다. 예를 들어 “저장 이후 다음 계획을 찾기 어려운 신규 이용자에게 저장 완료 화면의 계획 위치를 명확히 안내하면, 불필요한 탐색이 줄고 계획 활용이 늘어날 것이다”라고 쓸 수 있다. 이 문장은 해결하려는 문제가 무엇인지 드러내므로 조사와 설계 검토가 가능하다.

평가 항목에는 첫 주 후보 달성률뿐 아니라 과업 성공, 내용 이해, 후속 저장, 화면 강제 이동의 불편 등을 포함한다. 지표를 서로 많이 나열하기보다 변경으로 예상되는 좋은 결과와 손상이 우려되는 경험을 선택한다. 효과 검증 방법과 관찰 기간은 출시 전에 정한다.

8.3 대상 범위와 실험 단위

개인용 서비스라면 계정 단위로 변경 경험을 나누는 방식을 검토할 수 있다. 팀 협업 서비스에서는 같은 팀원이 서로 다른 경험을 받으면 결과가 섞일 수 있으므로 조직 단위를 고려해야 한다. 무작위 비교가 가능하더라도 실험 단위와 이용 단위가 맞는지 확인하는 과정이 필요하다.

후속 이용이 셋째 주에 확정되는 설계라면 출시 직후의 클릭률만으로 최종 결론을 내리지 않는다. 초기에 장애와 과업 진행을 점검하고, 충분한 코호트가 관찰을 마친 뒤 후속 결과를 평가한다. 실험의 추정과 불확실성은 18장에서 자세히 다룬다.

저장과 열람이 같은 시각으로 기록될 수 있는 것은 타임스탬프의 해상도 때문이다. 이 예제는 저장 성공이 먼저 확인된 경우 같은 시각의 열람을 허용한다. 실제 서비스에서는 서버 처리 순서나 식별자를 추가로 확인할 수 있다. 단순히 시각만 같다고 모든 사건을 인정하는 규칙으로 확대하지 않는다.

계측 검수에는 자동 진입과 사용자 선택 진입의 구분을 포함한다. 앱 업데이트로 계획 화면이 기본 화면이 되었다면 과거와 같은 이벤트 이름이어도 의미가 달라질 수 있다. 09장의 명세에 진입 경로를 기록하고 이전 정의와 연결 가능한지 검토한다. 정의 변화가 크면 시계열을 분리하거나 구버전과 신버전을 함께 집계하는 기간을 둔다.

기능 채택률과 활성화율을 구분하기

기능 채택률(feature adoption)은 정한 기간에 해당 기능을 사용할 자격과 기회가 있었던 대상 중 정의한 사용 행동을 한 대상의 비율이다. 분자는 기능을 사용한 고유 계정, 분모는 기능에 접근 가능한 적격 계정처럼 맞춘다. 기능을 제공하지 않은 요금제나 아직 노출되지 않은 계정을 분모에 넣으면 채택 기회의 차이를 사용 의향의 차이로 오해할 수 있다. 클릭·저장·완료 중 어떤 행동을 채택으로 인정할지도 정한다.

가입은 관계의 시작, 채택은 특정 기능의 사용, 활성화는 초기 가치 전달을 대변하도록 검토한 상태, 리텐션은 이후 정한 기간의 복귀·유지다. 한 사건이 두 정의에 포함될 수 있지만 그 때문에 개념 전체가 같아지지는 않는다. 13장은 복귀의 관찰 시간을, 02장은 신호와 검토 기준의 대응을 설명한다. 채택률의 상승을 곧 활성화나 유지의 개선으로 보고하지 않는다.

후보: 첫 주 회고 저장 후 계획 열람.

자료: 관찰 완료 20명, 첫 주 관찰 기간이 끝나지 않은 4명은 판정 대기로 분리. 후보 선정과 비교에 같은 자료를 사용했으므로 탐색 분석으로 분류한다.

결과: 후보 달성자 8명 중 후속 저장 6명, 미달성자 12명 중 후속 저장 3명. 달성률 40%, 달성자 도달 시간 중앙값 16시간이다.

판단: 후보는 후속 이용과 관련된 신호로 추가 검토할 가치가 있다. 3회 저장 조건은 포괄 범위를 줄이면서 달성자 후속 저장률을 높이지 못했다.

후속 업무: 독립된 이후 코호트에서 후보를 다시 평가하고, 미달성 후 복귀한 3명의 이용 경로에 대응하는 조사 가설을 만든다. 계획 탐색 개선안의 효과는 별도 비교로 검증한다.

이 보고서에서는 관찰 결과를 개선 효과로 바꾸어 쓰지 않았다. 동시에 분석이 불완전하다는 이유로 모든 업무를 멈추지도 않는다. 후보 검증, 사용자 조사, 장애 수정, 온보딩 설계처럼 현재 근거로 진행할 수 있는 업무를 구분하면 분석과 제품 개발을 함께 진전시킬 수 있다.

활성화와 리텐션은 서로 다른 시간의 이용 경험을 다룬다. 활성화 기준은 시작 경험의 도달을 요약하고, 리텐션은 정해진 후속 기회에 어떤 행동이 이어졌는지 살핀다. 초기 경험이 좋았어도 이후 이용 필요가 없을 수 있고, 첫 주에 늦게 시작한 사용자가 나중에 지속 이용자가 될 수도 있다.

이 장의 후속 저장률은 시작 후 336~504시간이라는 한 구간의 결과다. 여러 주의 복귀 패턴, 관찰되지 않은 미래 기간, 이용 주기별 정의는 13장 「리텐션의 측정과 서비스 개선」에서 자세히 다룬다. 두 장을 연결할 때에는 계정 단위와 시작 사건, 결과 사건, 기간 경계가 일치하는지 먼저 대조한다. 두 장의 교육용 표본은 독립적이므로 수치를 이어 붙이지 않는다.

1. 가입 완료와 활성화 후보를 구별하라. 주간회고에서 저장 후 계획 열람을 후보로 삼은 이유와 이 기록만으로 확인하지 못하는 결과를 설명하라.
2. AC의 관찰 완료자와 판정 대기자를 구분하고 활성화율을 계산하라. 8/24를 확정 활성화율로 보고하면 무엇이 달라지는가.
3. 계획 열람이 시작 후 168시간에, 후속 저장이 336시간과 504시간에 발생했다. 각 사건을 정해진 구간에 포함할지 판정하라.
4. 교차표에서 두 집단의 후속 저장률, 차이, 후보가 포착한 후속 이용자의 비율을 계산하라. 이 차이를 개선 효과라고 쓸 수 있는가.
5. 세 후보 중 3회 저장 조건을 바로 채택하기 어려운 이유를 설명하라. 추가 검증 계획을 작성하라.
6. 달성자 8명의 시간 중앙값을 계산하고, 이 수치를 신규 이용자 전체의 도달 시간으로 보고하는 문장을 수정하라.
7. 신규 사용자에게 계획 화면을 자동으로 띄운 뒤 활성화율이 상승했다. 기존 시계열과 비교하기 전에 확인할 계측·경험·후속 결과를 적어라.
8. 첫 달 총 사용 횟수로 첫 달 재이용자를 찾았다. 초기 온보딩 판단에 사용할 때 생기는 문제와 시간 구간 수정안을 설명하라.
9. 담당 서비스의 활성화 후보를 하나 정하고 정의서·후보 평가·개선 가설을 작성하라. 예측 검증과 개입 효과 검증을 별도 과제로 구분하라.

연습문제 해설로 이동

• S20 · First Round Review, Slack 창업자 인터뷰. 원문. 2,000개 메시지 대목의 단위와 맥락을 확인했다. 인터뷰상의 관찰을 인과 실험으로 제시하지 않았다.
• S48 · Galit Shmueli, 2010. To Explain or to Predict?, Statistical Science 25(3), 289–310. 저자 제출본의 서지·초록. 설명과 예측의 구분을 참고했다. 본문 전체의 모형 절차를 재현한 것은 아니다.
• 자체 자료 AC. 원자료·시간 정의·계산. 후보·교차표·시간 요약·업무 예시는 교재 자체 제작이며 실제 사용자 조사 결과가 아니다.