지표가 보상이 될 때 생기는 일

목표는 조직이 달성하려는 결과다. 고객지원이라면 고객이 겪는 장애를 해소하고 서비스 이용을 회복하도록 돕는 일이다. 목표에는 속도뿐 아니라 해결의 정확성, 반복 부담, 설명의 이해 가능성도 포함된다. 모든 측면을 같은 자료로 직접 관찰하기는 어렵다.

대리지표는 직접 확인하기 어려운 결과를 대신하여 관찰하는 값이다. 티켓 종료 건수는 업무 처리량을 보여주지만 문제 해결을 완전히 대변하지 않는다. 고객이 포기해 응답하지 않아도 종료될 수 있고, 다른 부서로 넘긴 뒤 담당 부서의 처리 건수에서는 빠질 수도 있다. 지표가 잘못되었다고 단정하기 전에 어떤 결과의 어느 부분을 대신하는지 명시해야 한다.

KPI는 중요한 목표의 진행이나 성과를 평가하기 위해 선택한 지표다. 지표의 수학적 종류가 바뀌는 것은 아니다. 같은 종료 건수를 인력 배치용 수요 자료로 쓸 때와 개인별 보너스 기준으로 쓸 때의 차이는 그 숫자가 만들어내는 의사결정에 있다. 보상과 직접 연결하면 담당자는 처리 과정뿐 아니라 사건의 분류·배정·기록에도 더 큰 관심을 갖게 된다.

성과가 나쁜 원인을 지표 담당자 개인에게만 귀속해서는 안 된다. 문의 난도, 배정 방식, 제품 장애, 상담 도구, 타 부서의 응답 속도가 결과에 함께 작용한다. 평가는 지표 수준과 담당자가 한 판단·조치를 구분해서 검토해야 한다.

지표 최적화란 정해진 수치를 개선하도록 행동을 조정하는 일이다. 제품 개선도 여기에 포함된다. 문제는 수치 개선의 경로 가운데 목표를 실현하는 경로와 측정 규칙만 이용하는 경로가 함께 존재한다는 데 있다. 종료 처리 시간을 줄이는 작업과 확인되지 않은 문의를 일찍 닫는 작업은 모두 평균 처리 시간을 낮출 수 있다.

분류 변경은 같은 현실을 다른 항목에 넣는 행위다. 상담 중인 문의를 ‘고객 응답 대기’로 바꾸어 시간 집계에서 제외할 수 있다. 선별은 처리하기 쉬운 고객이나 사건을 우선 선택하는 것이다. 이관은 자신의 책임 경계 밖으로 일을 옮기는 것이다. 이 세 가지가 항상 부당한 행위인 것은 아니다. 실제 응답을 기다려야 하거나 전문 부서의 권한이 필요할 수 있다. 검토할 대상은 업무상 이유와 지표상 이득이 어떻게 구분되어 기록되는가다.

Campbell은 1976년 사회 변화 평가 논의에서 의사결정에 쓰이는 수량 지표가 왜곡 압력을 받을 수 있음을 설명했다. 해당 논의는 사례와 제도에 관한 경고이며 모든 지표가 반드시 실패한다는 수학적 정리가 아니다. 이 교재는 이를 제품 조직의 평가 설계에 적용하는 방법상 참고로 사용한다. Goodhart의 논의와 동일한 원문으로 취급하거나, 현대 KPI의 직접적인 기원을 여기서 도출하지 않는다. Campbell 원문, 지표 왜곡 절 · S30 확인 범위.

실무에서는 수치가 갑자기 좋아졌다는 이유만으로 조작을 의심하기보다 사건 생성 과정을 확인한다. 자동 종료 규칙이 바뀌었는지, 업무 이관의 이유 코드가 추가되었는지, 난도가 높은 문의가 다른 큐에 쌓이는지 살핀다. 이런 점검은 직원의 의도를 추정하지 않고도 수행할 수 있다.

G의 두 기간에는 각각 신규 문의 100건이 들어왔다. 비교를 단순화하기 위해 두 집단 모두 문의 접수 후 7일의 관찰이 끝났고, 이 기간에 접수된 문의만 추적했다고 가정한다. 각 최초 문의는 고유 식별자를 갖는다. 종료와 재문의가 반복되어도 최초 문의는 한 건이다.

이관은 종료·재문의와 겹칠 수 있으므로 위 열을 전부 더하면 안 된다. 종료율은 80%에서 95%로 15%포인트 올랐다. 그러나 전체 최초 문의 가운데 종료 후 재문의가 없었던 비율은 72%에서 70%로 2%포인트 낮아졌다. 종료된 문의를 분모로 한 재문의율은 8/80=10%에서 25/95≈26.3%로 바뀐다. 전체 최초 문의를 분모로 하면 8%와 25%다. 보고서에는 두 정의 중 어느 것을 사용했는지 적는다.

‘재문의 없음’도 완전한 해결 판정은 아니다. 고객이 다른 채널로 연락했거나 서비스를 포기했을 수 있다. 따라서 이 값은 장기 고객 성과가 아니라 7일 동안 관찰한 운영 신호로 명명한다. 해결 확인은 표본 상담 검토, 고객의 업무 재개 여부, 후속 문의 연결 자료를 통해 보완할 수 있다. 응답한 고객만의 해결률을 전체 고객의 해결률로 바꾸어 쓰지 않도록 응답률도 별도로 보고한다.

두 기간의 차이가 평가 제도 때문이라는 결론 역시 이 표만으로는 얻을 수 없다. 문의 유형이나 제품 장애가 달라졌을 수 있기 때문이다. 이 예제에서 확인하는 것은 종료 건수 한 가지로 개선을 판정할 수 없다는 사실이다. 평가 제도의 효과를 묻는다면 16장 집단 비교와 18장 실험 설계의 조건을 추가해야 한다.

누가 얼마나 처리했는지 비교할 때 사건의 난도를 고려해야 한다. 신규 담당자가 계정 권한 문제를 주로 맡고 다른 담당자는 단순 이용 안내를 맡았다면 처리 속도의 차이에는 배정 구조가 들어 있다. 난도 구분을 사후에 자유롭게 바꾸면 난도 보정도 또 하나의 조정 대상이 된다. 접수 시점에 확인 가능한 속성으로 분류하고 변경 이유를 기록하는 편이 비교 조건을 보존하기 쉽다.

미처리 잔량은 특정 시점에 남아 있는 문의의 수다. 신규 접수와 해결은 기간 동안 발생한 유량이다. 같은 사건 정의를 유지하면 기간 말 잔량은 기간 초 잔량에 새 접수를 더하고 최종 해결 등 경계 밖으로 나간 사건을 빼서 계산한다. 내부 부서 간 이관은 회사 전체 잔량을 줄이지 않는다. 부서별 표만 보면 줄어든 것처럼 보일 수 있어 전체 고객 사건 식별자가 필요하다.

잔량과 함께 오래된 미해결 건의 분포를 확인한다. 평균 대기 시간은 최근 들어온 쉬운 문의가 많아지면 낮아질 수 있다. 일정 기간 이상 대기 중인 건수, 고난도 문의의 처리 흐름, 반복 이관 횟수를 보완하면 담당자의 빠른 처리와 고객의 오래된 대기를 동시에 볼 수 있다. 여러 숫자를 하나의 종합 점수로 합쳐 버리면 어느 부분이 악화했는지 다시 알기 어려워진다.

가드레일은 주 지표를 개선하는 동안 허용하기 어려운 손상을 감시하는 지표다. 지원 업무에서는 반복 문의, 오안내, 미해결 장기 대기 등을 후보로 둘 수 있다. 모든 지표에 가중치를 주어 총점을 만드는 방식과는 다르다. 중대한 오안내가 발생했는데 종료 건수가 많다는 이유로 상쇄하지 않도록 별도 검토 조건을 두는 것이다.

표본 검토는 집계만으로 드러나지 않는 기록과 고객 결과를 대조하는 절차다. 무작위로 뽑은 문의와 장기 대기·이관 반복처럼 위험 신호가 있는 문의를 구분해서 검토한다. 위험 사례를 의도적으로 많이 뽑았다면 그 표본의 오류 비율을 전체 문의의 오류율로 보고하면 안 된다. 전체 추정을 위한 표본과 문제를 찾기 위한 표본은 목적이 다르다.

장치를 늘리는 데에도 비용이 든다. 모든 문의를 사람이 검수하면 해결이 늦어질 수 있다. PM은 오판 비용이 큰 영역부터 표본 검토를 적용하고, 자동으로 확인 가능한 사건과 사람이 판단해야 할 사안을 나눈다. 검토량 자체를 성과로 삼기보다 검토가 어떤 수정으로 이어졌는지 남긴다.

평가 회의에서는 숫자 설명과 인사 판단을 성급하게 합치지 않는다. 우선 정의·수집·배정의 변화와 고객 결과를 검토한다. 그다음 팀이 통제할 수 있었던 선택, 문제를 발견하고 보고한 시점, 후속 조치를 확인한다. 불리한 사실을 빨리 보고한 사람이 손해를 보는 구조에서는 결과 보고가 늦어질 수 있다.

G의 운영안은 ‘종료 건수 목표 폐지’ 한 문장으로 끝나지 않는다. 종료 건수는 작업량과 인력 배치 자료로 유지하되 개인 보상의 단독 기준에서는 제외한다. 해결 판단에 필요한 고객 사건 경로를 연결하고, 재문의·미해결 잔량과 품질 표본을 함께 검토한다. 담당자의 기여는 문의 배정과 통제 가능한 개선 활동을 고려하여 판단한다. 이 운영안의 효용도 이후 검토 대상이다.

새 제도의 시작일과 재검토일을 정한다. 교육용으로 4주 후 검토를 잡았다면 그 날짜에 모든 장기 문제가 해결될 것이라고 가정하지 않는다. 첫 검토에서는 수집 가능성, 업무 부담, 정의를 이용한 새로운 왜곡 경로를 확인하고, 해결 결과는 충분한 관찰 기간이 지난 집단으로 평가한다. 제도를 바꾼 뒤 생긴 부담과 부작용도 변경 기록에 포함한다.

아래 문서는 새로운 KPI를 제안하거나 기존 보상 규칙을 검토할 때 사용하는 교재 양식이다. 보편적인 인사 평가 표준은 아니다. PM은 운영·고객지원·분석 담당자와 각 칸을 채우고, 평가 권한이 있는 책임자가 적용 범위를 결정하도록 한다.

문서의 목적은 사전에 모든 부정행위를 상상하는 데 있지 않다. 같은 숫자에 도달하는 서로 다른 행동을 검토하여, 조직이 원하는 업무와 평가 기준 사이의 간극을 줄이는 데 있다.

1. 티켓 종료 건수를 목표, 대리지표, KPI의 세 역할로 설명하라.
2. G의 종료율과 전체 최초 문의 기준 ‘재문의 없는 종료’ 비율을 계산하라.
3. 기간 B의 재문의율을 두 가지 분모로 계산하고 각각의 질문을 쓰라.
4. ‘재문의 없음’을 해결로 확정할 수 없는 이유를 두 가지 제시하라.
5. 이관 건수 감소를 회사 전체 성과로 평가하기 전에 확인할 자료를 쓰라.
6. 어려운 문의가 많은 담당자의 평가에 필요한 비교 조건을 설계하라.
7. 위험 사례를 많이 뽑은 품질 검토 결과를 전체 오류율로 보고할 수 있는지 설명하라.
8. 담당 서비스의 KPI 하나에 행동 유인 검토서를 작성하고 재검토 조건을 제시하라.

해설과 평가 기준

Campbell의 역사적 논의는 S30의 확인 범위를 사용했다. 관찰 지표와 해석의 관계는 측정 타당도 원문 S39, 비교·실험의 조건은 16·18장으로 연결한다. G의 수치와 운영안은 교재가 설계한 예제이며 원 문헌의 실증 결과가 아니다. 다음 21장은 지표의 정의·담당·검토·변경을 하나의 운영 문서로 묶는다.