12회 · 최적 검정과 결정 · 노트

8 Beautiful insights — ROC와 멈출 수 있는 검정

8.1 ROC 곡선은 Neyman–Pearson 검정들의 모임이다

분류기는 입력마다 점수 $s(\x)$를 내놓고, 임계값 $t$를 넘으면 “양성”이라 부른다. 임계값을 움직이며 “음성인데 양성이라 부른 비율”(거짓양성률, 검정의 크기)과 “양성을 양성이라 부른 비율”(참양성률, 검정력)을 그린 곡선이 ROC 곡선이다. 신호탐지 이론(2차대전의 레이더)에서 나온 이름이다.

Neyman–Pearson 보조정리는 ROC의 언어로 이렇게 읽힌다. 점수가 가능도비 $f_1(\x)/f_0(\x)$(또는 그 단조함수)이면, 각 임계값의 검정은 그 크기에서 최강력이다. 그러므로 가능도비의 ROC 곡선은 어떤 점수의 ROC 곡선보다도 위에 있다(연습 8.1). 좋은 분류기를 만드는 일은 가능도비, 곧 사후확률(정리 5.4)을 잘 근사하는 일이다. 임계값을 고르는 일은 결정이론이 맡는다(따름정리 5.3). 유병률과 두 오류의 비용이 임계값을 정한다.

ROC 곡선 아래 넓이(AUC)는 “양성 하나와 음성 하나를 무작위로 골랐을 때 양성의 점수가 더 클 확률”이다(연습 8.2). 이것은 15회의 Mann–Whitney 통계량과 같다. 붓꽃의 0.997은 virginica 한 송이와 versicolor 한 송이를 뽑으면 거의 언제나 판별 점수가 옳은 순서라는 뜻이다.

8.2 보면서 멈출 수 있는 검정

온라인 A/B 테스트에서는 결과가 실시간으로 쌓인다. 분석가는 매일 $p$-값을 보고, 유의해지면 실험을 멈추고 싶다. 8회 예제 7.1에서 보았듯이 고정 표본의 검정을 이렇게 쓰면 1종 오류가 커진다. 표준정규 자료를 100개마다 보며 $|z|>1.96$이면 멈추는 일을 1만 개까지 하면, 귀무가설이 참인데도 38%가 “유의”해진다. 관측마다 보면 59%다(그림 8.1).

Wald의 SPRT는 처음부터 “보면서 멈추는” 검정이었다. 다만 대립가설이 하나의 값($\theta_1$)이어야 했다. Robbins(1970)의 혼합 SPRT는 대립가설의 모수에 분포 $\pi$를 두고 가능도비를 평균한다.

$$M_n=\int\prod_{i\le n}\frac{f_\theta(X_i)}{f_0(X_i)}\,\pi(d\theta).$$

$H_0$ 아래 $M_n$은 평균이 1인 음이 아닌 마틴게일이다. Ville의 부등식은 그런 과정이 한 번이라도 $1/\alpha$를 넘을 확률이 $\alpha$ 이하라고 말한다.

$$P_0\Bigl(\sup_nM_n\ge\frac1\alpha\Bigr)\le\alpha .$$

그래서 “$M_n\ge1/\alpha$가 되는 순간 멈추고 기각”하는 검정은 언제 보든, 언제 멈추든 크기가 $\alpha$ 이하다. 정규 평균에서 $\theta\sim\N(0,\tau^2)$로 두면 $M_n=(1+n\tau^2)^{-1/2}\exp\bigl(\tfrac{\tau^2S_n^2}{2(1+n\tau^2)}\bigr)$ ($S_n=\sum X_i$)로 닫힌 꼴이다. 관측마다 보아도 거짓양성률은 약 4%다($\alpha=0.05$, $\tau^2=0.01$, 1만 개까지). 효과가 0.05 표준편차이면 1만 개 안에 98%가 기각되고, 멈추는 시점의 중앙값은 약 2,900번째다. 오늘의 A/B 테스트 플랫폼이 쓰는 “언제나 유효한 $p$-값”(Johari 외 2017)이 이것이다.

증명 없이 쓰는 사실 (Ville의 부등식) $M_n\ge0$이 마틴게일이고 $EM_0=1$이면 $P(\sup_nM_n\ge c)\le1/c$이다. 이산시간이면 “처음으로 $c$를 넘는 시각에서 멈춘 과정”에 마틴게일의 멈춤 정리를 쓰는 짧은 증명이 있다(연습 8.3). 혼합 SPRT의 $M_n$이 마틴게일인 것은, 각 $\theta$의 가능도비 곱이 $H_0$ 아래 평균 1인 마틴게일이고(3회 반복기댓값) 그 평균도 마틴게일이기 때문이다.

그림 8.1 귀무가설이 참일 때(표준정규 자료) 관측마다 결과를 보는 경우. 왼쪽: 고정 표본 $z$ 검정을 매번 적용하면 경로가 $\pm1.96$을 한 번이라도 넘을 확률이 표본과 함께 커진다. 오른쪽: 혼합 SPRT의 $M_n$이 $1/\alpha=20$을 넘은 경로는 약 4%뿐이다.

연습문제

연습 8.1 (가능도비의 ROC가 위에 있다 ★★) 아무 점수 $s$의 ROC 곡선 위의 점 $(\alpha,\gamma)$에 대해, 가능도비의 ROC 곡선의 $\alpha$에서의 높이가 $\gamma$ 이상임을 정리 1.2로 보여라.

풀이

점수 $s$의 임계값 검정이 크기 $\alpha$, 검정력 $\gamma$를 가지면, 크기 $\alpha$의 Neyman–Pearson 검정(가능도비 임계값, 필요하면 확률화)의 검정력은 정리 1.2로 $\gamma$ 이상이다. 그 검정이 가능도비 ROC 곡선의 $\alpha$에서의 점이다.

연습 8.2 (AUC와 순위 ★) 양성 점수 $S_1$과 음성 점수 $S_0$가 독립이고 연속이면 ROC 곡선 아래 넓이가 $P(S_1>S_0)$임을 보여라.

풀이

임계값 $t$에서 $\mathrm{FPR}(t)=P(S_0>t)$, $\mathrm{TPR}(t)=P(S_1>t)$이므로 넓이는 $\int\mathrm{TPR}\,d\mathrm{FPR}=\int P(S_1>t)f_{S_0}(t)\,dt=P(S_1>S_0)$ (독립).

연습 8.3 (Ville의 부등식 ★★★) $M_n\ge0$이 평균 1인 마틴게일이고 $\tau=\min\{n:M_n\ge c\}$이면, $N$을 고정하고 $\tau\wedge N$에서 멈춘 값의 평균이 1임(멈춤 정리)을 써서 $P(\max_{n\le N}M_n\ge c)\le1/c$를 보이고, $N\to\infty$로 보내라.

풀이

$\tau\wedge N$은 유계인 멈춤시각이므로 $EM_{\tau\wedge N}=EM_0=1$이다. $\{\max_{n\le N}M_n\ge c\}=\{\tau\le N\}$ 위에서 $M_{\tau\wedge N}=M_\tau\ge c$이고 다른 곳에서는 $\ge0$이므로 $1\ge cP(\tau\le N)$. $N\to\infty$로 보내면 $P(\sup_nM_n\ge c)\le1/c$.

이 절을 PDF로 보기 (25쪽)노트북 8절

이 회차에서 읽은 절 0개 · 회차 차례