12회 · 최적 검정과 결정 · 노트

7 부숴보기 — $p$p-값이 말하지 않는 것

7.1 표본이 거대하면

검정력은 표본 크기와 함께 1로 간다(8회 정리 3.4). 그 말은 뒤집으면 이렇다. 귀무가설이 정확히 참이 아닌 한, 표본이 충분히 크면 아무리 작은 차이도 유의하다.

예제 7.1 (A/B 테스트의 0.1%포인트) 웹페이지의 두 판을 사용자 100만 명씩에게 보였더니 클릭률이 10.0%와 10.1%였다. 두 비율의 차의 표준오차는 $\sqrt{2\cdot0.1\cdot0.9/10^6}\approx0.00042$이므로 $z=2.35$, $p=0.019$다. 유의하다. 그러나 95% 구간은 $[0.0002,\ 0.0018]$, 곧 0.02%포인트에서 0.18%포인트다. 이 차이가 페이지를 바꿀 만한지는 $p$-값이 아니라 효과의 크기와 비용이 정한다. 같은 차이를 사용자 1만 명씩에서 보았다면 $z=0.24$로 전혀 유의하지 않았다. $p$-값은 효과의 크기와 표본 크기를 한 숫자에 섞는다.

그래서 결과는 $p$-값 하나가 아니라 효과의 추정값과 신뢰구간으로 보고해야 한다. 구간과 검정은 같은 것이지만(8회 정리 3.5), 구간은 “얼마나”를 함께 말한다.

7.2 Lindley의 역설 (1957)

$p$-값은 귀무가설이 참일 확률이 아니다. 둘이 얼마나 다를 수 있는지는 Bayes의 관점에서 보면 분명해진다.

예제 7.2 (같은 $p$-값, 다른 증거) $X_i\iid\N(\mu,1)$에서 $H_0:\mu=0$를 검정하는데 $z=\sqrt n\bar x=2.0$이 나왔다($p=0.046$). 대립가설 아래 $\mu\sim\N(0,1)$이라는 사전분포를 두면, 두 가설의 Bayes 인수는

$$B_{01}=\frac{f(\x\mid H_0)}{f(\x\mid H_1)}=\sqrt{1+n}\,\exp\Bigl(-\frac{z^2}2\cdot\frac n{n+1}\Bigr)$$

이다(연습 7.2). $z$를 2.0으로 고정하면 $n=100$에서 $B_{01}=1.4$, $n=10^4$에서 13.5, $n=10^6$에서 135다. 두 가설의 사전확률이 반반이면 $n=10^6$에서 $P(H_0\mid\x)=0.993$이다. 같은 $p=0.046$이 작은 표본에서는 $H_0$에 약간 반하는 증거, 큰 표본에서는 $H_0$를 강하게 지지하는 증거다. 큰 표본에서 $z=2$는 $\bar x=0.002$, 곧 0에 매우 가까운 값이고, 그것은 “어딘가 넓게 퍼진 $\mu$”보다 “정확히 0”과 더 잘 맞는다.

가정 주의 미국통계학회는 2016년 $p$-값에 관한 성명에서 여섯 원칙을 밝혔다. 그 가운데 셋이 이 절의 내용이다. $p$-값은 가설이 참일 확률이 아니다. $p$-값은 효과의 크기나 결과의 중요성을 재지 않는다. $p<0.05$ 하나로 과학적 결론이나 정책을 정해서는 안 된다. 8회 7절의 다중검정과 선택적 멈춤까지 더하면, $p$-값은 정해진 절차 안에서 오류율을 관리하는 도구로 쓸 때만 뜻이 분명하다.

연습문제

연습 7.1 (구간으로 보고하기 ★) 예제 7.1의 95% 구간을 계산하고, 상대적인 개선(10.0% 대비)으로 바꿔 쓰라. 사용자 1만 명씩이었다면 구간은 어떻게 되는가?

풀이

차 0.001, 표준오차 0.000424이므로 구간은 $0.001\pm0.00083=[0.00017,\allowbreak \ 0.00183]$, 상대적으로 0.2%에서 1.8%의 개선이다. 1만 명씩이면 표준오차가 0.00424로 열 배가 되어 구간 $[-0.0073,\ 0.0093]$은 0을 넉넉히 포함한다.

연습 7.2 (Lindley의 Bayes 인수 ★★) $\bar X\mid\mu\sim\N(\mu,1/n)$, $H_1$ 아래 $\mu\sim\N(0,\tau^2)$이면 $H_1$ 아래 $\bar X$의 주변분포가 $\N(0,\tau^2+1/n)$임을 보이고, $B_{01}=\sqrt{1+n\tau^2}\exp\bigl(-\tfrac{z^2}2\tfrac{n\tau^2}{1+n\tau^2}\bigr)$을 유도하라.

풀이

$H_1$ 아래 $\bar X=\mu+(\bar X-\mu)$는 독립인 두 정규의 합이므로 $\N(0,\tau^2+1/n)$. $B_{01}=\tfrac{\varphi(\bar x;0,1/n)}{\varphi(\bar x;0,\tau^2+1/n)}=\sqrt{\tfrac{\tau^2+1/n}{1/n}}\exp\bigl(-\tfrac{\bar x^2}2(n-\tfrac1{\tau^2+1/n})\bigr)$이고, $\bar x^2=z^2/n$을 넣으면 $\sqrt{1+n\tau^2}\exp\bigl(-\tfrac{z^2}2\tfrac{n\tau^2}{1+n\tau^2}\bigr)$.

연습 7.3 ($p$-값의 오독 ★) “$p=0.03$이므로 귀무가설이 참일 확률은 3%다”와 “$p=0.03$이므로 우연히 이런 결과가 나올 확률은 3%다”의 무엇이 틀렸는지 설명하라. 정확한 문장은 무엇인가?

풀이

첫 문장은 $P(\text{자료}\mid H_0)$를 $P(H_0\mid\text{자료})$로 바꿔 읽었다(Lindley의 예가 보이듯 둘은 크게 다를 수 있다). 둘째 문장은 “우연”이 이미 $H_0$을 가정한 말이므로 결국 같은 오독이다. 정확한 문장: “$H_0$이 참이라면, 지금만큼 또는 이보다 더 극단적인 검정 통계량이 나올 확률이 0.03이다.”

이 절을 PDF로 보기 (23쪽)노트북 7절

이 회차에서 읽은 절 0개 · 회차 차례