8회 · 추론의 기초 · 노트

4 $p$p-값 — Fisher의 5% (1925)

역사 Fisher는 1925년 Statistical Methods for Research Workers에 이렇게 썼다. “$P=0.05$, 곧 20분의 1에 해당하는 값은 1.96, 거의 2다. 편차가 유의한지 판단하는 기준으로 이 점을 잡는 것이 편리하다.” 이 한 문장이 이후 한 세기 동안 과학 논문의 관행이 되었다. Fisher에게 $p$-값은 증거의 강도를 재는 연속적인 척도였고, Neyman–Pearson에게 검정은 미리 정한 $\alpha$로 기각 여부를 결정하는 규칙이었다. 오늘의 관행은 둘을 섞어 쓴다.

4.1 정의

정의 4.1 ($p$-값) $T$가 클수록 $H_0$에 불리한 검정통계량이고 관측값이 $t$이면

$$p(t)=\sup_{\theta\in\Omega_0}P_\theta\bigl(T(\X)\ge t\bigr)$$

를 $p$-값이라 한다. “$H_0$ 아래에서 관측한 것만큼, 또는 그보다 더 극단적인 결과가 나올 확률”이다.

크기 $\alpha$의 검정 $\{T\ge c_\alpha\}$들이 있으면 $p(t)\le\alpha\iff t\ge c_\alpha$이다. 곧 $p$-값은 그 자료로 $H_0$를 기각하게 되는 가장 작은 $\alpha$다. $\alpha$를 미리 정하지 않고 증거의 크기를 보고하는 방법이다.

4.2 귀무가설 아래에서 $p$p-값은 균등하다

정리 4.2 ($p$-값의 분포) $H_0$가 단순가설($\Omega_0=\{\theta_0\}$)이고 $T$의 $H_0$ 아래 분포함수 $F$가 연속이면 $p(T)\sim\mathrm U(0,1)$이다. $T$가 이산이면 모든 $\alpha$에서 $P_{\theta_0}\bigl(p(T)\le\alpha\bigr)\le\alpha$이다.

증명 전략 $p$-값을 $G(t)=P_{\theta_0}(T\ge t)$로 쓰고 $G(T)$의 분포를 본다. 연속이면 확률적분변환이 그대로 답이다. 일반적으로는 $\{G(T)\le\alpha\}$가 $T$의 위쪽 꼬리 사건이라는 것을 쓴다.

(a) $F$가 연속일 때

1. $p(t)=G(t)=1-P(T<t)=1-F(t-)=1-F(t)$이다.1회 정리 6.3(d), $F$ 연속

2. $F(T)\sim\mathrm U(0,1)$이다.확률적분변환, 2회 정리 4.7

3. $U\sim\mathrm U(0,1)$이면 $P(1-U\le u)=P(U\ge1-u)=u$이므로 $p(T)=1-F(T)\sim\mathrm U(0,1)$이다.1 2

(b) 일반적인 $T$

1. $G$는 비증가이므로 $S_\alpha=\{t:G(t)\le\alpha\}$는 $t_\alpha=\inf S_\alpha$에 대해 $[t_\alpha,\infty)$ 또는 $(t_\alpha,\infty)$이다. 따라서 $\{G(T)\le\alpha\}=\{T\in S_\alpha\}$는 $\{T\ge t_\alpha\}$ 또는 $\{T>t_\alpha\}$이다.단조성, 하한 [T5]

2. $S_\alpha=[t_\alpha,\infty)$이면 $P(G(T)\le\alpha)=P(T\ge t_\alpha)=G(t_\alpha)\le\alpha$이다.$t_\alpha\in S_\alpha$

3. $S_\alpha=(t_\alpha,\infty)$이면 $\{T\ge t_\alpha+\tfrac1n\}\uparrow\{T>t_\alpha\}$이므로 $P(T>t_\alpha)=\lim_nG(t_\alpha+\tfrac1n)\le\alpha$이다.1회 정리 4.7(a)

(b)의 증명은 $T$가 이산이라는 것을 쓰지 않는다. 어느 분포에서나 $P(p(T)\le\alpha)\le\alpha$이고, 연속일 때만 등호가 모든 $\alpha$에서 성립한다.

정리의 내용은 단순하지만 결과는 크다. 귀무가설이 참인 실험을 많이 하면 그 $p$-값들은 $[0,1]$에 고르게 흩어진다. $p<0.05$는 그 가운데 5%에서 우연히 일어난다(7절). 그리고 $H_1$이 참이면 $p$-값은 0 쪽으로 몰린다. 몰리는 정도가 검정력이다(그림 4.1).

그림 4.1 $t$ 검정 1만 번의 $p$-값 히스토그램($n=20$). 왼쪽: $H_0$가 참이면 균등분포. 가운데: 효과 $\delta=0.5\sigma$이면 0 근처로 몰리고 $P(p<0.05)$가 검정력 0.56이다. 오른쪽: 이산 검정(이항, $n=20$)의 $p$-값은 계단이고 $P(p\le\alpha)\le\alpha$(보수적).

4.3 $p$p-값이 말하지 않는 것

가정 주의 (1) $p$-값은 $H_0$가 참일 확률이 아니다. $P(\text{자료}\mid H_0)$를 $P(H_0\mid\text{자료})$로 읽는 것은 1회의 조건부확률을 뒤집는 실수다. 후자를 말하려면 사전확률이 필요하다(16회). (2) $p$-값은 효과의 크기가 아니다. 표본이 크면 의미 없는 작은 차이도 아주 작은 $p$를 낸다. Arbuthnot의 82년 출생 93만 건에서 남아 비율 $0.516$과 $0.5$의 차이에 대한 $z$는 31.5, $p$는 $10^{-218}$이다. 이 $p$는 “차이가 있다”는 것을 압도적으로 말하지만 차이가 1.6%포인트라는 것은 말하지 않는다. 구간 $[0.5153,\ 0.5173]$이 둘을 함께 말한다. (3) $p>0.05$는 $H_0$의 증거가 아니다. 검정력이 낮았을 수 있다(예제 3.3). 미국통계학회(2016)는 이 세 가지를 공식 성명으로 냈다.

연습문제

연습 4.1 (양쪽 $p$-값 ★) $Z\sim\N(0,1)$ 아래에서 $|Z|$로 검정하면 $p=2(1-\Phi(|z|))$임을 보이고, 이것도 $H_0$ 아래 균등함을 보여라.

풀이

$p=P(|Z|\ge|z|)=2(1-\Phi(|z|))$. $H_0$ 아래 $|Z|$의 분포함수 $G(t)=2\Phi(t)-1$은 연속이므로 정리 4.2로 $p=1-G(|Z|)$는 균등하다.

연습 4.2 (이산 $p$-값 ★★) $K\sim\mathrm b(20,\tfrac12)$의 한쪽 $p$-값 $P(K\ge k)$가 가질 수 있는 값을 나열하고, $P(p(K)\le0.05)$를 구하라. 정확히 0.05가 아닌 이유는?

풀이

$p(k)=P(K\ge k)$는 $k=0,\dots,20$에서 $1,\allowbreak \ 0.99999,\allowbreak \dots,\allowbreak 0.0577\ (k=14),\allowbreak \ 0.0207\ (k=15),\allowbreak \ 0.0059,\allowbreak \dots$의 21개 값만 가진다. $p\le0.05$는 $K\ge15$와 같으므로 $P(p\le0.05)=0.0207$. 0.05와 0.0207 사이의 값이 없기 때문에 정확히 0.05가 될 수 없다.

연습 4.3 ($p$-값의 분포와 검정력 ★★) 정리 3.4의 $z$ 검정에서 $\mu=\mu_0+\delta$일 때 $p$-값의 분포함수가 $P(p\le u)=\Phi\bigl(\tfrac{\sqrt n\delta}\sigma-z_u\bigr)$임을 보여라. $u=\alpha$를 넣으면 검정력이다.

풀이

$p=1-\Phi(Z_{\mathrm{obs}})$, $Z_{\mathrm{obs}}=\tfrac{\sqrt n(\bar X-\mu_0)}\sigma\sim\N(\tfrac{\sqrt n\delta}\sigma,\allowbreak 1)$이다. $p\le u\iff Z_{\mathrm{obs}}\ge z_u$이므로 $P(p\le u)=P\bigl(\N(0,\allowbreak 1)\ge z_u-\tfrac{\sqrt n\delta}\sigma\bigr)=\Phi\bigl(\tfrac{\sqrt n\delta}\sigma-z_u\bigr)$.

연습 4.4 ($p$-값을 합치기 ★★) 독립인 연구 $k$개의 $p$-값 $p_1,\dots,p_k$가 모두 $H_0$ 아래 균등하면 $-2\sum\log p_i\sim\chi^2(2k)$임을 보여라(Fisher, 1932). (힌트: $-2\log U\sim\mathrm{Exp}$, 평균 2.)

풀이

$p_i\sim\mathrm U(0,1)$이면 $P(-2\log p_i>x)=P(p_i<e^{-x/2})=e^{-x/2}$이므로 $-2\log p_i\sim\mathrm{Exp}$(평균 2)$=\chi^2(2)$. 독립인 $\chi^2(2)$ $k$개의 합은 $\chi^2(2k)$(4회 정리 3.7).

이 절을 PDF로 보기 (16쪽)노트북 4절

이 회차에서 읽은 절 0개 · 회차 차례