수리통계학

테마

14회 · 분산분석과 실험설계 · 노트

9 정리와 역사 노트 ​

9.1 한 장 요약 ​

정리내용조건
Neyman (1.4)Eτ^=τˉE\hat\tau=\bar\tau, Var⁡τ^=S12/nT+S02/nC−Sτ2/n\Var\hat\tau=S_1^2/n_T+S_0^2/n_C-S_\tau^2/n완전무작위설계
무작위화 검정 (1.7)P(p≤α)≤αP(p\le\alpha)\le\alpha날카로운 귀무가설
일원분산분석 (2.2)SST=SSB+SSW\SS_T=\SS_B+\SS_W, F∼F(t−1,N−t)F\sim F(t-1,N-t), 가능도비 검정정규 오차
비중심 분포 (2.5, 2.8)Poisson 혼합, 평균 k+λk+\lambda, 검정력은 λ\lambda의 증가함수정규 오차
균형 이원배치 (3.2)다섯 직교공간, 제곱합의 분해와 독립균형
분할구 (3.6)E MS주구=σ2+4σw2E\,\mathrm{MS}_{\text{주구}}=\sigma^2+4\sigma_w^2, 주구 요인은 주구 오차로두 번의 무작위화
Bonferroni (4.2)크기 α/m\alpha/m이면 FWER ≤α\le\alpha—
Scheffé (4.4)모든 대비를 qF\sqrt{qF}로 동시에정규 선형모형
Tukey (4.6)모든 짝을 qt,ν,αs/nq_{t,\nu,\alpha}s/\sqrt n으로 정확히균형 일원배치
짝 설계 (5.1)상대효율 S2/Sw2≈1/(1−ρ)S^2/S_w^2\approx1/(1-\rho)일정한 효과
요인설계 (5.3)주효과 분산 4σ2/N4\sigma^2/N, OFAT의 (k+1)/2(k+1)/2배 효율가법
공변량 보정 (8.2)분산 (1−ρ2)(1-\rho^2)배배정 전 공변량

이번 회차의 수학은 13회의 사영 그대로였다. 새로운 것은 확률이 어디서 오느냐였다. 1절의 정리들에서 확률의 출처는 오차분포가 아니라 실험자의 동전이다. 무작위화가 있으면 평균 차이는 불편이고(Neyman), 검정은 정확하다(Fisher). 분산분석의 FF와 tt는 그 정확한 무작위화 분포의 훌륭한 근사로 쓰인다. 블록, 요인, 공변량은 같은 무작위화 위에서 분산을 줄이는 장치다.

9.2 Stigler의 명명 법칙 ​

이름과 발견

  • 무작위화: Fisher보다 40년 앞서 Peirce와 Jastrow(1885)가 카드로 순서를 섞었다.

  • 잠재적 결과: Neyman(1923)의 “잠재적 수확”이 원형이다. Rubin(1974)이 관찰 연구로 넓힌 뒤 “Rubin 인과모형”이라 불리게 되었다.

  • FF 분포: Fisher는 z=12log⁡Fz=\tfrac12\log F를 썼다. FF라는 이름은 Snedecor(1934)가 붙였다.

  • Fisher의 정확검정: 같은 해 Irwin(1935)과 Yates(1934)도 같은 검정에 이르렀다.

  • Bonferroni 부등식: 합집합의 부등식 자체는 Boole(1854)까지 거슬러 올라간다.

  • Tukey의 HSD: 스튜던트화 범위는 Student(1927)가 처음 다뤘고, Newman(1939)과 Keuls(1952)가 그것으로 단계적 비교를 만들었다. Tukey의 원고는 41년 뒤에 출판되었다.

  • CUPED: Fisher(1932)의 공분산분석을 온라인 실험의 언어로 다시 쓴 것이다.

9.3 7 Pillars 지도 ​

이번 회차는 다섯째 기둥 Design의 중심이다. 12회의 Wald 축차검정이 “몇 개를 관측할지”를 설계했다면, Fisher는 “어디에 무엇을 놓을지”를 설계했다. 무작위화는 추론의 근거를 모형에서 실험 절차로 옮겼다. 첫째 기둥 Aggregation(분산분석의 제곱합)과 둘째 기둥 Information(반복과 효율, (k+1)/2(k+1)/2)도 함께 칠한다.

9.4 다음 회 — 가정이 틀리면: 순위·로버스트·부트스트랩 (1935 → 1979) ​

이번 회차의 FF와 tt는 정규 오차를 가정했다. 1절의 무작위화 검정은 그 가정 없이도 정확했다. 15회는 그 생각을 넓힌다. 관측값 대신 순위를 쓰는 Wilcoxon(1945)의 검정, 이상치 하나에 무너지지 않는 Huber(1964)의 로버스트 추정, 그리고 분포를 자료 자신으로 바꾸는 Efron(1979)의 부트스트랩이다. Darwin의 옥수수와 Newcomb의 빛의 속도가 다시 나온다.

참고문헌 ​

  • Peirce, C. S., Jastrow, J. On small differences of sensation. Memoirs of the National Academy of Sciences 3 (1885), 73–83.

  • Neyman, J. On the application of probability theory to agricultural experiments (1923). 영역: Statistical Science 5 (1990), 465–472. · Rubin, D. B. Estimating causal effects of treatments in randomized and nonrandomized studies. J. Educational Psychology 66 (1974), 688–701.

  • Mercer, W. B., Hall, A. D. The experimental error of field trials. J. Agricultural Science 4 (1911), 107–132.

  • Fisher, R. A. Studies in crop variation I. J. Agricultural Science 11 (1921), 107–135. · Fisher, R. A., Mackenzie, W. A. Studies in crop variation II. J. Agricultural Science 13 (1923), 311–320. · Statistical Methods for Research Workers. Oliver and Boyd, 1925. · The arrangement of field experiments. J. Ministry of Agriculture 33 (1926), 503–513. · The Design of Experiments. Oliver and Boyd, 1935.

  • Yates, F. Complex experiments. JRSS Suppl. 2 (1935), 181–247. · Tukey, J. W. One degree of freedom for non-additivity. Biometrics 5 (1949), 232–242.

  • Snedecor, G. W. Calculation and Interpretation of Analysis of Variance and Covariance. Collegiate Press, 1934.

  • Scheffé, H. A method for judging all contrasts in the analysis of variance. Biometrika 40 (1953), 87–104. · Tukey, J. W. The Problem of Multiple Comparisons (1953). Collected Works VIII, Chapman & Hall, 1994. · Holm, S. A simple sequentially rejective multiple test procedure. Scand. J. Statist. 6 (1979), 65–70.

  • Box, G. E. P. Some theorems on quadratic forms applied in the study of analysis of variance problems I. Ann. Math. Statist. 25 (1954), 290–302. · Hurlbert, S. H. Pseudoreplication and the design of ecological field experiments. Ecological Monographs 54 (1984), 187–211.

  • Francis, T. Jr., Korns, R. F., et al. An evaluation of the 1954 poliomyelitis vaccine trials. American J. Public Health 45 (1955), 1–63. · Meier, P. The biggest public health experiment ever. In Tanur et al. (eds.), Statistics: A Guide to the Unknown. Holden-Day, 1972.

  • Deng, A., Xu, Y., Kohavi, R., Walker, T. Improving the sensitivity of online controlled experiments by utilizing pre-experiment data. WSDM (2013). · Goyal, P. et al. Accurate, large minibatch SGD. arXiv:1706.02677 (2017).

  • 자료: agridat mercer.wheat.uniformity, broadbalk.wheat, yates.oats; datasets npk; HistData ZeaMays, PolioTrials.

이 절을 PDF로 보기 (36쪽)노트북 9절
이 회차에서 읽은 절 0개 · 회차 차례