수리통계학

테마

7회 · 극한의 언어 · 노트

9 정리와 역사 노트 ​

9.1 한 장 요약 ​

정리내용조건
연속사상 (1.3)Yn→PcY_n\xrightarrow{P}c, gg가 cc에서 연속 ⇒g(Yn)→Pg(c)\Rightarrow g(Y_n)\xrightarrow{P}g(c)—
Khinchin (1.6)Xˉn→Pμ\bar X_n\xrightarrow{P}\mu; 따라서 Sn2→Pσ2S_n^2\xrightarrow{P}\sigma^2iid, E∣X∣<∞E|X|<\infty
두 수렴 (2.3, 2.5)→P⇒→D\xrightarrow{P}\Rightarrow\xrightarrow{D}; 상수로의 →D⇒→P\xrightarrow{D}\Rightarrow\xrightarrow{P}; →D⇒\xrightarrow{D}\Rightarrow 확률적 유계—
중심극한정리 (3.1)n(Xˉn−μ)/σ→DN(0,1)\sqrt n(\bar X_n-\mu)/\sigma\xrightarrow{D}\N(0,\allowbreak 1), 오차 ≤0.4748 ρ/(σ3n)\le0.4748\,\rho/(\sigma^3\sqrt n)iid, σ2<∞\sigma^2<\infty
Slutsky (4.2)An+BnXn→Da+bXA_n+B_nX_n\xrightarrow{D}a+bX; Xˉn−μSn/n→DN(0,1)\tfrac{\bar X_n-\mu}{S_n/\sqrt n}\xrightarrow{D}\N(0,\allowbreak 1)An,BnA_n,B_n은 상수로
델타 방법 (4.4, 5.4)n(g(Yn)−g(θ))→DN(0,g′(θ)2σ2)\sqrt n(g(Y_n)-g(\theta))\xrightarrow{D}\N(0,\allowbreak g'(\theta)^2\sigma^2), 벡터는 ∇g′Σ∇g\nabla g\T\Sigma\nabla ggg 미분가능
다변량 CLT (5.2)n(Xˉn−μ)→DNk(0,Σ)\sqrt n(\bar\X_n-\bmu)\xrightarrow{D}\N_k(\mathbf 0,\allowbreak \Sigma)모든 선형결합
Monte Carlo (6.1, 6.4, 6.6)θ^n±z sh/n\hat\theta_n\pm z\,s_h/\sqrt n, 기각 표집(수락률 1/M1/M), 중요도 가중치 f/gf/gVar⁡h<∞\Var h<\infty

증명의 뼈대는 둘이다. 하나는 mgf의 로그를 2차까지 전개하는 것(중심극한정리, 다변량, χ2\chi^2 극한)이고, 다른 하나는 작은 항을 따로 떼어 0으로 보내는 것(Khinchin의 잘라 내기, Slutsky, 델타 방법)이다. 7절은 그 뼈대의 가정, 곧 유한한 분산을 깨면 척도가 n\sqrt n에서 n1/αn^{1/\alpha}로 바뀌고 극한이 정규에서 안정분포로 바뀜을 보였다.

9.2 Stigler의 명명 법칙 ​

Stigler's law of eponymy

  • Cauchy 분포: Poisson(1824)이 평균을 내도 나아지지 않는 오차의 예로 먼저 썼다. Cauchy는 1853년 Bienaymé와의 논쟁에서 같은 분포를 다시 논했다. Stigler(1974)가 이 내력을 정리했다. 기하학에서는 17세기부터 “Agnesi의 마녀”라는 곡선으로 알려져 있었다.

  • Monte Carlo 방법: 이름은 Metropolis(1949)가 붙였지만, Buffon(1777)의 바늘, Kelvin(1901)의 기체 운동 계산, Student(1908)의 카드, Fermi의 1930년대 중성자 계산이 모두 같은 방법이었다.

  • Slutsky의 정리: 내용의 일부는 Cramér와 다른 이들이 독립적으로 썼고, 교과서의 이름이 굳은 것은 Cramér(1946)를 통해서다.

9.3 7 Pillars 지도 ​

이번 회차는 둘째 기둥 Information의 수학적 핵심이다. Stigler(2016)는 이 기둥을 “정보는 관측 수의 제곱근으로 쌓인다”로 요약했다. 3회에서 Var⁡Xˉ=σ2/n\Var\bar X=\sigma^2/n로 그 크기를 보았다면, 이번 회차의 중심극한정리는 그 n\sqrt n의 오차가 어떤 모양인지를 말한다. 그리고 7절은 이 규칙의 한계, 곧 분산이 무한하면 정보가 n\sqrt n보다 느리게 쌓인다는 것을 보였다. 첫째 기둥 Aggregation(평균을 내면 개별 정보를 버리고도 더 많이 안다)도 대수의 법칙의 형태로 다시 나왔다.

9.4 다음 회 — 추론의 기초: 표본 · 신뢰구간 · 유의성 검정 (1710 → 1937) ​

이 노트의 극한 정리들로 이제 통계적 추론을 세울 수 있다. 8회는 Arbuthnot(1710)이 82년의 출생 기록으로 “우연인가 섭리인가”를 물은 최초의 유의성 검정에서 시작해, 신뢰구간(Neyman 1937)과 검정의 언어를 정의한다. 5절의 다항분포 극한은 Pearson(1900)의 χ2\chi^2 적합도 검정이 되고, 4절의 스튜던트화한 평균은 대표본 신뢰구간이 된다.

참고문헌 ​

  • Buffon, G.-L. L. Essai d'arithmétique morale. Supplément à l'Histoire naturelle 4, 1777.

  • Laplace, P.-S. Mémoire sur les approximations des formules qui sont fonctions de très grands nombres et sur leur application aux probabilités. Mémoires de l'Académie des sciences de Paris (1810).

  • Lyapunov, A. M. Nouvelle forme du théorème sur la limite de probabilité. Mémoires de l'Académie impériale des sciences de St.-Pétersbourg 12 (1901).

  • Lindeberg, J. W. Eine neue Herleitung des Exponentialgesetzes in der Wahrscheinlichkeitsrechnung. Mathematische Zeitschrift 15 (1922), 211–225.

  • Pólya, G. Über den zentralen Grenzwertsatz der Wahrscheinlichkeitsrechnung und das Momentenproblem. Mathematische Zeitschrift 8 (1920), 171–181.

  • Slutsky, E. Über stochastische Asymptoten und Grenzwerte. Metron 5 (1925), 3–89.

  • Khinchin, A. Ya. Sur la loi des grands nombres. Comptes rendus 189 (1929), 477–479.

  • Curtiss, J. H. A note on the theory of moment generating functions. Ann. Math. Statist. 13 (1942), 430–433.

  • Berry, A. C. The accuracy of the Gaussian approximation to the sum of independent variates. Trans. AMS 49 (1941). · Esseen, C.-G. On the Liapounoff limit of error in the theory of probability. Ark. Mat. Astr. Fys. 28A (1942). · Shevtsova, I. On the absolute constants in the Berry–Esseen type inequalities. arXiv:1111.6554 (2011).

  • Gnedenko, B. V., Kolmogorov, A. N. Limit Distributions for Sums of Independent Random Variables (1949; 영역 1954).

  • Metropolis, N., Ulam, S. The Monte Carlo method. JASA 44 (1949), 335–341. · Metropolis, N. The beginning of the Monte Carlo method. Los Alamos Science 15 (1987).

  • von Neumann, J. Various techniques used in connection with random digits. NBS Applied Mathematics Series 12 (1951), 36–38.

  • Gridgeman, N. T. Geometric probability and the number π\pi. Scripta Mathematica 25 (1960). · Badger, L. Lazzarini's lucky approximation of π\pi. Mathematics Magazine 67 (1994), 83–91.

  • Stigler, S. M. Cauchy and the witch of Agnesi. Biometrika 61 (1974), 375–380.

  • Hutchinson, M. F. A stochastic estimator of the trace of the influence matrix for Laplacian smoothing splines. Comm. Statist. Simulation Comput. 18 (1989), 1059–1076.

  • Mandt, S., Hoffman, M. D., Blei, D. M. Stochastic gradient descent as approximate Bayesian inference. JMLR 18 (2017). · Smith, S. L., Le, Q. V. A Bayesian perspective on generalization and stochastic gradient descent. ICLR (2018). · Goyal, P. 외. Accurate, large minibatch SGD: training ImageNet in 1 hour. arXiv:1706.02677 (2017). · Simsekli, U., Sagun, L., Gürbüzbalaban, M. A tail-index analysis of stochastic gradient noise in deep neural networks. ICML (2019).

  • Gal, Y., Ghahramani, Z. Dropout as a Bayesian approximation. ICML (2016).

  • Stigler, S. M. The Seven Pillars of Statistical Wisdom. Harvard, 2016.

이 절을 PDF로 보기 (38쪽)노트북 9절
이 회차에서 읽은 절 0개 · 회차 차례