確率論の初歩と大数の法則

この文書では，確率変数などの定義や，確率変数の独立性の概念を説明した後に，様々な形の大数の法則を紹介する．

1 確率空間の基本事項

$\pi$-$\lambda$定理については [1] を参考にしても良い．

定義 1 ($\pi$系).

$X$を集合とし， $𝔄$を$X$の部分集合族とする． このとき $𝔄$が $\pi$系 であるとは以下の条件を満たすときにいう．

$$\forall A,B\in 𝔄A\cap B\in 𝔄.$$

また，$X$の部分集合族$𝔖$に対して， $𝔖$から生成される最小の$\pi$系を $\pi (𝔖)$と書くことにする．

定義 2.

$X$を集合とし， $𝔅$を$X$の部分集合族とする． このとき $𝔅$が $\lambda$系 であるとは以下の条件を満たすときにいう．

1. $X\in 𝔅$.

2. $\forall A,B\in 𝔅A\subset B⟹B\setminus A\in 𝔅$.

3. ${\{A_i\}}_{i\in \mathbb{N}}\subset 𝔅$ が単調な列ならば， ${\bigcup }_{i\in \mathbb{N}}{A}_i\in 𝔅$.

また，$X$の部分集合族$𝔖$に対して， $𝔖$から生成される最小の$\lambda$系を $\lambda (𝔖)$と書くことにする．

定理 3 ($\pi$-$\lambda$定理).

$X$を集合とし， $𝔄$を $X$の $\pi$系で， $𝔅$を $X$の $\lambda$系とする． このとき $𝔄\subset 𝔅$ ならば

$$\sigma (𝔄)\subset 𝔅$$

が成り立つ．ここで$\sigma (𝔄)$ は$𝔄$から生成される最小の完全加法族を表すとする．

定義 4.

位相空間$X$に対して，$X$の開集合系から生成される 完全加法族を$𝔅(X)$と書くことにする． この集合族をボレル集合族という．

定義 5.

測度空間 $(X,𝔐)$ 上の測度 $\mu$が 確率測度であるとは， $\mu (X)=1$ を満たすときにいう． $\mu$ が確率測度であるとき，測度空間 $(X,𝔐,\mu )$を 確率空間と呼び， $X$の元のことを 事象と呼ぶ．

定義 6.

確率空間 $(X,𝔐,\mu )$から 可測空間$(Y,𝔑)$への可測写像可測写像を $(Y,𝔑)$-値確率変数と呼ぶ． あるいは紛れがないときには単に 確率変数と呼んだりもする．

定義 7.

確率空間 $(X,𝔐,\mu )$ とその上の確率変数$f$について ${\int }_{X}f𝑑\mu$を $𝔼(f)$と書いたりする． 特に $𝔼(f)$を $f$の期待値と呼んだり， $f$の平均値と呼んだりする． そして$n\in {\mathbb{Z}}_{\ge 1}$に対して， $𝔼(f^n)$を$f$の$n$次モーメントと 呼んだりする． であるとき$f$は$L^n$ 関数とか言ったりするが，これは測度論と同じ言葉遣いである． また， $𝕍(f)=𝔼({(f-𝔼(f))}^2)$ を$f$の分散と呼ぶ． 簡単な式変形で $𝕍(f)=𝔼(f^2)-{(𝔼(f))}^2$ となることがわかる．

定義 8.

$(X,𝔐,\mu )$ を確率空間とし， $(Y,𝔑)$ を可測空間とする． このとき可測写像$\varphi :X\to Y$に対して 写像${\varphi }_{\ast }\mu :𝔑\to [0,\mathrm{\infty }]$ を ${\varphi }_{\ast }\mu (A)=\mu ({\varphi }^{-1}(A))$ と定義するとこれは $(Y,𝔑)$上の測度になる． この測度 ${\varphi }_{\ast }\mu$ を$\varphi$による$\mu$の押し出し測度と呼ぶ．

補題 9.

$(X,𝔐,\mu )$ を確率空間とし， $(Y,𝔑)$ を可測空間とする． このとき可測写像$\varphi :X\to Y$と 任意の可測関数$f:Y\to ℝ$について

$${\int }_{X}f(\varphi (x))𝑑\mu ={\int }_{Y}f(y)d({\varphi }_{\ast }\mu )$$

が成り立つ．

証明.

$f$が階段関数の場合を示せば単調収束定理から定理は従う． その階段関数の場合というのも，特性関数の場合を示せば従う．$A\in 𝔑$とする． このとき任意の$x\in X$について $\varphi (x)\in A$は$x\in {\varphi }^{-1}(A)$と 同値なので， ${\chi }_A(\varphi (x))={\chi }_{{\varphi }^{-1}(A)}(x)$ となる． よって

$${\int }_X{\chi }_A(\varphi (x))𝑑\mu =\mu ({\varphi }^{-1}(A))=({\varphi }_{\ast }\mu )(A)={\int }_Y{\chi }_A𝑑{\varphi }_{\ast }\mu$$

となるから特性関数の場合が証明された． ∎

定義 10.

$X$ を集合とし， $(Y,𝔑)$ を可測空間とする． このとき写像$\varphi :X\to Y$に対して

$${\varphi }^{-1}(𝔑)=\{{\varphi }^{-1}(A)\mid A\in 𝔑\}$$

と定義する．これを，$𝔑$の $\varphi$による引き戻しと呼ぶ．

補題 11 (一般化マルコフの不等式).

$\varphi :[0,\mathrm{\infty })\to [0,\mathrm{\infty })$ を非負値単調非減少関数とし， $(X,{𝔐}_X,\mu )$を測度空間とする． このとき任意の $t>0$ について, $\varphi (t)>0$ ならば， 任意の可測関数 $f:X\to ℝ$ について

$$\mu (\{x\in X\mid |f(x)|>\epsilon \})\le \frac{1}{\varphi (\epsilon )}{\int }_X\varphi (|f(x)|)𝑑\mu$$

が成り立つ．

証明.

まず，$\varphi$は可測であることに注意しよう． これは不連続点が高々可算個しかないからである． $S=\{x\in X\mid f(x)>\epsilon \}$とおく． 任意の$x\in S$について，$\varphi (\epsilon )\le \varphi (f(x))$なので，任意の$x\in X$ について $1_S\le \varphi (f)/\varphi (\epsilon )$が成り立つ． よって

$$\mu (S)={\int }_X{1}_S𝑑\mu \le {\int }_X\varphi (f)/\varphi (\epsilon )𝑑\mu \le \frac{1}{\varphi (\epsilon )}{\int }_X\varphi (f)𝑑\mu$$

を得る． ∎

命題 12 (チェビシェフの不等式).

$(X,{ℳ}_X,\mu )$を確率空間とし， $f$を可測関数， $m=𝔼(f)$, $\sigma =𝕍(f)$とおく． このとき任意の$r\in [0,\mathrm{\infty })$について

$$\mu (\{x\in X\mid |f(x)-m|>r\sigma \})\le \frac{1}{r^2}$$

が成り立つ．

証明.

$|f-m|$と $\varphi (x)=x^2$について マルコフの不等式(補題 11)を用いれば良い． ∎

定義 13.

$(X,{ℳ}_X)$ を可測空間とする．可測集合列$\{A_n\}$ について

$$lim\; sup{A}_n=\bigcap _{k=1}\bigcup _{n=k}{A}_n$$

と定義し，この集合を$\{A_n\}$ の上極限と呼ぶ． また，

$$lim\; inf{A}_n=\bigcup _{k=1}\bigcap _{n=k}{A}_n$$

と定義し，$\{A_n\}$の下極限と呼ぶ． 定義から$lim\; sup(X\setminus A_n)=X\setminus lim\; inf(A_n)$ がわかる．

補題 14 (Borel-Cannteliの補題その１).

$(X,{𝔐}_X,\mu )$を確率空間とし， ${\{A_n\}}_{n\in \mathbb{N}}$をその可測集合列とする． もしならば， $\mu (lim\; sup{A}_n)=0$である．

証明.

上極限の定理から，任意の$k\in \mathbb{N}$について， $lim\; sup{A}_n\subset {\bigcup }_{n=k}{A}_n$なので

$$\mu (lim\; sup{A}_n)\le \sum _{n=k}^{\mathrm{\infty }}\mu (A_n)$$

がわかる．なので， 右辺は$k\to \mathrm{\infty }$のとき$0$に収束する．よって $\mu (lim\; sup{A}_n)=0$. ∎

補題 15 (Borel-Cannteliの補題その2).

$(X,{𝔐}_X,\mu )$ を確率空間とし， ${\{A_n\}}_{n\in \mathbb{N}}$をその独立な可測集合列とする． もし ${\sum }_{i=1}^{\mathrm{\infty }}\mu (A_n)=\mathrm{\infty }$ならば， $\mu (lim\; sup{A}_n)=1$である．

証明.

任意に$k\in \mathbb{N}$とを与えたとき，

$1-\mu \left({\displaystyle \bigcup _{n=k}^{\mathrm{\infty }}}{A}_n\right)$ $\le 1-\mu \left({\displaystyle \bigcup _{n=k}^N}{A}_n\right)\le \mu \left({\displaystyle \bigcap _{n=k}^N}(X\setminus A_n)\right)$

$={\displaystyle \prod _{n=k}^N}\mu (X\setminus A_n)={\displaystyle \prod _{n=k}^N}(1-\mu (A_n))$

$\le \exp \left(-{\displaystyle \sum _{n=k}^N}\mu (A_n)\right)$

が成り立つ． ここで，$x\in (0,\mathrm{\infty })$について$1-x\le \exp (-x)$と$\{A_n\}$の独立性を用いた． $N\to \mathrm{\infty }$とすれば，$\exp (-{\sum }_{n=k}^N\mu (A_n))\to 0$ となるので，任意の$k$について$\mu ({\bigcup }_{n=k}^{\mathrm{\infty }}{A}_n)=1$である． 換言すると

$$\mu \left(\bigcap _{n=k}(X\setminus A_n)\right)=0$$

である． さて，

$\mu (X\setminus lim\; inf{A}_n)=\mu \left({\displaystyle \bigcup _{k=1}}{\displaystyle \bigcap _{n=k}}(X\setminus A_n)\right)\le {\displaystyle \sum _{k=1}^{\mathrm{\infty }}}\mu \left({\displaystyle \bigcap _{n=k}}(X\setminus A_n)\right)=0$

なので$\mu (lim\; sup{A}_n)=1$である． ∎

2 確率論における独立性概念

定義 16.

$(X,𝔐,\mu )$ を確率空間とする． ${\{{𝔉}_i\}}_{i\in I}$を $X$の完全加法族の族で ${𝔉}_i\subset 𝔐$ を満たすものとする． このとき，${\{{𝔉}_i\}}_{i\in I}$が 独立であるとは $I$の任意の有限部分集合$\{i_1,\mathrm{\dots },i_n\}$と 任意の $A_1\in {𝔉}_{i_1},\mathrm{\dots },A_n\in {𝔉}_{i_n}$に対して

$$\mu \left(\bigcap _{k=1}^n{A}_k\right)=\prod _{k=1}^n\mu \left(A_k\right)$$

が成り立つときにいう． また，${\{{𝔉}_i\}}_{i\in I}$が 組ごとに独立であるとは 異なる二つの$a,b\in I$に対して， $\{{𝔉}_a,{𝔉}_b\}$ が独立であるときにいう．

定義 17.

$(X,{𝔐}_X,\mu )$を確率空間とし， と ${\{(Y_i,{𝔐}_{Y_i})\}}_{i\in I}$ を可測空間の列とする． このとき， 可測関数の族 ${\{f_i:X\to Y_i\}}_{i\in I}$ が独立であるとは， 任意の有限集合 $S\subset I$ と$ℝ$の任意の部分集合族 ${\{A_i\}}_{i\in S}$について．

$$\mu \left(\bigcap _{i\in S}{f}_i^{-1}(A_i)\right)=\prod _{i\in S}\mu \left(f_i^{-1}(A_i)\right)$$

が成り立つことと定義する． これは，族 $\{f_i^{-1}({𝔐}_{Y_i})\}$が 完全加法族の族として 独立であるということである．

また， 可測関数の族${\{f_i:X\to Y_i\}}_{i\in I}$ が組ごとに独立であるとは， 任意の二元集合$\{a,b\}\subset I$について $f_a$と$f_b$が独立である時にいう．

補題 18.

$(X,{𝔐}_X,\mu )$を確率空間とし， と ${\{(Y_i,{𝔐}_{Y_i})\}}_{i\in I}$ と ${\{(Z_i,{𝔐}_{Z_i})\}}_{i\in I}$ を可測空間の列とする． また， ${\{G_i:Y_i\to Z_i\}}_{i\in I}$ は可測関数の列であるとする．このとき 関数の族 ${\{f_i:X\to Y_i\}}_{i\in I}$ が独立な可測関数からなるのならば， ${\{G_i\circ f_i:X\to Z_i\}}_{i\in I}$ も独立である．

証明.

任意の$i\in I$について

$${(G_i\circ f_i)}^{-1}(A)=f_i^{-1}(G_i^{-1}(A))$$

が成り立つことから明らかである． ∎

定義 19.

$I$を集合とし， ${\{(X_i,{𝔐}_i)\}}_{i\in I}$ を可測空間の族とする． このとき${\prod }_{i\in I}{X}_i$ の部分集合が 柱状集合であるとはそれが 集合族${\{A_i\}}_{i\in I}$であって $A_i\in {𝔐}_i$を満たしさらに 有限個の$i$をのぞいて$A_i=X_i$となるようなものを用いて

$$\prod _{i\in I}{A}_i$$

の形にかける時にいう． 柱状集合全体を$ℭ$で書くことにする． そして$ℭ$から生成される有限加法族を $𝔇$と表すことにする． $𝔇$から生成される完全加法族を ${⨂}_{i\in I}{𝔐}_i$と書くことにする．(つまり ${⨂}_{i\in I}{𝔐}_i=\sigma (𝔇)=\sigma (ℭ)$) 以下では可測空間の直積にはこの可測構造が備わっているものとする．

命題 20.

$(X,{𝔐}_X,\mu )$を確率空間とし， と ${\{(Y_i,{𝔐}_{Y_i})\}}_{i\in I}$ を可測空間の列とする． ${\{f_i:X\to Y_i\}}_{i\in I}$は 独立な確率変数の族とする． $J\subset I$とし， $F:X\to {\prod }_{j\in J}{Y}_j$ を$F(x)={(f_j(x))}_{j\in J}$と定義する． このとき，確率変数の列 $\{F\}\cup {\{f_i\}}_{i\in I\setminus J}$ は独立である．

証明.

$S\subset (I\setminus J)$を有限集合とし， 各$i\in S$について$A_i\in {𝔐}_{Y_i}$ を任意に固定する． さて，$𝔄$を ${⨂}_{j\in J}{𝔐}_{Y_j}$の部分集合で，

$$\mu \left(F^{-1}(A)\cap \bigcap _{i\in S}{f}_i^{-1}(A_i)\right)=\mu (F^{-1}(A))\cdot \prod _{i\in S}\mu \left(f_i^{-1}(A_i)\right)$$

が成り立つような$A$全体の集合とする． さて，柱状集合と$F$，そして独立性の定義から $ℭ\subset 𝔄$ がわかる． また，$𝔄$が$\lambda$系をなすことも 容易にわかる． $ℭ$は$\pi$系なので， $\pi$-$\lambda$定理から $𝔄={⨂}_{j\in J}{𝔐}_{Y_j}$ がわかる． よって$\{F\}\cup {\{f_i\}}_{i\in I\setminus J}$ は独立である． ∎

系 21.

$(X,{𝔐}_X,\mu )$, を確率空間とし， $(Z,{𝔐}_Z)$は可測空間で， ${\{(Y_i,{𝔐}_{Y_i})\}}_{i\in I}$ を可測空間の列とする． ${\{f_i:X\to Y_i\}}_{i\in I}$は 独立な確率変数の族とする． $J\subset I$とし， $g:{\prod }_{j\in J}{Y}_j\to Z$ は可測関数とする． このとき，確率変数の列 $\{g({(f_j)}_{j\in J})\}\cup {\{f_i\}}_{i\in I\setminus J}$ は独立である．

系 22.

$F:X\to {\prod }_{j\in J}{Y}_j$ を$F(x)={(f_j(x))}_{j\in J}$と定義すると 考えている族は $\{g\circ F\}\cup {\{f_i\}}_{i\in I\setminus J}$ とかける． よって命題20 と補題18から，系が従う．

系 23.

上と同じ仮定で $M_i$は$\min$もしくは$\max$を表すとする．このとき ${\{f_i\}}_{i\in I}$ が独立ならば ${\{M_i(f_i,0)\}}_{i\in I}$ も独立である．

以下の命題は独立な可測関数に関する重要な性質である．

定理 24.

任意の確率空間 $(X,𝔐,\mu )$上の 任意の独立な有限個の可測関数列 ${\{f_i:X\to ℝ\}}_{i=1}^n$ について

$$𝔼(f_1\cdot f_2\mathrm{\cdots }{f}_n)=𝔼(f_1)𝔼(f_2)\mathrm{\cdots }𝔼(f_n)$$

が成立する．

証明.

確率変数$f$に対して $f^{+}=\max (f,0)$， $f^{-}=-\min (f,0)$ と書くことにすると， $𝔼(f)=𝔼(f^{+})-𝔼(f^{-})$である． よって先の系 より，各$f_i$が非負値の時に命題を証明すれば良い． $f_i$が非負値の時には各$i\in I$について以下の条件を満たす単関数の列${\{s_i^k\}}_{k\in \mathbb{N}}$が存在する．

1. 任意の$k$について$s_i^k\le f_i$

2. 任意の$k$について$s_i^k\le s_i^{k+1}$

3. 任意の$k\in \mathbb{N}$と任意の$a\in s_i^k(X)$について ${(s_i^k)}^{-1}(a)=\sigma (f_i^{-1}(ℬ(ℝ)))$

この${\{s_i^k\}}_i$について命題が成り立つことをみよう． 各$s_i^k$は互いに素な可測集合${\{A_{(i,k,l)}\}}_l$を用いて

$$s_i^k(x)=\sum _{l=1}^{m(i)}{a}_{(i,l)}{1}_{A_{(i,k,l)}}$$

と表されているとする． この時

$$𝔼(s_i^k)=\sum _{l=1}^{m(i)}{a}_{(i,l)}\mu (A_{(i,k,l)})$$

である． さて

$$\prod _{i=1}^n{s}_i^k=\sum _{l_1,l_2,\mathrm{\dots },l_i}{a}_{l_1}\prod _{i=1}{a}_{(i.l_i)}{1}_{{\bigcap }_{i=1}^n{A}_{(i,k,l)}}$$

であり，$A_{(i,k,l)}$は$f_i$による一点集合の引き戻しとして書けるのだから${\{f_i\}}_i$の独立性から

$$𝔼\left(\prod _{i=1}^n{s}_i^k\right)=\sum _{l_1,l_2,\mathrm{\dots },l_i}{a}_{l_1}\prod _{i=1}{a}_{(i.l_i)}\mu (A_{(i,k,l)})$$

である． この右辺は${\prod }_{i=1}^n𝔼(s_i^k)$に等しいので結局 任意の$k\in \mathbb{N}$について

$$𝔼\left(\prod _{i=1}^n{s}_i^k\right)=\prod _{i=1}^n𝔼(s_i^k)$$

が成り立つ．ここで，$k\to \mathrm{\infty }$とすれば 単調収束定理から

$$𝔼(f_1\cdot f_2,\mathrm{\cdots },f_n)=𝔼(f_1)𝔼(f_2)\mathrm{\cdots }𝔼(f_n)$$

がわかる． ∎

3 可測関数の収束の概念

定義 25.

$(X,𝔐,\mu )$ を測度空間とする． ${\{f_n\}}_{n\in {\mathbb{Z}}_{\ge 0}}$ を $(X,𝔐,\mu )$上の確率変数の列とする． $f$を$(X,𝔐,\mu )$上の確率変数とする． このとき ${\{f_n\}}_{n\in {\mathbb{Z}}_{\ge 0}}$ が$f$に概収束するとは，

$$\mu \left(\{x\in X\mid \underset{n\to \mathrm{\infty }}{lim}{f}_n(x)=f(x)\}\right)=0$$

となるときにいう．つまりはほとんど至る所各点収束しているということである．このとき $f_n\stackrel{a.s.}{\to }f$と書く．

定義 26.

$p\in [1,\mathrm{\infty })$とする． $(X,𝔐,\mu )$ を測度空間とする． ${\{f_n\}}_{n\in {\mathbb{Z}}_{\ge 0}}$ を $(X,𝔐,\mu )$上の確率変数の列とする． $f$を$(X,𝔐,\mu )$上の確率変数とする． このとき ${\{f_n\}}_{n\in {\mathbb{Z}}_{\ge 0}}$ が$f$に$p$次平均収束するとは， ${\{f_n\}}_{n\in {\mathbb{Z}}_{\ge 0}}$が $f$に$L^p$収束するときにいう． つまり，

$${\int }_X{|f_n(x)-f(x)|}^p𝑑\mu =0$$

が成り立つことである． この条件は ${lim}_{n\to \mathrm{\infty }}𝔼({|f_n-f|}^p)=0$ と書いても同じことである． このとき $f_n\stackrel{L^p}{\to }f$ とかく．

定義 27.

$(X,𝔐,\mu )$ を測度空間とする． ${\{f_n\}}_{n\in {\mathbb{Z}}_{\ge 0}}$ を $(X,𝔐,\mu )$上の確率変数の列とする． $f$を$(X,𝔐,\mu )$上の確率変数とする． このとき ${\{f_n\}}_{n\in {\mathbb{Z}}_{\ge 0}}$ が$f$に確率収束するとは， 任意の$ϵ\in (0,\mathrm{\infty })$に対して

$$\underset{n\to \mathrm{\infty }}{lim}\mu \left(\{x\in X\mid |f_n(x)-f(x)|>ϵ\}\right)=0$$

が成り立つときにいう． このとき $f_n\stackrel{𝑃}{\to }f$と書く．

定義 28.

${\{(X_n,{𝔐}_n,{\mu }_n)\}}_{n\in {\mathbb{Z}}_{\ge 0}}$ を測度空間の列とする． 各$n$について$f_n:X\to ℝ$は $(X_n,{𝔐}_n,{\mu }_n)$上の確率変数とする． $(X,𝔐,\mu )$を確率空間とし， $f$を$(X,𝔐,\mu )$上の確率変数とする． このとき ${\{f_n\}}_{n\in {\mathbb{Z}}_{\ge 0}}$ が$f$に分布収束する，あるいは 法則収束するとは， 任意の$\varphi \in C_b(ℝ)$について

$$\underset{n\to \mathrm{\infty }}{lim}{\int }_{X_n}\varphi \circ f(x)𝑑{\mu }_n={\int }_X\varphi \circ f(x)𝑑\mu$$

が成り立つときにいう． これは

$$\underset{n\to \mathrm{\infty }}{lim}{\int }_{X_n}\varphi (t)d({(f_n)}_{\ast }{\mu }_n)={\int }_X\varphi (t)d(f_{\ast }\mu )$$

と同値である． このとき $f_n\stackrel{𝑑}{\to }f$ とかく． 上記で説明した三つの収束とは違い，各$f_n$ は同一の確率空間上に定義されている必要はないことに注意しよう．

命題 29.

$(X,𝔐,\mu )$ を測度空間とする． ${\{f_n\}}_{n\in {\mathbb{Z}}_{\ge 0}}$ を $(X,𝔐,\mu )$上の確率変数の列とする． $f$を$(X,𝔐,\mu )$上の確率変数とする． このとき 以下が成り立つ．

1. $f_n\stackrel{a.s.}{\to }f$ ならば $f_n\stackrel{𝑃}{\to }f$

2. $p\in [1,\mathrm{\infty })$とする．このとき $f_n\stackrel{L^p}{\to }f$ ならば $f_n\stackrel{𝑃}{\to }f$

3. $f_n\stackrel{𝑃}{\to }f$ ならば $f_n\stackrel{𝑑}{\to }f$

証明.

[(1)の証明] $ϵ\in (0,\mathrm{\infty })$を任意に与える． $S_n=\{x\in X\mid |f_n(x)-f(x)|>ϵ\}$ と定義する． $f_n\stackrel{𝑃}{\to }$を示すには $\mu (S_n)\to 0$を示せば良い． ここで，仮定より$f_n\stackrel{a.s.}{\to }f$なので， ${\chi }_{S_n}$は$0$に各点収束する．よってルベーグの優収束定理から，$\mu (S_n)\to 0$がわかる．

[(1)の証明終わり]

[(2)の証明] マルコフの不等式(補題 11)から

$$\mu (S_n)\le \frac{1}{{ϵ}^p}{\int }_X{|f_n-f|}^p𝑑\mu$$

となるのでわかる．

[(2)の証明終わり]

[(3)の証明]

任意に単射$\varphi :{\mathbb{Z}}_{\ge 0}\to {\mathbb{Z}}_{\ge 0}$ を与える． $f_n\stackrel{𝑃}{\to }f$なので特に $f_{\varphi (n)}\stackrel{𝑃}{\to }f$でもある． よって単射$\psi {\mathbb{Z}}_{\ge 0}\to {\mathbb{Z}}_{\ge 0}$ が存在して， $f_{\varphi \circ \psi (n)}\stackrel{a.s.}{\to }f$ となる． 特に任意の$g\in C_b(ℝ)$について $g\circ f_{\varphi \circ \psi (n)}\stackrel{a.s.}{\to }g\circ f$ である． よってルベーグの優収束定理から $𝔼(g\circ f_{\varphi \circ \psi (n)})\to 𝔼(g\circ f)$ である． もしも，$𝔼(g\circ f_n)$が$𝔼(g\circ f)$ に収束しないならば，ある単射$\varphi :{\mathbb{Z}}_{\ge 0}\to {\mathbb{Z}}_{\ge 0}$とある$r\in (0,\mathrm{\infty })$が存在して となるが，これは上記の議論に矛盾する． よって$𝔼(g\circ f_n)\to 𝔼(g\circ f)$である． これは$f_n\stackrel{𝑑}{\to }f$を意味する．

[(3)の証明終わり] ∎

4 大数の弱法則

この節では，大数の弱法則を二つ紹介する．

大数の弱法則は大まかに言えば， 平均値が有限で，同一であるような 確率変数列から$n$項目までの平均という確率変数列を新たに作ると，その平均の列は元の確率変数列の平均値に 確率収束することを述べた定理である． 一般には最初に与える確率変数列の平均が同一である必要はなく，より強く次のことが言える．

定理 30 (大数の弱法則その１).

$(X,{ℳ}_X,\mu )$ を確率空間とする．そして ${\{f_i\}}_{i\in \mathbb{N}}$を組ごとに独立な$L^1$確率変数とする． ここで，$S_n=\frac{1}{n}{\sum }_{i=1}^n{f}_i$， $m_n=\frac{1}{n}{\sum }_{i=1}^n𝔼(f_i)$ とおくと， もし ならば， 任意の$\epsilon$に対して，

$$\mu (\{x\in X\mid |S_n-m_n|>\epsilon \})\le \frac{\mathrm{\Theta }}{{\epsilon }^{2}n}$$

が成り立つ． 特に$m_n\to m$ならば $S_n\stackrel{𝑃}{\to }m(n\to \mathrm{\infty })$である．

証明.

$S=\{x\in X\mid |S_n-m_n|>\mathrm{\Theta }\epsilon \}$とおく． このとき，一般化マルコフの不等式から，

$\mu (S)$ $\le {\displaystyle \frac{1}{{\epsilon }^2}}{\displaystyle {\int }_X}{|S_n-m_n|}^2𝑑\mu ={\displaystyle \frac{1}{{\epsilon }^2{n}^2}}{\displaystyle {\int }_X}{\left|{\displaystyle \sum _{i=1}^n}(f_i-𝔼(f_i))\right|}^2𝑑\mu$

$={\displaystyle \frac{1}{{\epsilon }^2{n}^2}}{\displaystyle {\int }_X}{\left({\displaystyle \sum _{i=1}^n}(f_i-𝔼(f_i))\right)}^2𝑑\mu ={\displaystyle \frac{1}{{\epsilon }^2{n}^2}}{\displaystyle {\int }_X}{\displaystyle \sum _{i,j}}(f_i-𝔼(f_i))(f_j-𝔼(f_j))d\mu$

$={\displaystyle \frac{1}{{\epsilon }^2{n}^2}}{\displaystyle \sum _i}{\displaystyle {\int }_X}{(f_i-𝔼(f_i))}^2𝑑\mu ={\displaystyle \frac{1}{{\epsilon }^2{n}^2}}{\displaystyle \sum _i}𝕍(f_i)\le {\displaystyle \frac{1}{{\epsilon }^2{n}^2}}(n\mathrm{\Theta })$

$\le {\displaystyle \frac{\mathrm{\Theta }}{{\epsilon }^{2}n}}$

がわかる． 途中で，組ごとの独立性から，$i\ne j$ならば

$${\int }_X(f_i-𝔼(f_i))(f_j-𝔼(f_j))𝑑\mu =\left({\int }_X(f_i-𝔼(f_i))𝑑\mu \right)\cdot \left({\int }_X(f_j-𝔼(f_j))𝑑\mu \right)=0$$

となることを使った． ∎

定理 30 から， 系として次を得る． 一般にはこちらの形の弱法則を見る機会が多いかもしれない．

定理 31 (大数の弱法則その2).

$(X,{ℳ}_X,\mu )$ を確率空間とする．そして ${\{f_i\}}_{i\in \mathbb{N}}$を組ごとに独立な同分布$L^1$確率変数 とする． ここで，$S_n=\frac{1}{n}{\sum }_{i=1}^n{f}_i$， $m=𝔼(f_1)$とおくと， もし ならば， 任意の$\epsilon$に対して，

$$\mu (|S_n-m|>\epsilon )\le \frac{\sigma }{{\epsilon }^{2}n}$$

が成り立つ． 特に $n\to \mathrm{\infty }$のとき $S_n\stackrel{𝑃}{\to }m$である．

5 大数の強法則

この節では大数の強法則を証明する． 弱法則が確率収束について述べた定理であるのに対して， 強法則は概収束に関する定理である．

まず最初に確率変数の4次モーメントが有限であるという仮定の下での強法則を証明する．この仮定を使うと比較的簡単に定理を証明できる．

定理 32 (大数の強法則その１).

${\{f_i\}}_{i\in \mathbb{N}}$を確率空間$(X,{𝔐}_X,\mu )$ 上の独立な可測関数とする． $S_n=\frac{1}{n}{\sum }_{i=1}^n{f}_i$とおく． $m,v,h\in (0,\mathrm{\infty })$とする． もし，$i$によらず， $m=𝔼(f_i)$, $v=𝔼(f_i^2)$, $h=𝔼(f_i^4)$が成り立つならば，$S_n\stackrel{a.s.}{\to }m$となる．

証明.

まず，

${(S_n-m)}^4$ $={((f_i-m)/n)}^4$

$={\displaystyle \frac{1}{n^4}}\left({\displaystyle \sum _i}{(f_i-m)}^4+{\displaystyle \sum _{i,j}}\left({\displaystyle \genfrac{}{}{0pt}{}{4}{2}}\right){(f_i-m)}^2{(f_j-m)}^2+{\displaystyle \sum _{i,j,k,l}}\left({\displaystyle \genfrac{}{}{0pt}{}{4}{1}}\right)(f_i-m)(f_j-m)(f_k-m)(f_l-m)+{\displaystyle \sum _{i,j}}\left({\displaystyle \genfrac{}{}{0pt}{}{4}{3}}\right){(f_i-m)}^3(f_j-m)\right)$

である． 積分をすると独立性から，後ろ二つの項は$0$になる．よって

$𝔼({(S-m)}^4)$ $={\displaystyle \frac{1}{n^4}}\left({\displaystyle \sum _{i=1}^n}h+{\displaystyle \sum _{i\ne j}}\left({\displaystyle \genfrac{}{}{0pt}{}{4}{2}}\right)v^2\right)$

$={\displaystyle \frac{1}{n^4}}\left(nh+3(n^2-n)v^2\right)$

つまり，

$$E({(S_n-m)}^4)=O(n^{-2})$$

である． 各$k\in {\mathbb{Z}}_{\ge 0}$に対して $A_k=\{x\in X\mid |S_k-m|\le k^{-0.1}\}$, $B_k=X\setminus A_k$とおく． すると マルコフの不等式(補題 11)から

$$\mu (B_k)\le E({(S_k-m)}^4)/{(k^{-0.1})}^4\le M{k}^{-1.6}$$

がわかるので，

がわかる． よってボレルカンテリの補題その1 (補題14)から $\mu (lim\; sup{B}_k)=0$である． つまり$\mu (lim\; inf{A}_k)=1$である． $x\in lim\; inf{A}_k$とすると， 下極限の定義から，ある$n$が存在して，任意の$k\ge n$について， $x\in A_k$, つまり． よって ${lim}_{n\to \mathrm{\infty }}{S}_n(x)=m$がわかるので $S_n$は$m$に概収束する． ∎

次に，4次モーメントではなく， 2次モーメント(分散)が上から抑えられているときの強法則を紹介する．

定理 33 (大数の強法則その2).

${\{f_i\}}_{i\in \mathbb{N}}$を確率空間$(X,{𝔐}_X,\mu )$ 上の独立な$L^2$可測関数とし，$v\in (0,\mathrm{\infty })$ とする．そして $𝔼(f_i)=0$で $v_i=𝔼(f_i^2)\le v$と仮定する． $S_n=\frac{1}{n}{\sum }_{i=1}^n{f}_i$とおく． このとき$S_n\stackrel{a.s.}{\to }0$ が成り立つ．

証明.

$T_n={\sum }_{i=1}^n{f}_i$とおく． そして，可測関数${\sum }_{m=1}^{\mathrm{\infty }}{(T_{m^2}/m^2)}^2$の積分を考える．

$𝔼\left({\displaystyle \sum _{m=1}^{\mathrm{\infty }}}{(T_{m^2}/m^2)}^2\right)$ $={\displaystyle \sum _{m=1}^{\mathrm{\infty }}}{\displaystyle \frac{1}{m^4}}𝔼(T_{m^2}^2)={\displaystyle \sum _{m=1}^{\mathrm{\infty }}}{\displaystyle \frac{1}{m^4}}{\displaystyle \sum _{i=1}^{m^2}}𝔼(f_i^2)\le {\displaystyle \sum _{m=1}^{\mathrm{\infty }}}{\displaystyle \frac{1}{m^4}}{m}^{2}v$

故に ほとんど至る所の$x\in X$で， である． よって，ほとんど至る所の$x\in X$で${lim}_{m\to \mathrm{\infty }}{(T_{m^2}(x)/m^2)}^2=0$, つまり， ${lim}_{m\to \mathrm{\infty }}{T}_{m^2}(x)/m^2=0$ となることががわかる． さて，可測関数$U_m$を以下のように定義する．

$$U_m=\underset{m^2+1\le k\le {(m+1)}^2}{\max }\left|\sum _{i=m^2+1}^k{f}_i\right|$$

そして，$U_m$の２次モーメントを以下のように評価する．

$𝔼(U_m^2)$ $\le {\displaystyle \sum _{k=m^2+1}^{{(m+1)}^2}}𝔼\left({\left({\displaystyle \sum _{i=m^2+1}^k}{f}_i\right)}^2\right)$

$={\displaystyle \sum _{k=m^2+1}^{{(m+1)}^2}}{\displaystyle \sum _{i=m^2+1}^k}𝔼(f_i^2)={\displaystyle \sum _{k=m^2+1}^{{(m+1)}^2}}(k-m^2)v\le {\displaystyle \sum _{k=m^2+1}^{{(m+1)}^2}}(2m+1)v$

$\le {(2m+1)}^{2}v.$

故に，可測関数${\sum }_{m=1}^{\mathrm{\infty }}{(U_m/m^2)}^2$の積分を考えると，

である． よってほとんど至るところの$x\in X$について， ${lim}_{m\to \mathrm{\infty }}{U}_m(x)/m^2=0$ である． 任意の$n$について，$m=\lfloor \sqrt{n}\rfloor$ とすると$m^2+1\le n\le {(m+1)}^2$である． このとき

$\left|S_n\right|=\left|{\displaystyle \frac{T_n}{n}}\right|\le {\displaystyle \frac{|T_n|}{m^2}}\le {\displaystyle \frac{T_{m^2}+U_m}{m^2}}=\left|{\displaystyle \frac{T_{m^2}}{m^2}}\right|+{\displaystyle \frac{U_m}{m^2}}$

である． ほとんど至る所の$x\in X$について ${lim}_{m\to \mathrm{\infty }}{T}_{m^2}(x)/m^2={lim}_{m\to \mathrm{\infty }}{U}_m(x)/m^2=0$ なので，ほとんど至る所の$x\in X$で，

$$\underset{n\to \mathrm{\infty }}{lim}{S}_n(x)=0$$

となり，結論を得る． ∎

次にコルモゴロフが証明した大数の強法則を紹介していこう．

まずクロネッカーの補題を紹介する．

補題 34 (Kroneckerの補題その１).

${\{b_i\}}_{i=1}^{\mathrm{\infty }}$を を満たす数列とし， 数列${\{a_i\}}_{i=1}^{\mathrm{\infty }}$は$a_n\to a$を満たすとする。このとき，

$$\underset{n\to \mathrm{\infty }}{lim}\frac{{\sum }_{i=1}^{n-1}(b_{i+1}-b_i)a_i}{b_n}=a$$

が成り立つ。

証明.

実数$a\in ℝ$に対して

$$\frac{{\sum }_{i=1}^{n-1}(b_{i+1}-b_i)a}{b_n}=\left(1-\frac{b_1}{b_n}\right)\to a$$

が成り立つので、$a=0$の場合にのみ定理を証明すれば十分である。 これは十分大きい$k$について

などからわかる。 ∎

補題 35 (クロネッカーの補題その２).

${\{b_i\}}_{i=1}^{\mathrm{\infty }}$を を満たす数列とし， ${\{a_i\}}_{i=1}^{\mathrm{\infty }}$は実数列で， ${\sum }_{i=1}^{\mathrm{\infty }}{a}_i$が収束すると仮定する． このとき

$$\underset{n\to \mathrm{\infty }}{lim}\frac{1}{b_n}\sum _{k=1}^n{b}_k{a}_k=0$$

である．

証明.

$S_n={\sum }_{i=1}^n{a}_i$ とする． 部分和の公式から，

$$\frac{1}{b_n}\sum _{k=1}^n{b}_k{a}_k=S_n-\frac{1}{b_n}\sum _{k=1}^{n-1}(b_{k+1}-b_k)S_k$$

なので，クロネッカーの補題その１ (補題 34)から補題は従う． ∎

命題 36 (コルモゴロフの不等式).

$(X,{𝔐}_X,\mu )$を確率空間とし， ${\{f_i\}}_{i\in \mathbb{N}}$をその上の独立な可測関数とする． そして各 $i\in \mathbb{N}$について$𝔼(f_i)=0$とする． そして $S_n={\sum }_{i=1}^n{f}_i$ とする．

このとき任意の$a\in (0,\mathrm{\infty })$について

$$\mu \left(\{x\in X\mid \underset{1\le k\le n}{\max }|S_k(x)|\ge a\}\right)\le \frac{1}{a^2}𝔼(S_n^2)$$

が成り立つ．

証明.

$A=\{x\in X\mid {\max }_{1\le k\le n}|S_k(x)|\ge a\}$ とおく． $\mu (A)$を上から評価していく． そして $k\in \{1,\mathrm{\dots },n\}$について

とおく． すると

$$A=\coprod _{1\le k\le n}{B}_k$$

が成り立つ．よって，マルコフの不等式から

$$\mu (A)=\sum _{1\le k\le n}\mu (B_k)\le \sum _{1\le k\le n}\frac{1}{a^2}{\int }_{B_k}{(S_k)}^2𝑑\mu$$

を得る． ここで，各$k$について，$S_n=S_k+(S_n-S_k)$ なので，

${\displaystyle {\int }_{B_k}}{S}_n^2𝑑\mu -{\displaystyle {\int }_{B_k}}{S}_k^2𝑑\mu$ $=2{\displaystyle {\int }_{B_k}}{S}_k(S_n-S_k)𝑑\mu +{\displaystyle {\int }_{B_k}}{(S_n-S_k)}^2𝑑\mu$

$\ge 2{\displaystyle {\int }_X}({\chi }_{B_k}\cdot S_k)(S_n-S_k)𝑑\mu$

$=2𝔼(({\chi }_{B_k}\cdot S_k)(S_n-S_k))$

である． ここで，系 21から${\chi }_{B_k}{S}_k$と$S_n-S_k={\sum }_{i=k+1}^n{f}_i$は独立である． よって

$$𝔼(({\chi }_{B_k}{S}_k)(S_n-S_k))=𝔼({\chi }_{B_k}{S}_k)𝔼(S_n-S_k)=0$$

であるから，結局 $𝔼(S_n^2{\chi }_{B_k})\ge 𝔼(S_k^2{\chi }_{B_k})$ である． したがって

$\mu (A)\le {\displaystyle \sum _{1\le k\le n}}{\displaystyle \frac{1}{a^2}}𝔼(S_k^2\cdot {\chi }_{B_k})\le {\displaystyle \sum _{1\le k\le n}}{\displaystyle \frac{1}{a^2}}𝔼(S_n^2\cdot {\chi }_{B_k})\le {\displaystyle \frac{1}{a^2}}𝔼(S_n^2)$

を得る． ∎

定理 37 (コルモゴロフの二級数定理).

$(X,{𝔐}_X,\mu )$を 確率空間とし，${\{f_i\}}_{i\in \mathbb{N}}$を独立な可測関数列とする．このとき， と が成り立つならば， ほとんど至る所${\sum }_{i=1}^{\mathrm{\infty }}{f}_i$は有限値に収束する．

証明.

任意の$i$について $𝔼(f_i)=0$ と仮定しても良い． $T_n={\sum }_{i=1}^n{f}_i$ とおく． $N\in \mathbb{N}$について

$$A_N(ϵ)=\{x\in X\mid \exists i,j>N|T_i(x)-T_j(x)|\ge 2\epsilon \}$$

$$B_N(ϵ)=\{x\in X\mid \exists i>N|T_i(x)-T_N(x)|\ge \epsilon \}$$

と定義する． 定義から$A_N(ϵ)\subset B_N(ϵ)$である． ここで

$$C_{N,k}(ϵ)=\{x\in X\mid \exists i\in \mathbb{N}N\le i\le k\wedge |T_i(x)-T_N(x)|\ge \epsilon \}$$

と定義すると， $C_{N,k}(ϵ)\subset B_N(ϵ)$ で， $B_N(ϵ)={\bigcup }_{k=N}^{\mathrm{\infty }}{C}_{N,k}(ϵ)$である． ここで，コルモゴロフの不等式(命題 36)から，

$$\mu (C_{N,k}(ϵ))\le {\epsilon }^{-2}\sum _{k=N}^k𝕍(f_i)$$

である． ここで$k\to \mathrm{\infty }$とすれば

$$\mu (B_N(ϵ))\le {\epsilon }^{-2}\sum _{k=N}^{\mathrm{\infty }}𝕍(f_i)$$

となる． つまり，

$$\mu \left(\bigcap _{n\in \mathbb{N}}{A}_n(ϵ)\right)\le \mu (A_N(ϵ))\le \mu (B_N(ϵ))\le \sum _{k=N}^{\mathrm{\infty }}𝕍(f_i)$$

であり，$N\to \mathrm{\infty }$とすれば， 最左辺は$N$に依存しないので， $\mu \left({\bigcap }_{n\in \mathbb{N}}{A}_n(ϵ)\right)=0$ がわかる． $D(\epsilon )={\bigcap }_{n\in \mathbb{N}}{A}_n(ϵ)$とおこう． $D={\bigcup }_{n\in \mathbb{N}}D(2^{-n})$とすると，$\mu (D)=0$ なので，

$$X\setminus D=\bigcap _{n\in \mathbb{N}}(X\setminus D(2^{-n}))$$

の測度が$1$である．この集合に属しているということは，$\{T_n(x)\}$ がコーシー列をなしているということなので，$\{T_n\}$はほとんど至る所有限の値に収束する． ∎

平均値が同じ確率変数で，分散について良い振る舞いをするものについて強法則が成り立つことを示したのが次の定理である．

定理 38 (大数の強法則その3：コルモゴロフの第一定理).

${\{f_i\}}_{i\in \mathbb{N}}$を確率空間 $(X,{𝔐}_X,\mu )$ 上の独立な可測関数列とする． $S_n=\frac{1}{n}{\sum }_{i=1}^n{f}_i$とおく． もし，$i$によらず， $m=𝔼(f_i)$が成り立ち さらに

ならば，$S_n\stackrel{a.s.}{\to }m$となる．

証明.

各$i\in \mathbb{N}$について

$$g_i=\frac{f_i-m}{i}$$

とおくと， $𝔼(g_i)=0$であり，

なので，コルモゴロフの二級数定理(定理 37)から， ほとんど至る所の$x\in X$で ${\sum }_{i\in \mathbb{N}}{g}_i(x)={\sum }_{i=1}^{\mathrm{\infty }}(f_i(x)-m)/i$は有限の値に収束する． ここで，クロネッカーの補題その2 (補題 35)を適応すると，ほとんど至る所の$x\in X$で， ${lim}_{n\to \mathrm{\infty }}\frac{1}{n}{\sum }_{i=1}^n(f_i(x)-m)=0$である． これは，$S_n\stackrel{a.s.}{\to }m$を意味する． ∎

分散に関する仮定なしで， 平均値が有限な分布を共有する確率変数について強法則が成り立つことを主張するのが次の定理である．

定理 39 (大数の強法則その４：コルモゴロフの第二定理).

${\{f_i\}}_{i\in \mathbb{N}}$を確率空間 $(X,{𝔐}_X,\mu )$ 上の独立なで同分布な可測関数列とする． $S_n=\frac{1}{n}{\sum }_{i=1}^n{f}_i$とおく． もし， ならば， $S_n\stackrel{a.s.}{\to }m$となる．

証明.

各$i\in \mathbb{N}$に対して

$$g_i(x)=f_i(x)\cdot \left({\chi }_{[-i,i]}\circ f_i(x)\right)$$

と定義する． つまり，$g_i(x)$は$|f_i(x)|\le i$となるときは$g_i(x)=f_i(x)$で，そうでないときは$g_i(x)=0$である．

まず最初に$\{g_i\}$について大数の強法則が成り立つことを示す． つまり， $\frac{1}{n}{\sum }_{i=1}^n{g}_i\stackrel{a.s.}{\to }m$を示す． ところで，ルベーグの収束定理から， $\frac{1}{n}{\sum }_{i=1}^n𝔼(g_i)\to m$ なので， 結局 $\frac{1}{n}{\sum }_{i=1}^n(g_i-𝔼(g_i))\stackrel{a.s.}{\to }0$ が言えれば良い． また，$m=0$としても一般性を失わない． $𝕍(g_i)=𝕍(g_i-𝔼(g_i))$と， コルモゴロフの第一定理(定理 38)から

が示せれば良い． まず， $𝕍(g_i)=𝔼(g_i^2)-{(𝔼(g_i))}^2\le 𝔼(g_i^2)$に注意しよう．

${\displaystyle \sum _{i=1}^{\mathrm{\infty }}}{\displaystyle \frac{𝕍(g_i)}{i^2}}$ $\le {\displaystyle \sum _{i=1}^{\mathrm{\infty }}}{\displaystyle \frac{𝔼(g_i^2)}{i^2}}\le 4{\displaystyle \sum _{i=1}^{\mathrm{\infty }}}{\displaystyle \frac{𝔼(g_i^2)}{{(i+1)}^2}}=4{\displaystyle \sum _{i=1}^{\mathrm{\infty }}}{\displaystyle \frac{1}{{(i+1)}^2}}{\displaystyle {\int }_{-i}^i}{x}^{2}d({(f_1)}_{\ast }\mu )$

$\le 4{\displaystyle {\int }_{[0,\mathrm{\infty }]}}{\displaystyle \frac{1}{y^2}}{\displaystyle {\int }_{-y}^y}{x}^{2}d({(f_1)}_{\ast }\mu )𝑑{ℒ}^1(y)$

$\le 4{\displaystyle {\int }_{ℝ}}\left({\displaystyle {\int }_{[|x|,\mathrm{\infty }]}}{\displaystyle \frac{1}{y^2}}\right)x^2𝑑{ℒ}^1(y)d({(f_1)}_{\ast }\mu )$

なので， $\frac{1}{n}{\sum }_{i=1}^n(g_i-𝔼(g_i))\stackrel{a.s.}{\to }0$ が結論できる．

次に$\{f_i\}$について大数の強法則が成り立つことを示そう． $\{x\mid f_i(x)\ne g_i(x)\}=\{x\in X\mid |f_i(x)|>i\}$であり， $f_i$たちは同一分布に従うので， $\mu (\{x\mid |f_i(x)|>i\})=\mu (\{x\in X\mid |f_1(x)|>i\})$である． よって

${\displaystyle \sum _{i=1}^{\mathrm{\infty }}}\mu (\{x\in X\mid f_i(x)\ne g_i(x)\})$ $={\displaystyle \sum _{i=1}^{\mathrm{\infty }}}\mu (\{x\in X\mid |f_i(x)|>i\})$

$={\displaystyle \sum _{i=1}^{\mathrm{\infty }}}\mu (\{x\in X\mid |f_1(x)|>i\})$

$\le {\displaystyle {\int }_0^{\mathrm{\infty }}}\mu (\{x\mid |f_1(x)|>t\})𝑑{ℒ}^1(t)$

$={\displaystyle {\int }_{[0,\mathrm{\infty }]}}{\displaystyle {\int }_X}{1}_{\{|f_1|>t\}}(y)𝑑\mu (y)𝑑{ℒ}^1(t)$

$={\displaystyle {\int }_X}{\displaystyle {\int }_{[0,\mathrm{\infty }]}}{1}_{\{|f_1|>t\}}(y)𝑑{ℒ}^1(t)𝑑\mu$

$={\displaystyle {\int }_X}{\displaystyle {\int }_0^{|f_1(y)|}}𝑑{ℒ}^1(t)𝑑\mu ={\displaystyle {\int }_X}|f_1(y)|𝑑\mu$

となるから ボレルカンテリの補題その１ (補題 14)から， ${lim\; inf}_i\{x\in X\mid f_i(x)=g_i(x)\}$の測度は $1$である．つまり，ほとんど至る所の$x$について，$N_x$が存在して， $n>N_x$ならば，$g_n(x)$と$f_n(x)$は等しい． よって，このような$x$について $\frac{1}{n}{\sum }_{i=1}^n{f}_i(x)\to m$がわかるので，大数の強法則が成り立つ． ∎

「知識は公共財」