中心極限定理
この文書では 中心極限定理の証明を紹介する.
1 基本事項
定義 1.
位相空間に対して,の開集合系から生成される 完全加法族をと書くことにする. この集合族をボレル集合族と呼ぶ.
定義 2.
測度空間 上の測度 が 確率測度であるとは, を満たすときにいう. が確率測度であるとき,測度空間 を 確率空間と呼び, の元のことを 事象と呼ぶ.
定義 3.
確率空間 から 可測空間への可測写像可測写像を -値確率変数と呼ぶ. あるいは紛れがないときには単に 確率変数と呼んだりもする.
定義 4.
確率空間 とその上の確率変数について を と書いたりする. 特に を の期待値と呼んだり, の平均値と呼んだりする. そしてに対して, をの次モーメントと 呼んだりする. であるときは 関数とか言ったりするが,これは測度論と同じ言葉遣いである. また, をの分散と呼ぶ. 簡単な式変形で となることがわかる.
定義 5.
を確率空間とし, を可測空間とする. このとき可測写像に対して 写像 を と定義するとこれは 上の測度になる. この測度 をによるの押し出し測度と呼ぶ.
補題 6.
を確率空間とし, を可測空間とする. このとき可測写像と 任意の可測関数について
が成り立つ.
定義 7.
上ので定義された 一次元ルベーグ測度をと書くことにする.
補題 8.
を確率空間とする. を上の可測関数とする. そして新しく上の測度 を
と定義する. すると 上の可測関数について
が成り立つ.
証明.
単関数近似を使うとわかる. ∎
以下の定理の証明は[3]を参考にしても良い. 証明は省略する.
定理 9 (Prokhorov).
を可分完備距離化可能空間とし, とする. このとき以下は同値である.
-
(1)
は相対コンパクトである.
-
(2)
は緊密である.
以下の二つの補題については [4] を参考にしてもいい. 証明は省く.
補題 10 (ディリクレ積分).
以下が成り立つ.
さらに
が成り立つ.
補題 11.
で とする. を の確率密度関数とする. つまり
である. このとき
とおくことにする. このとき
つまり
となる. 特に
であり,
である.
定義 12.
で とし,
とする.
上の測度 を
と定義する. この測度を 平均がで分散がの正規分布 と言ったりする. 一般に確率空間 上の確率変数について, 押し出し測度が平均がで分散がの正規分布に一致するとき は平均がで分散がの正規分布に従うなどと言ったりする.また,平均がで分散がの正規分布をで表し, はに従うと言ったりもする.
定義 13 (分布関数).
上の確率測度に対して 関数を と定義する.このを の分布関数と呼ぶ 一般に確率空間 とその上の確率変数に対して, をの分布関数 と言ったりする.分布関数のことを 累積分布関数とも呼ぶ.
定理 14.
上の二つの確率測度に対して ならば,である.
証明.
任意の実数がを満たすならば であり, また なので,であることから集合族 の上でと は一致することがわかる.この集合族が生成する完全加法族は ボレル集合族に一致するのでである. ∎
2 特性関数
この節では確率測度の特性関数の定義と基本的な性質を紹介する.
定義 15.
を 上の測度とする. このとき関数を
と定義する.この関数を の特性関数と呼ぶ.
定理 16 (Lévyの反転公式).
とする. 記述を簡単にするために , とおく, このとき の任意の連続点について ならば
が成り立つ.
証明.
まず,Fubini—Toneliの定理から 任意のについて
が成り立つ.
ここで,関数
は任意のに対してに 関して奇関数なので(さらにに関して連続にもなる)
となる.ゆえに
が成り立つ. ここで,
と定義すると
なので
である.
注意.
定理の主要な等式は以下である.
この式は
とみなすことができる. 特性関数とはの“確率密度関数”のフーリエ変換 であり,上の式はその特性関数をフーリエ逆変換してのちに上で積分した量に等しいと考えることができるので,その値はに等しいという観察ができる. しかし一般に特性関数は急減少関数などのフーリエ変換について良い振る舞いをする関数になるとは限らないので,
が成り立つのかどうか,もしくはそもそも が上で可積分かどうかすらわからないので, 上の観察を少し修正して,上の定理の様に主値積分で累積分布関数の情報を引き出す必要があったわけである.
補題 17.
以下の不等式が成り立つ.
特にであり, である.
証明.
関数を と定義する. のとき, である. さらにとなる点 が存在する.例えばにおいてこの不等式が成り立つ. 関数は連続だから,
なので,がわかる. また,
なので がわかる. これらの積分の不等式において 真の不等式が得られるのは が連続であり, となるが存在するからである. ∎
補題 18.
実数が を満たすならば,
が成り立つ.
証明.
のときだけ証明すれば良い. とおく. のとき の符号を調べる. なので, であり, 上ではは単調減少なので である. そしてなので, のとき である. なので,特にならば, であるから,この場合も が成り立つ. よってならば である. ∎
命題 19.
任意の について ならば である.
証明.
命題 20.
点列 と について と (各点収束) は同値である.
証明.
弱収束 が成り立つ ならば (各点収束) となること は定義からすぐにわかる. 逆を示そう. 記述を簡単にするために , とおくことにする. まずの緊密性を示そう. とする. 今から
を評価する. 任意の十分大きいと十分大きい についてならば を満たすことを示せれば が緊密であることがわかる. について なので補題から, であるから,
が成り立つ. と置くと,
となる. よって,
なので, 任意のについて
を得る. さて, のとき,
が成り立つので,
がわかる. ここで
とおけば,
である. さて,は であり連続だから,積分の平均値の定理から となる.つまり, 任意のに対して, が存在して, ならば となる.このことからを を満たすように大きくとれば,
が成り立つ.
次にを評価する. を固定して考える. は に各点収束している. また,各が確率測度であることと, 特性関数の定義から 上では は一様有界である(特にによらず定数で上から抑えられる). 有界収束定理から,
が成り立つので,を十分大きく取ればのとき となる. 以上から十分大きい と を取れば, となるについて となるから, 列 は緊密になる. Prokhorovの定理(定理 9)から, は弱収束の位相について 相対コンパクトである. さて, の任意の部分列をとると,これもやはり相対コンパクトなので, 収束する部分列が取れる. その部分列の収束先を とすると,仮定から がわかる. 命題 19から, が結論されるので,結局 の任意の部分列は収束する部分列が存在し,その収束先は全て である.よって元の列 はに収束する. ∎
応用として正規分布の再生性などを証明する.
定理 21.
を確率空間とし, をその上の確率変数で に従うとする. このときは に従う.
証明.
とおく. すると
となる. これは の特性関数なので,定理が成り立つことがわかる. ∎
定理 22.
を確率空間とし, をその上の独立な確率変数で それぞれ と に従うとする. このときは に従う.
証明.
とおくすると
これは の特性関数なので,定理が従う. ∎
3 中心極限定理
このセクションでは 中心極限定理を証明する.
まずは次の初等的な補題を示そう.
補題 23.
でないに収束する 数列と に収束する数列 について,が存在するならば,
が成り立つ.
証明.
なので は十分大きい番号でである. これを使って
が成り立つので が恒等的にの場合に補題を証明すれば良い. 二項定理により
である. ところで,各について
である. ここで,と, に対してテイラーの定理を用いると, が存在して
であるから,
である.ここで,のとき, となので,
がわかる.このことから補題が示された. ∎
中心極限定理は以下の定理である.
定理 24.
を確率空間とする. そして をこの確率空間上の独立な可測関数で, 同分布に従い, とする. このとき,
で定義される可測関数列 はに法則収束する.
証明.
最初からでとしても良い. をの特性関数とする. このとき達は同分布に従うので である. この関数を単にで表すことにする. なので 各はであるから,優収束定理から は級関数であり,
が満たされる. よって テイラーの定理から 任意のについて,となるが 存在して
を満たす. の特性関数を で表すことにする.すると
となる. 達の独立性から各について 達も独立になるので
となる. まとめると
である. ここでと書くことにすると,
と表すことができる. 点 を固定する. このとき であるから となる. すると , と考えて 先の補題 23を適応できて,
を得る. は正規分布の特性関数であるから この式は は正規分布の特性関数に各点収束することを意味する. よって,はに法則収束する. ∎
4 中心極限定理の別証明
この節では中心極限定理の特性関数を使わない別証明を紹介する.
4.1 与えられた確率変数列と同じ分布を持つ独立確率変数の存在と構成
確率論においては,確率空間そのものよりも確率変数を主体と考えて 確率空間を明記せず確率変数を扱うことが多い.これは確率変数を考えるにおいて それが定義されている確率空間の確率測度ではなくそれを確率変数によって押し出しをした上の測度,つまり確率変数の分布を主に扱うためであろう. 確率変数の定義されている確率空間の測度が何であろうと,結局に押し出して考えるので, 確率変数と上の確率測度を集中して扱えば良いというわけである. こうした考え方はある種の利点であるとも考えられるのだが, 普段は確率論や統計学以外の数学を扱っている人物に関してはこうした取り扱いというものは,命題の中で具体的に何を扱っているのかという事象の把握において それなりの不安感を与えるものになるだろう. 例えば,中心極限定理の仮定に出てくる同分布独立な確率変数などがそうである. しかしそうした不安というものはやろうと思えば数学的にきちんと処理できるものである(なのであんまり気にしなくて良いという考え方もある). この節ではまず最初に同分布独立な確率変数の存在,もしくは構成を数学的な意味で厳密にとり行う.
定理 25.
を 確率空間とする. を可算集合かもしくは有限集合とする. を 上の独立な確率変数とする. を上の確率ボレル測度とする. このとき確率空間 とこの上の二つの確率変数の列 と , そして可測写像 が存在して 以下を満たす.
-
(1)
は独立である.
-
(2)
は独立である.
-
(3)
は独立である.
-
(4)
-
(5)
任意のについて が成り立つ.
-
(6)
任意の について が成り立つ.
-
(7)
任意のについて が成り立つ.
証明.
とおき, として 上の測度を
と定義する.
を に対して と定義する.
をから第成分への射影とする. つまりとする.
をからへの射影とする.
まず(1)を証明しよう. の定義から任意の について なので,達の独立性から の独立性がわかる.
(2)を示そう. に対して なので,直積測度の定義から独立性がわかる.
(3)を示そう. と , そして直積測度の定義からわかる
(4)は直積測度の定義からわかる.
(5)はの定義からわかる.
(6)は からわかる.
(7)はが射影であることと, 直積測度の定義からわかる.
∎
上の定理で特にとした場合に次の系が得られる.
系 26.
を上の 確率測度とする.を可算集合か有限集合とする. このとき 確率空間 とこの上の確率変数の列 が存在して,この列は独立同分布でその分布は に等しい.
4.2 中心極限定理の別証明
補題 27.
を確率空間として, は 上の確率変数とする. は 上の確率変数とする. をの稠密部分集合とする. を満たす. このとき 任意のに対して
が成り立つならば はに法則収束する.
証明.
を任意に与える. とおく. 任意に を与える. 仮定から となる が存在する. このことから 任意のについて と が成り立つ. また仮定より,十分大きいについて となる. よって
となる. 以上からはに法則収束することがわかる. ∎
定理 28.
を確率空間とし,を その上の独立同分布な確率変数の列で 平均値が,分散がとする. このとき新たに確率変数の列 を
と定義する. するとは正規分布に法則収束する.
証明.
補題を用いて と,正規分布に従う確率変数の列 をとる. そして新たに確率変数を
と定義する. ここでの定義にが含まれていないのは誤植ではなく, そういう定義である.後程とが 独立であることを使う. さて正規分布の再生性からが 正規分布に従うことに注意しよう. 証明の方針としてはが に法則収束することを示すのだが, そのためにがに法則収束することを をうまく利用して証明する.これを段階繰り返せば 中心極限定理が証明できるわけである. をの級関数全体とする. はの中で稠密になっていることに注意しよう(軟化子を使う). 任意のについて が に収束することを示せばよい. まず確率変数を
と定義する. 二階微分に関するテイラーの定理からある が存在して
が成り立つ.この式は実際は各に対して と書くべきだが,省略して書いている. 任意にを与える. するとは有界なのである が存在して となる. するとならば となる. とする. このとき
となる.また, とおくと
となる. はに依存しているが, とすると となる. 十分大きいを取れば となる. また
なので,
を得る. 同じ論法が と にも適応できるので
となる. よって,
を得る. ゆえに
となるので,中心極限定理が示された. ∎
5 注釈
5.1 動的概念と静的概念
まず結論から話すと,理由は知らないが,まあとにかく数学は静的概念しか扱えないということである. 言いたいことがあんまり纏まってないので,確率変数が出てくるところから読むといいと思います.
ここからの文章で用いる「動的概念」とは何かしらの一連の動きや働きそのものを指し示す概念付けのことを指す. 例えば物体の運動というものも運動という一連の動きを指し示すものとして概念付けされている. 一方で「静的概念」とは動的概念ではないもののことである. 我々の世界は時間変化するので,この静的概念の具体例を挙げるのはとても難しいのだが,1+1=2は静的概念であるし, 何かしらの留保はつくかも知れないが,りんごは赤色であるという言及もまあ多分静的概念である.このように例示をすると, そもそも静的概念というのは観念の中にしかないものであるから,一番最初に言った結論が成り立つのは当然のことなのかも知れない.どちらかというと,静的概念がどうなっているのかということよりは,動的概念がどうなっているのかということがこれからの作用点になる. 動的概念は現実世界だけではなく,我々の頭の中,観念の中にも現れる.ここからやっと数学の話になります. 高校数学においては極限の定義は以下のように行う. つまり,数列 がに収束するとは番号を大きくして行ったときに がどんどんに近づくときにいう. 他方で大学などでは以下のように定義する. つまり数列 がに収束するとは, 任意のに対して が存在して任意の がを満たすならば を満たすという定義になる. この二つの概念はそれぞれ動的概念と静的概念になっている. 前者はどんどん近づくという定義付けをしている. なぜかは知らないがこの定義の仕方だと厳密に扱えないみたいなので,大学では後者のように静的に定義する. 後者においてはどんどん近づくという観念は身を潜め, 何かを与えたら十分大きい番号全てで という言い方になっている. どんどん近づくという言い方をせずに十分大きい番号 すべてでとの差が与えられた の範囲に収まるという言い換えをすることによって動的概念を排除している.さて一番最初に話に戻るが,この収束の話において,「収束の概念を厳密に扱うためにはイプシロンデルタ論法」が必要という言い方がされるが, これは確かに正しいのだけど,「厳密に扱うこと」, 「数学的に扱うこと」,「動的概念を排除すること」,これらが全て同じことを指しているように見える. そしてその理由は不明である.とにかく, 何かしらのことを数学的に扱おうとすると,動的概念を排除するように定義をするとなんだかうまくいくと思う. そうするとなぜか数学的に扱えるようになる.逆に言えば数学は静的概念しか取り扱えないということでもある.(しかしこれは「数学は数学的概念しか扱えない」ということと同じでないだろうか).
それはさておき,この文書は確率論を扱うためのものなので, 確率論に現れる動的概念と静的概念の対立が顕著なものを説明しよう. それは確率変数である. 世の中には測度論的ではない確率論もあるようで,測度論的確率論が確率論の全てではないのだけど,この文章では数学的な確率論とは測度論的確率論ということになっているので,以下ではそのつもりで記述している. 数学的に厳密ではない(と言われている) 確率変数の取り扱いはおそらく以下のようなものになるのではないのだろうか?確率変数とは,刻一刻と値をさまざまにランダムに取り続ける変数のことである. つまりは放っておくとだったり, とか勝手に値がランダムに変わる変数のことである. これは動的概念である. ちなみに 静的には(数学的には)確率変数とはただ単に確率空間 上の(大抵の場合は)実数値を取る可測関数のことである. 確率変数を可測関数と思ってない人は上で述べたように確率変数を認知しているのだと思うし,おそらくこれは人類がプリミティブに認知した確率変数の定義である.この説明において 確率変数の分布とはの取る値を観察したときの値の 分布である.つまりは刻一刻と値を変化させるけれども, となる瞬間を記録して十分長い時間観察すれば となる確率がわかるということである. 可測関数として見ると のことである.「刻一刻」の刻がに対応していて, (が刻一刻と値を変えるということを数学的に表現するのは なんというかとても難しいのだが,) コルモゴロフはそこらへんに目をつけて静的に定義することに成功したんじゃないのだろうかと思う.
動的概念を静的概念に変換するのは 「数学というフォーマット」に乗せるための手続きでしかなく,動的概念としての定義付けもそれはそれとして(数学というフォーマットの外側で)有効であり続けると 個人的には思う. (集合論の公理系ZFCは現代数学を「実装」することができる(だろう)けど,別にZFC全然知らなくても全然数学できるし数学の論文全然書けるしというのと類似の事柄だと思う.)
5.2 確率変数の向きを逆に
数学的に確率変数とは確率空間上の 実数値可測関数である. 多分,双対圏やらを考えて矢印の向きがと考えた方がいい気がする. なぜなら,確率変数を考える際に は結構どうでもいいからである.これは通常の数学において, 写像の値域は結構どうでもいいことに相似している. こういうこと言うとそんなことないと言われそうだけど, 写像に対して みたいなのを考えるときにめんどくさいしおんなじ記号で書いちゃうことはよくあるのでこういうことです. 実際,確率変数の方を適当に無限直積を取って独立な確率変数を得る方法とかは,確率変数の取り扱いにおいて定義域の方がどうでもいいということをよく利用していると思う. この矢印逆にすると言うのは先に述べたプリミティブな 確率変数の定義にも合致すると思う. なぜならを刻一刻と勝手に値が変わる変数として見ると, となる瞬間を観察してそこからとなる確率の方が大事だったりするのでに対して“となる事象”を対応させているのではからの方に矢印が伸びてると考えた方が便利なのである. このことは の方が大事ということを指し示していると見ることもできる. おそらく確率変数を可測関数として見出した人は, “という事象”の全体を抽象的に確率空間として 用意してあげて,確率変数を改めて可測関数 というふうに見立てて,数学的に,静的に, 確率変数を定義することに成功したのだと思う. 確率変数の定義域は結構どうでもいいので, フワーっとをこさえてやっても適宜直積取ったりなんなりすればいいのでこの定義はうまく行ったと思う (この定義にしたから定義域がどうでもよくなったのか,定義域がどうでも良いからこの定義になったのかはよくわからない). ただし動的概念を扱う人と静的概念を扱う人との間で 齟齬が生まれるようになった,というのが現代のこの世界である. 携帯電話の良いところはいつでもどこでも電話をかけられるところで,悪いところはいつでもどこでも電話がかかってくるところである(過程を省くが結論だけ述べると仲良くしなさいという意味).
References
- [1] はてなブログ電波通信の記事 「直積測度の構成について:確率論その0」, https://concious4410.hatenablog.com/entry/2022/01/03/011245
- [2] はてなブログ電波通信の記事 「大数の法則について:確率論その1」, https://concious4410.hatenablog.com/entry/2022/01/16/233527
- [3] はてなブログ電波通信の記事 「距離空間上の測度:確率論その2」, https://concious4410.hatenablog.com/entry/2023/06/20/232112.
- [4] はてなブログの記事「特殊な積分を求めること」, https://concious4410.hatenablog.com/entry/2021/03/25/100050
- [5] 小谷眞一, 「測度と確率」, 2005 岩波書店.
- [6] 船木直久, 「確率論」, 講座・数学の考え方 20,2004, 朝倉書店.
- [7] C. W. Chin, A short elementary proof of the central limit theorem by individual swapping, arXiiv:2106.00871
- [8] K. R. Parthasarathy, Probability measures on metric spaces. Academic Press.
「知識は公共財」