自由度ってなんなのさ

　以下のような初学者向けブログをいくつか投稿しておりますが、今回は統計初学者......場合によっては中級者くらいまで「なんだその概念は」となる個人的統計３大謎値の１つである自由度について説明してみようかと思います。

　ちなみに残り２つは尤度と固有値です。あくまで個人的、です。固有値を統計概念と呼ぶと怒られが発生しそうですが。固有値はともかく尤度もそのうち記事を書きたいです。

ココナラ初ブログ：統計的仮説検定とは？

なんで心理学に統計がいるの？

統計でいろいろな検定を試すのだめなの？

・自由度の正体

　さて自由度についてですが、だいたい統計初学者が自由度という概念を目にするのはt検定とかχ２乗検定とかそのあたりに触れたときではないでしょうか。論文などでt(df = XX) = YY, p = .ZZみたいな表記を目にしたことのある方もいらっしゃるかと思いますが、ここでdfとなっているものがdegrees of freedom の略で、日本語では「自由度」を表しています。

　統計の初学者向け教科書や、学部生向けの統計講義などではこの自由度について「自由に決定することのできるデータの数」みたいな説明がされることもありますね。例えば、ある標本の平均値（標本平均）を固定した場合に、標本内にn個のデータがあるとするとn-1個までのデータの値は自由に決められますが、n個目のデータは標本平均を一致させるために自動的に決められるので、n個のデータに対する自由度がn-1になる、というような説明ですね。

　上記のような説明は、もう少し専門的に言うと「与えられた制約のもとで、独立に変動できる情報の数」という表現となり、これが自由度の基本的な理解です......が、正直よくわかりませんよね。自由度という概念にはいくつかの使われ方がありますが、今回は統計的仮説検定で頻繁に登場する自由度について考えてみたいと思います。

　最初に結論から言ってしまうと、統計的仮説検定で登場する自由度は、「χ２乗分布の形状を決定する母数（パラメータ）」という視点から考えると理解しやすいです。もちろん、自由度はそれだけを意味するわけではありません。例えば統計モデルの複雑さを表す指標として使われることもあります。

　ですが、t検定や分散分析などで登場する自由度が何を意味しているのかを考えるうえでは、χ²分布との関係を知ることが重要だと思います。

・そもそも「母数（パラメータ）」ってなに？

　「母数」という言葉を聞いたときに、おそらく多くの方がイメージするのは「母集団の大きさ」に対応する概念だと思います。例えば特定の属性を持つ顧客に販促をかけたいときに、その効果の大きさの上限を確認するような意味合いで「その属性を持つ人の母数ってどれくらいいるの？」みたいな用法で使われることが多いのではないでしょうか。

　これはもう一般用語としてある程度定着してしまっているので、それを間違いであるなどと言うつもりはないのですが、統計用語としての「母数」は上記とはまったく意味が異なります。なので、一般的な用法と区別するために「母数（パラメータ）」と表現させていただきました。統計用語としての母数はパラメータとも呼ばれますが、パラメータという言葉自体もいろいろな用法があるので一意な名称として使うのが難しいんですよね。

　では統計用語としての「母数」にどのような意味があるのかについてですが、これは「確率分布の位置や形状を決定する値」としての意味を持っています。位置や形状を決定するってどういうこと？となる方が多いと思うので、まずはわかりやすく正規分布を考えてみましょう。

　以下で記載する図のように、正規分布には平均μと分散σ^2の２つの母数が存在しています。つまり、平均と分散という２つの値によって正規分布の形状が決まっているわけですね。平均が動くと位置が動き、分散が動くと分布の「平べったさ」が変わります。また、特に平均が０、分散が１の場合の正規分布のことを標準正規分布、と呼んだりします。

　本題のχ２乗分布についてですが、このχ２乗分布は今回の主役、自由度のみを母数として持つ確率分布です。χ２乗分布というのは、標準正規分布に従うそれぞれ独立な確率変数がk個存在する場合に、それぞれの変数の値を２乗して足し合わせた時に取りうる値の確率分布を示したものです。ここで足し合わせるk個の確率変数の、kという値がχ２乗分布の母数であり、今回の主題である自由度です。

　つまり、χ２乗分布において、いくつの確率変数を足し合わせたのか、を示す値が自由度であるわけですね。ちなみにこの自由度の値が非常に大きくなっていくと、そのχ２乗分布は平均k、分散2kの正規分布に近づいていきます。

　標準正規分布に従う確率変数の２乗を足し合わせていくと正規分布に近くなるの、なんだか不思議ですよね。

・t検定などに自由度が登場するのはどうして？

　さて、上記のように自由度を「χ２乗分布の母数である」とした場合、普通に考えればχ２乗分布を直接用いる統計的仮説検定、χ２乗検定だけで使われるものとなりそうです。しかし、実際にはt検定や分散分析、回帰分析など多くの一般的な統計的仮説検定で自由度の概念が登場します。これはなんででしょうか？

　細かい解説をしようとするとどうしても複雑な数式を用いる必要が出てきてしまうので、それは別の解説サイトや教科書に任せてざっくり言うと、上記の理由は「t検定に使われるt分布や、分散分析に使われるF分布の中にもχ２乗分布が関連しているから」ですね。

　t分布は、標準正規分布に従う確率変数を、χ２乗分布に従う確率変数（を自由度で割って平方根とったもの）で割ると得ることのできる確率変数が従う確率分布です（確率変数同士は互いに独立と考えます）。同様に、F分布もそれぞれが独立した自由度を持つ２つのχ２乗分布（をそれぞれの自由度で割ったもの）の比によって得ることのできる確率変数が従う確率分布です。結局のところ、t分布もF分布も、χ２乗分布が基盤にあるためその母数も同じく自由度になるわけです。

　このt分布やF分布というのは、t検定、分散分析、回帰分析など一般的な統計的仮説検定で幅広く用いられている確率分布であるので、そのおおもととなっているχ２乗分布の母数、自由度がよく登場するわけですね。

・最後に

　自由度という概念について、「自由に決められる値の数」と言われた方がわかりやすいか、「χ２乗分布の母数」と言われた方がわかりやすいかは結局人によるものかと思います。

　ただ、個人的には「χ２乗分布の母数」と考えると「なんでいろいろな検定で登場するの？」「自由度が大きくなったり小さくなったりしたらどうなるの？」というのが把握しやすく、また（興味ない人も多いと思いますが）数理統計との接続もよいためこちらの説明を推してます。もちろん前者が間違いというわけではなく、独立な標準正規分布に従う確率変数の二乗和を考える場合には、前者の「独立に変動できる情報の数」という考え方が、後者の「χ²分布の母数」として現れるわけです。どちらも厳密な定義というよりも、概念全体を理解するための見方の１つ、と捉えると良いかなと思います。

　「結局わからん！」という人もいるかと思いますが、統計を勉強していく過程で自分なりの腑に落ちる解釈ができると楽しいので、教科書やほかの解説サイト、最近だとAIに聞くなど、自分なりの理解をするための出発点となれたらうれしいです。

　今回はちょっと専門よりの内容でしたが、ビデオチャットによる初学者～中級者向けの統計関連の説明・解説を行う個人指導や、統計に関する分析の代行サービスなどを出品しています。ご興味あれば、そちらも一瞥いただけますと幸いです。