【EZR/R】欠損値、解析にかけるとどう扱われるのか

【EZR/R】欠損値、解析にかけるとどう扱われるのか

告知
IT・テクノロジー
欠損値はどう処理する?よくある疑問と注意点

欠損値と一口に言っても、実はその「性質」はひとつではありません。
たまたま起きた欠損もあれば、
症状が重すぎて測定できなかったというように、
欠損していること自体に理由がある場合もあります。
また、対処法も一つではなく、除外する・別の値で補うなど、
いくつかの選択肢があります。

今回は、その中でも最も基本的で、
かつEZR/Rが何も指定しなければ自動的に行っている方法
「NAのある症例をまるごと除外する」という処理に焦点を当てます。

前回、Excelで空欄のままにしておけば、EZR/Rは自動的にNA(欠損値)として認識してくれる、という話をしました。
「じゃあ、空欄にしておけばもう安心」と思われた方も多いかもしれません。ただ実は、そこから先に何が起きるかまで理解しておかないと、
思わぬところで足元をすくわれます。

t検定も回帰分析も、実は「こっそり」症例を除外している


illust1.png

たとえば、ある項目にNAが含まれる状態でt検定をかけたとします。

このとき、EZR/RはそのNAを含む症例を、
自動的に解析から除外した上で計算します。
警告すら出ないことも多く、結果だけがすっと出てきます。

一見、便利な挙動に思えます。でも、これは同時に注意点でもあります。

元々100症例あったはずなのに、実際に計算に使われたのは80症例だった

illust2.png

これは、
統計の世界でリストワイズ除去(listwise deletion)と呼ばれる処理です。
EZR/Rに限らず、多くの統計ソフトで標準的に採用されている挙動で、
「NAを含む行(症例)は、その解析からまるごと除く」という
シンプルなルールに基づいています。

問題は、これが変数(項目)ごとに起きるのではなく、
症例(行)ごとに起きるという点です。

具体的に見てみましょう。
年齢・BMI・検査値の3項目を使った回帰分析をする場面を想定します。

A05_table_image.png


症例Bは、年齢とBMIのデータはきちんと揃っています。
それでも、検査値がたった1つ欠けているというだけで、
年齢とBMIのデータごと、丸ごと解析から弾かれます。

症例Cも同様です。
「持っているデータの一部だけを使う」という賢い処理はしてくれず、
1項目でも欠けていれば問答無用でその症例全体が除外されるのです。

項目数が増えるほど、除外される確率は加速度的に高くなります。


illust3.png

・使う項目が1つなら、その項目にNAがある症例だけが除外される
・使う項目が3つなら、3つのうちどれか1つでもNAがあれば除外される
・使う項目が10個なら、10個のうちどれか1つでもNAがあれば除外される

つまり、解析に使う変数を増やせば増やすほど、
「どれか1つは欠けている」症例の割合が増えていき、
結果として解析対象として残る症例数はどんどん目減りしていきます。
多変量解析(複数の項目を同時に扱う解析)で、
思ったより症例数が少なくなってしまう最大の原因の一つになります。

自分では「欠損値なんてほとんどない」と思っていても、
いざ多変量解析にかけてみたら、実際に使われた症例数が
想定より大幅に少なかった、というのはよくある落とし穴です。

症例数が減ると、何が起きるか

illust4.png

この「こっそり除外」の結果、
実際に解析に使われた症例数(実効サンプルサイズ)は、
元のデータより確実に少なくなります。

症例数が減ると、

・検出力(本当に差があるときに、それを検出できる力)が落ちる
・推定値のばらつき(信頼区間の幅など)が大きくなり、結果が不安定になる

ということが起こります。
「有意差が出なかった」原因が、本当に差がなかったからなのか、
単に欠損によって症例数が目減りしていたからなのか、
区別がつかなくなってしまうケースもあります。

論文や学会発表では、
解析に実際使われた症例数(解析対象数)を明記することが多いですが、
これはまさにこの問題への配慮でもあります。

まとめ

・欠損値には性質の違いがあり、対処法も複数ある。
・今回扱ったのは、その中で最も基本的な「リストワイズ除去」
・NAを含む症例は、解析時に自動的に除外される
・項目数が増えるほど、除外される症例が積み重なりやすい
・症例数の目減りは、検出力や結果の安定性に影響する

今回、リストワイズ除去によって症例数が目減りする様子を見てきました。
この「症例が減ってしまう」という問題を避けるために、
統計の世界には欠損値を補う(代入する)という選択肢もあります。
欠損値の扱いも含めた解析処理は代行いたしますので、
お気軽にご依頼ください。


サービス数40万件のスキルマーケット、あなたにぴったりのサービスを探す