【EZR/R】外れ値、その「性質」は一つではない

前回、欠損値には性質の違いがあり、対処法も一つではない、

という話をしました。

実は、外れ値にも同じことが言えます。

「明らかにおかしい数値だから、とりあえず消しておこう」

——そう判断したくなる気持ち、よく分かります。

ですが、外れ値も欠損値と同じく、

なぜその値が生まれたのかによって、扱い方がまったく変わります。

今回は、外れ値とどう向き合うかを整理します。

そもそも、外れ値とは何か

外れ値（outlier）とは、他の大多数のデータから、

極端に離れた値のことを指します。

ただ、「極端に離れている」という感覚は

人によって曖昧になりがちなので、統計の世界では、

これを客観的な基準で判定する方法がいくつか用意されています。

代表的なものを2つ紹介します。

方法1：四分位範囲（IQR）を使う方法

データを小さい順に並べたとき、

下から25%の位置にある値を第1四分位数（Q1）、

下から75%の位置にある値を第3四分位数（Q3）

と呼びます。

このQ3とQ1の差を四分位範囲（IQR）と言います。

このIQRを使って、

次の範囲から外れた値を「外れ値」とみなす、

というのが最も一般的な考え方の一つです。

下限：Q1 − 1.5 × IQR

上限：Q3 + 1.5 × IQR

この範囲の外にある値が、外れ値と判定されます。

箱ひげ図を描いたときに、

箱の外に点としてポツンと表示される値が、まさにこれにあたります。

方法2：平均・標準偏差を使う方法

データが正規分布（釣り鐘型の分布）に近い場合、

平均から標準偏差の2倍、あるいは3倍以上離れた値を外れ値とみなす、

という方法もよく使われます。

正規分布では、平均±2標準偏差の範囲に、

全体の約95%のデータが収まることが知られています。

つまり、そこから外れるということは、

「本来はめったに起こらないはずの値」ということです。

ここで一つ、知っておいていただきたいことがあります。

「外れ値かどうか」を機械的に100%決められる、

唯一絶対の基準はありません。

先ほどの「1.5×IQR」や「標準偏差の2倍」という数字も、

実は慣習的によく使われている目安であって、

数学的に証明された絶対のルールではありません。

最終的には、統計的な目安を参考にしつつ、

研究者が中身を確認して判断するという、

人の目による確認が欠かせない作業になります。

たった1つの外れ値が、結果を大きく動かす

なぜ外れ値がそこまで問題視されるのか、具体例で見てみます。

たとえば、5人の患者さんの入院日数が

「3, 4, 5, 4, 60」だったとします。

最後の「60」は、何かの理由で極端に長期入院した患者さんです。

このとき、平均入院日数を計算すると「15.2日」になります。

ところが、この「60」を除いた4人だけで計算すると、

平均は「4日」です。

たった1つの値が、平均を4倍近く押し上げてしまっていることが分かります。

t検定などの多くの統計手法は、平均値や標準偏差をもとに計算されます。

つまり、外れ値が1つ混ざっているだけで、

検定結果そのものが大きく歪んでしまう可能性があるのです。

前回の欠損値が「症例数が減る」という形で結果に影響したのに対し、

外れ値は「残っている数字自体が歪む」という、

また違ったかたちで結果を揺さぶります。

外れ値には、大きく分けて2つの「性質」がある

ここが今回、一番お伝えしたいポイントです。

「これは外れ値だ」と気づいたとき、次に考えるべきは

「なぜこの値が生まれたのか」です。

大きく2パターンに分けられます。

1. 測定ミス・入力ミスによる外れ値

体温を「36.5℃」と入力するはずが、誤って「365℃」と打ってしまった

検査機器の一時的な不具合で、あり得ない数値が記録された

このタイプは、そもそもデータとして成立していないので、

除外するか、正しい値に訂正するのが基本的な対応になります。

2. 本当に起きた、極端な症例による外れ値

何らかの理由で、本当に60日間入院することになった患者さんがいた

治療への反応が非常に良い（あるいは悪い）、特異な症例だった

このタイプは、入力ミスではなく、実際に起きた出来事です。

安易に「外れているから」という理由だけで除外してしまうと、

その症例が持っていた重要な情報を、

まるごと捨ててしまうことになりかねません。

むしろ、なぜその患者さんだけ極端な経過をたどったのか、

臨床的に深掘りする価値がある場合すらあります。

つまり、外れ値を見つけたときに最初にすべきことは、

「消す」ことではなく、

「これはどちらのタイプか、カルテや記録に立ち返って確認する」

ことです。

どうやって外れ値に気づくか

外れ値は、

表の数字をただ眺めているだけでは意外と見逃しやすいものです。

多くの場合、

グラフ（箱ひげ図や散布図）にしてみて、視覚的に飛び抜けた点がないか確認する

平均から大きく離れた値を機械的に洗い出す（先ほどのIQRや標準偏差の基準を使う）

といった方法で見つけていきます。

この「まず可視化して、データの中に何が潜んでいるかに気づく」

という作業は、統計解析にとりかかる前段階として、

とても大切な工程の一つです。

数字の羅列だけを見ていては気づけないことも、

グラフにした瞬間に一目で分かる、ということがよくあります。

対処法も、一つではない

性質を見極めた上で、対処法もいくつかの選択肢があります。

①除外する：明らかな入力ミスなど、データとして成立していない場合

②そのまま使う：極端だが本当に起きた症例で、除外すべき理由がない場合

③外れ値の影響を受けにくい手法に切り替える：平均ではなく中央値を使う、など、極端な値に強い統計量・手法を選ぶ

④記録を確認し、訂正する：入力ミスであることが判明すれば、正しい値に直す

「除外する」は数ある選択肢のうちの一つに過ぎず、

思考停止で選ぶべき方法ではない

というのが今回一番お伝えしたいことです。

まとめ

・外れ値とは、他のデータから極端に離れた値のこと。IQRや標準偏差を使った目安があるが、絶対の基準ではない

・外れ値が1つ混ざっているだけで、平均や検定結果は大きく歪むことがある

・外れ値には、測定ミスによるものと、本当に起きた極端な症例によるものという、異なる性質がある

・性質を見極めずに「とりあえず除外」するのは危険。カルテや記録に立ち返って確認することが大切

・対処法も、除外・そのまま使う・頑健な手法への切り替えなど、複数の選択肢がある

ここまでご紹介したような、外れ値の見極めや対処法の判断に迷うことがあれば、一人で抱え込まずお気軽にご相談ください。

データの状態を一緒に確認するところから、解析処理を代行いたします。