サービス
サービスを探す
プロ人材を探す
仕事を探す
ブログを探す
「結果に差がなかったら失敗？」“有意差なし”も研究結果のひとつです
記事学び
看護研究で統計解析をしていると、
結果が出る瞬間は、
少し緊張すると思います。
A群とB群を比較する。
介入前と介入後を比較する。
経験年数による違いを調べる。
そして、
統計ソフトにデータを入力して、
結果を見る。
p＝0.○○
ここで、
「有意差があった！」
となれば、
なんとなく安心する。
反対に、
「有意差がなかった……」
となると、
「この研究、失敗だった？」
「何も分からなかったということ？」
「論文にできないのでは？」
と不安になることがあります。
でも、
研究は、
有意差を出すために行うものではありません。
今回は、
研究結果でよく出てくる、
「有意差なし」をどう考えるか
について書いてみます。
そもそも研究の目的は「差を出すこと」ではありません
例えば、
新人看護師と中堅看護師で、
ある得点に違いがあるのかを調べる研究をしたとします。
研究を始める前には、
「中堅看護師の方が高いのでは？」
と予想しているかもしれません。
実際に調査してみる。
ところが、
統計解析では、
有意な差が認められなかった。
すると、
「予想と違った」
となります。
でも、
予想と違ったことと、
研究が失敗したことは、
同じではありません。
「予想どおりの結果」を出すのが研究ではない
研究を始めるときには、
ある程度、
結果を予想することがあります。
先行研究を読む。
臨床経験から考える。
仮説を立てる。
そのため、
「おそらくA群の方が高いだろう」
と考えることはあります。
でも、
実際にデータを集めてみたら、
違いがなかった。
それも、
実際に得られた研究結果
です。
研究者が期待した結果へ、
データを近づけるのではありません。
得られたデータから、
何が言えるのかを考えます。
「有意差なし＝まったく同じ」ではありません
ここは、
少し注意が必要です。
例えば、
A群の平均値が70点。
B群の平均値が75点。
でも、
統計解析では、
有意差が認められなかった。
この場合、
「A群とB群は同じだった」
と書いてよいでしょうか。
必ずしも、
そうとは限りません。
平均値には、
5点の違いがあります。
ただ、
今回のデータと解析からは、
その差を統計学的に明確な差として示せなかった、
ということです。
「有意差がなかった」と「差がない」は少し違う
研究結果を書くとき、
私は、
この違いを意識した方がよいと思います。
「有意差は認められなかった」
と、
「差はなかった」
では、
意味が少し違います。
「差はなかった」
と書くと、
2つが同じであることを確認したようにも読めます。
でも、
一般的な有意差検定で、
有意差が認められなかっただけなら、
そこまで言えない場合があります。
そのため、
結果を必要以上に強く言わないことが大切です。
p値だけを見て結果を決めない
統計解析をすると、
どうしても、
p値へ目が行きます。
p＜0.05
なら有意。
p≧0.05
なら有意ではない。
もちろん、
設定した有意水準に基づいて判断することは必要です。
でも、
研究結果を見るときに、
p値だけを見ればよいわけではありません。
例えば、
それぞれの群の、
平均値。
中央値。
ばらつき。
対象者数。
差の大きさ。
信頼区間。
研究デザイン。
なども、
結果を考えるための情報になります。
対象者数も関係します
例えば、
A群5人。
B群5人。
という研究と、
A群500人。
B群500人。
という研究では、
同じような差があったとしても、
統計解析の結果が同じになるとは限りません。
一般に、
対象者数が少ないと、
実際にある程度の差があっても、
統計学的に検出しにくくなることがあります。
そのため、
有意差がなかったときに、
すぐ、
「本当に差がないんだ」
と考えるのではなく、
研究デザインやサンプルサイズなども含めて考えます。
データのばらつきも関係します
平均値に違いがあっても、
データが大きくばらついている場合があります。
例えば、
A群では、
ほとんどの人が似たような値だった。
一方、
B群では、
非常に高い人もいれば、
低い人もいた。
このような、
データのばらつきも、
統計解析の結果に関係します。
つまり、
「平均値が違うのに、なぜ有意差がないの？」
という場合には、
平均値だけではなく、
データ全体を見る必要があります。
グラフを見ると気付くこともあります
統計ソフトの結果だけを見るのではなく、
実際のデータを、
グラフなどで確認することも大切です。
例えば、
箱ひげ図。
散布図。
ヒストグラム。
などを見る。
すると、
一部の値だけが大きく離れている。
群ごとにばらつきが違う。
分布に偏りがある。
といったことに気付く場合があります。
数値だけでは見えにくかった特徴が、
図にすると見えてくることがあります。
「有意差なし＝効果なし」とも限りません
介入研究などでは、
特に注意したいところです。
例えば、
ある看護介入を行った。
介入前後で比較した。
でも、
有意差が認められなかった。
この結果から、
すぐに、
「この介入には効果がない」
と結論づけてよいでしょうか。
研究デザイン。
対象者数。
評価方法。
介入期間。
測定時期。
差の大きさ。
などによって、
解釈は変わります。
少なくとも、
「今回の研究で有意差が認められなかった」
ことと、
「その介入には効果が存在しないことを証明した」
ことは、
同じではありません。
反対に「有意差あり＝重要」とも限りません
ここも、
一緒に考えておきたいところです。
統計学的に有意な差があった。
だから、
臨床的にも非常に重要。
とは限りません。
例えば、
対象者数が非常に多い研究では、
実際の差が小さくても、
統計学的には有意になることがあります。
その差が、
臨床的にどの程度意味を持つのか。
実際の看護へどうつながるのか。
そこは、
p値とは別に考える必要があります。
つまり、
「有意か、有意ではないか」だけで研究結果の価値を決めない
ということです。
有意差が出なかったときに分析を増やしたくなる
これは、
研究をしていると、
少し注意したいところです。
最初に予定していた分析で、
有意差が出なかった。
すると、
「年齢で分けたらどうだろう？」
「経験年数を別の区切り方にしたら？」
「この項目だけ分析したら？」
「別の検定を使ったら？」
と、
いろいろ試したくなることがあります。
そして、
有意差が出る分析を探してしまう。
でも、
これは慎重に考える必要があります。
「有意差を探すための分析」になっていない？
分析方法には、
研究目的やデータの性質に応じた理由が必要です。
有意差が出なかったから分析方法を変える。
有意差が出るまで群分けを変える。
という考え方になると、
本来の研究目的から離れてしまいます。
追加分析を行うこと自体が、
すべて問題というわけではありません。
でも、
なぜその分析を行うのか。
探索的な分析なのか。
事前に計画していたのか。
結果をどう位置づけるのか。
を考える必要があります。
有意差が出なかった結果を隠さない
研究者にとって、
有意差が出た結果は、
書きやすいものです。
一方、
有意差がなかった結果は、
「載せなくてもいいかな」
と思うことがあります。
でも、
研究目的に関係する分析を行ったのであれば、
都合のよい結果だけを選んで示す
ことには注意が必要です。
有意差がなかったことも、
研究目的に対する結果の一部です。
「何も分からなかった」とは限りません
有意差がなかった研究でも、
分かることはあります。
例えば、
予想していたほど群間差が大きくなかった。
両群とも高い値を示していた。
両群ともばらつきが大きかった。
特定の傾向は見られたものの、
今回の対象者数では明確に示せなかった。
など、
データを見ることで、
次の研究につながる情報が得られる場合があります。
「なぜ差が出なかった？」も考察になります
有意差がなかったとき、
考察に、
「有意差は認められなかった」
とだけ書いて終わってしまうことがあります。
でも、
そこから、
なぜ差が認められなかったのか。
を考えることができます。
例えば、
対象者の背景が似ていた？
経験年数の幅が狭かった？
測定した尺度では違いを捉えにくかった？
介入期間が短かった？
両群とも同じような教育を受けていた？
先行研究ではどうだった？
こうしたことを検討できます。
ただし「差が出なかった理由」を断定しない
ここも注意が必要です。
例えば、
有意差がなかった理由について、
「対象者数が少なかったためである」
と断定する。
本当に、
対象者数だけが原因でしょうか。
実際には、
複数の可能性があります。
そのため、
考察では、
「対象者数が少なかったことが影響した可能性がある」
など、
研究結果から言える範囲を意識します。
先行研究と違っていても大丈夫
自分の結果では、
有意差がなかった。
でも、
先行研究では、
有意差があった。
すると、
「自分の研究がおかしいのでは？」
と思うことがあります。
でも、
対象者。
施設。
調査時期。
研究方法。
測定尺度。
サンプルサイズ。
背景。
などが違えば、
同じ結果になるとは限りません。
むしろ、
なぜ先行研究と違ったのか
を考えることが、
考察につながります。
先行研究と同じ結果でなくても研究です
研究は、
過去の研究を、
そのまま再現するためだけに行うものではありません。
もちろん、
再現性を確認する研究にも意味があります。
でも、
先行研究とは違う結果が得られた場合も、
その違いを検討することで、
新しい問いが見つかることがあります。
「違った＝失敗」
ではありません。
研究目的に戻ってみる
有意差が出なかったときほど、
研究目的へ戻ってみます。
例えば、
研究目的が、
「A群とB群における〇〇得点の違いを明らかにする」
だったとします。
結果として、
統計学的に有意な差は認められなかった。
これは、
研究目的に対して、
一つの結果が得られています。
最初から、
「A群の方が高いことを証明する」
ことが目的だったわけではないはずです。
仮説が支持されなかったことも結果です
仮説を立てた研究では、
結果として、
仮説が支持されることもあります。
支持されないこともあります。
研究者の仕事は、
仮説を必ず正しくすることではありません。
データを適切に分析し、
得られた結果を、
正しく示すことです。
これは、
以前の記事で書いた、
「正しい結果」ではなく「正しく示す」
という考え方にもつながります。
結果の書き方にも注意
有意差がなかった場合、
例えば、
「A群とB群を比較した結果、有意差は認められなかった（p＝○○）」
と書くことができます。
必要に応じて、
各群の代表値やばらつきなども示します。
ここで、
「A群とB群には違いがないことが証明された」
と必要以上に強く書かない。
まずは、
得られた結果を、
そのまま示します。
考察では結果以上のことを言わない
有意差がなかった結果から、
何を考えるか。
これは、
研究の面白いところでもあります。
ただ、
考察を深めようとして、
結果以上のことを言わないようにします。
例えば、
有意差がない。
↓
「両群は完全に同じ特徴を持っている」
とは限りません。
有意差がない。
↓
「この介入はまったく意味がない」
とも限りません。
データが示している範囲と、自分の解釈を分ける
ことが大切です。
「有意差なし」の研究にも限界を書けます
例えば、
今回の研究では、
対象者数が限られていた。
一施設のみだった。
対象者の背景に偏りがあった。
測定時期が限られていた。
こうした研究の限界を整理することで、
今回の結果を、
どこまで一般化できるのか考えることができます。
そして、
次の研究では、
対象者数を増やす。
複数施設で調査する。
別の評価方法を使う。
長期間追跡する。
といった、
次の課題につながることもあります。
有意差が出なかったから研究を捨てるのはもったいない
時間をかけて、
研究計画を作る。
倫理審査を受ける。
対象者へ説明する。
データを集める。
入力する。
分析する。
そして、
有意差がなかった。
そこで、
「何も出なかったから、この研究はダメ」
としてしまう。
これは、
少しもったいないと思います。
有意差がなかったという結果も含めて、
今回の研究から、
何が分かったのか。
何が分からなかったのか。
次に何を調べる必要があるのか。
そこまで考えることで、
研究として整理できます。
私なら「有意差なし」のときに5つ確認します
有意差が認められなかったら、
私は、
次の5つを確認します。
① 研究目的に対する結果は何？
まず、
有意差の有無だけではなく、
研究目的に対して何が分かったのかを確認します。
② データそのものはどうなっている？
平均値。
中央値。
ばらつき。
分布。
差の大きさ。
などを確認します。
③ 研究デザインや対象者数はどうだった？
今回の研究で、
どこまで判断できるのかを考えます。
④ 先行研究ではどうだった？
同じ結果？
違う結果？
その理由として何が考えられる？
⑤ 結果以上のことを言っていない？
「差がない」
「効果がない」
と断定しすぎていないか確認します。
p値は研究結果の一部分
統計解析をすると、
p値は、
非常に目立ちます。
0.03。
0.12。
0.001。
数字として、
はっきり表示されます。
そのため、
研究結果全体を、
p＜0.05だったかどうか
だけで見てしまうことがあります。
でも、
研究結果には、
もっといろいろな情報があります。
対象者の特徴。
代表値。
ばらつき。
差の大きさ。
分布。
信頼区間。
そして、
研究目的との関係。
p値は、
その中の一つです。
まとめ
統計解析をして、
有意差が認められなかった。
そんなとき、
「研究に失敗した」
と思う必要はありません。
研究は、
有意差を出すために行うものではありません。
研究目的に対して、
データを集め、
適切に分析し、
得られた結果を、
正しく示す。
その結果、
有意差が認められなかったのであれば、
それも、
研究結果の一つです。
そして、
「有意差なし＝まったく差がない」
「有意差なし＝効果がない」
と単純に考えない。
対象者数。
データのばらつき。
差の大きさ。
研究デザイン。
先行研究。
なども含めて考える。
予想した結果にならなかったときほど、
「なぜだろう？」
と考える余地があります。
その問いが、
考察を深めたり、
次の研究につながったりすることもあります。
研究で大切なのは、
有意差を出すことではなく、得られた結果ときちんと向き合うこと。
「有意差がなかった……」
という結果が出たときも、
そこで研究が終わったと思わず、
まず、
そのデータが何を示しているのかを、
丁寧に見てみてもよいと思います。
関連図
看護研究の考察の深め方チェックリスト
このブログを見た人にオススメ
