信用できない研究やレポートの予兆・サイン

世の中は情報・数字であふれています。様々な研究結果が発表され、それに関しての意見・批判が行われるとともに、研究結果を活用した商品が生まれ、マーケティングされています。「チョコレートを食べると体重が減る」こんなレポートをInstitute Of Diet & Healthの研究者が発表しメディアを騒がせました。実はこの研究者は、どれだけ健康に関するリサーチが虚構で、嘘くさいものなのか実証するために、存在しない研究、存在しない研究所を利用して発表したものでしたが、有名な新聞紙までこのレポートを紹介しました。

僕は虚構新聞が大好きですし、ヨーグルトでダイエットできるというデータを見て信用はしなくてもお祭りとして一緒に楽しむ方です。とはいえ、インターネットにより情報量がより増える中で、自分で判断するための予兆として、虚構からなるレポートや数字を見破るサインを紹介します。

再現性がない
もっともらしい調査手法
きれいすぎるデータ
初期的な発見
参考にした情報

再現性がない

ニュートンは科学よりも神秘的なオカルトを信じる人でしたが、彼が発見した万有引力は何度りんごを手から落としても必ず地面に落ちる再現性を持っています。誰が何度試行しても同じ結果がえられるというのが再現性です。

アイザック・ニュートンのオカルト研究 - Wikipedia

Centre Of Open Scienceが２７０名の研究者と心理学に関して発表された１００の研究実験の追試を行ったというものです。結果、５０以上の心理学の研究は元の研究が示すほどの顕著な違いが出ないなど再現性がないと報告されました。

Copycat: The Problem With Reproducibility in Science

Replicating findings of many studies is much more difficult than it seems.

もっともらしい調査手法

研究者が聞き取りやグループインタビューをもとに結論を導き出している場合は注意が必要です。観察によって行われるこのような調査は、大きな傾向を知ることはできますが、正しいと結論付けられるほど中立的な観察や質問を設定できる可能性は、５％だけと報告されています。

インタビューによる観察で報告された研究結果として著名なのは、血液型がA型の人は心臓病にかかる可能性が高いというものでした。この調査はその後臨床的な手法での調査がされましたが証明されることはなく、虚構・誤解・バイアスのかかったデータという結論になっています。観察は大きな傾向、課題、問題を発見するためには非常に効果的な手法ですが、正しいとは言えないということです。

研究や調査という言葉だけでなく、どういう手法で行われたのか少し気を使うことで、虚構のサインを見つけることができます。

きれいすぎるデータ

新薬の臨床研究のため１０匹のマウスに薬を投与、１０匹のマウスには投与しないコントロールグループとして合計２０匹のマウス実験をします。薬を投与した結果、７匹からは顕著な効果を示すデータが出てきたものの、３匹は効果が確かめられず死んでしまいました。そこで、研究者は効果のなかった３匹とコントロールグループの３匹はいなかったこととして、１４匹で調査をした結果として発表しました。

これは実際に発覚した例です、そして特殊な例ではなく、多くの動物実験で行われていると警鐘されています。ひとつ目の虚構サインとして再現性をあげましたが、同時に１００％同じ結果になるということも珍しいです。他の健康要因をもっているマウスだったかもしれないですし、環境が違ったのかもしれません。ただし、１００％という数字が出てきた場合には調査結果が捏造されている場合があるというサインになります。

初期的な発見

毎週のようにビタミンXががんを防ぐ、脂肪の分解を早めるといったニュースが各種媒体に踊っています。この中には、マーケティングのために行われた中立的を装った調査が多い混じっています。地球の温暖化は起こっていないと主張する研究者が、石油や火力発電を行う企業から献金をもらっていたといったように、お金のために全体像ではなく極１点だけに集中することで効果があるように見せる調査というものが存在します。

そのような悪意のある研究ではないにもかかわらず、不確かな調査結果がニュースになることがあります。研究者は悪意なく初期的な発見を伝えるレポートを発表したにもかかわらず、確定事項のように報じられてしまうということがあります。ある仮説に対して初期的な研究結果を発表し、追試や共同研究を立ち上げるという方法は一般的なため、あまりに新しい情報というのは検証されていないことが多いです。Initial Findingsという単語がレポートにあった場合には確定した研究結果ではないと理解できます。

より大きな問題は、たとえその後の追試や共同研究によって初期的な発見が間違っていたという結果になったとしても、メディアが伝えることはほとんどありません。大発見や醜聞はニュースですが、違う結果がでましたという調査結果のニュースバリューが低いため、長く初期発見が訂正されず常識化してしまうということがあります。