統計的検定

③ 例：占い師の予知能力

ここに、“自称”予知能力のある占い師がいます。その能力が本物かを検証すべく、野球の試合の勝ち負け予想をさせたところ、5試合連続で予想を的中させました。ここで、この占い師の予知能力は本物であるといえるのでしょうか。（なお試合の勝率は常に1/2とします）

この問いに対して、意見が割れることが予想されます。

これを統計学を用いて客観的に判断するのが、仮説検定とよばれる手法です。

④ 手順1：帰無仮説と対立仮説の設定

検定では、最初に知りたいことを対立仮説に立てます。

例を用いるなら「この占い師には予知能力がある。」という内容が対立仮説になります。

次に、知りたいこと（対立仮説）を検証するために、対立仮説と反対の内容を帰無仮説に立てます。

例を用いると、「この占い師には予知能力などない。」という内容が帰無仮説になります。

そして、この帰無仮説が間違っていると説明できれば、帰無仮説を棄却して知りたい内容である対立仮説を採択します。

⑤ なぜ回りくどいのか

「予知能力などない」という前提で計算できる

計算できるほうを前提に置く——これが帰無仮説を立てる理由です。

⑥ 手順2：有意水準（危険率）の設定

帰無仮説を棄却するときの基準を設定します。

この有意水準（単位：%）の値と観測データが得られる確率（p値）を比較し、帰無仮説を棄却するか否かを判断します。

⑦ 手順3：帰無仮説が正しいとした時のp値を算出

検定という手法を使って帰無仮説が正しいかについて検証します。

帰無仮説が正しいという前提に基づいて、観測データが得られる確率（p値（単位：%））を求めます。

例を用いるなら予知能力なしで5連続で勝つチームを当てる確率（p値）は、下のとおりになります。

$$p値 = \left(\frac{1}{2}\right)^5 = \frac{1}{32} = 0.03125 = 3.125\%$$

⑧ 手順4：判定

帰無仮説が正しいという前提に基づいて、算出したp値と有意水準を比較します。

⑨ 判定の考え方

例を用いると、占い師に予知能力がなかったとしたらこの約3%の確率は「当てずっぽう」に成功したことになります。

あり得ないというほどではないが、非常に低い確率です。

そこで、「これは、とても低い確率だから帰無仮説は間違っているだろう」と考えると、帰無仮説が棄却されて、対立仮説が採択され、占い師の予知能力が認められます。

⑩ 判断を主観にしない

しかし、これは正しい判断であるか疑問です。帰無仮説が間違っているという判断をp値のみで行いましたが、一方で帰無仮説が正しい確率が3.125%あります。

勝手な判断で「正しい確率がたった3%だから間違っている」と決めてはいけません。

統計的検定では、帰無仮説を棄却するか否かの判断基準として有意水準（単位：%）を用います。

よって、p値を計算する前に有意水準を予め決めておく必要があります。

⑪ 有意水準の値

多くの場合、有意水準として5%や1%を用います。

例の場合は、p値は3.125%であるので、有意水準が5%であれば、帰無仮説は間違っていると判断されます。

一方、有意水準が1%であれば、帰無仮説は間違っていると判断できません。

同じデータでも、有意水準によって結論が変わる——だから先に決めておく必要があります。

⑫ 手順5：対立仮説の立証

帰無仮説が棄却されれば、知りたいこと（対立仮説）は正しかったということになります。

反対に、帰無仮説が棄却できない場合は、帰無仮説と対立仮説のどちらが正しいかわからないという結果になります。

⑬ 「棄却できない＝帰無仮説が正しい」ではない

この違いが重要

「効果があるとは言えなかった」と「効果がない」は別——実務でも誤解されやすい点です。

⑭ 5つの手順のまとめ

先に決めることが重要

「結果を見てから基準を決める」と、どんな結果も有意にできてしまう

手順③　データを取る

手順④　p値を計算する

手順⑤　判定する

p値が違ったらどうなるか

「効果があるとはいえない」の正しい解釈

データを増やすと結論が変わることがある

同じ差でも、データが増えるとp値は小さくなる

なぜか

「p値が大きい＝効果がない」ではなく「まだ判断できない」

p値の意味を正確に理解する

占い師の例で確認する

この区別が理解の要

有意水準5%と1%の使い分け

判断の重大さで決める

厳しくすると見逃しが増える——次テーマで学ぶ2つの過誤の関係です。

中小企業での実務的な注意

「統計的に有意だが、売上の増加は0.5%」

「有意性」と「重要性」は別——これが実務で最も重要な注意点です。

確認してみましょう

> 次の記述の正誤を判定せよ。

> a　検定では、最初に知りたいことを対立仮説に立てる。

> b　p値が有意水準より小さい場合は、帰無仮説を棄却する。

> c　帰無仮説が棄却できない場合、帰無仮説が正しいことが証明される。

解答　a：○　b：○　c：×

• c：×……帰無仮説が棄却できない場合は、帰無仮説と対立仮説のどちらが正しいかわからないという結果になります。

「無に帰する」とは

③ 対立仮説

検定で知りたい仮説です。

帰無仮説が成り立たない状態を記述します。

帰無仮説が間違っていると判断した場合に、対立仮説を採択します。

④ 棄却

仮説を間違っていると判断することです。

⑤ 有意水準（危険率）

帰無仮説を棄却するときの判断基準です。

算出したp値が有意水準の値より小さいとき帰無仮説を棄却します。

文字では、α（アルファ）で表し、統計的検定では有意水準を5%や1%に設定することが多いです。

⑥ 「危険率」という別名の意味

有意水準5%とは

次テーマで学ぶ第1種の過誤の確率と一致します。

⑦ p値

帰無仮説が正しいとしたときに、観測データの実現値、もしくはさらに極端な観測データが得られる確率（単位：%）です。

p値が有意水準の値より小さいとき帰無仮説を棄却します。

⑧ p値の定義の正確な理解

「もしくはさらに極端な観測データ」という部分

例：コインを10回投げて8回表が出た

「これ以上に珍しいこと」も含めて確率を計算する

⑨ 5つの用語の関係

⑩ 判別のキーワード

⑪ 帰無仮説と対立仮説の立て方の例

帰無仮説は「差がない」「変化がない」という形になることが多い

③ 有意水準5%の場合の棄却域

有意水準を5%に設定した場合、正規分布を用いた検定の両側検定と片側検定の棄却域は、次のようになります。

④ なぜ両側は各2.5%なのか

⑤ 片側検定のほうが「有意になりやすい」

この性質があるため、どちらを使うかを恣意的に選んではいけません。

⑥ どちらを採用するか

両側検定と片側検定のどちらを採用するかは、対立仮説（知りたいこと）の設定によって決まります。

⑦ 例：ダイエット食品の効果

新たなダイエット食品を開発しました。この食品の効果を検証するために、10人の被験者に食品を摂取してもらい、体重の変化を測定しました。

この場合、摂取前と摂取後の体重の差が着目すべきポイントになります。体重の変化の平均値について帰無仮説と対立仮説を考えます。

⑧ 帰無仮説

⑨ 対立仮説の3つの候補

⑩ 通常はどれを選ぶか

今回の例では、ダイエット食品の効果を確かめたいので、通常は対立仮説（その2）を採用して、片側検定を行います。

もし、ダイエット食品の「何らかの効果（体重減少と増加も含めた効果）を確かめたい」のであれば、対立仮説（その1）を採用します。

また、もし、ダイエット食品のせいで太った可能性があると感じた場合に、「ダイエット食品が逆効果であると証明」するのであれば、対立仮説（その3）を採用します。

⑪ 事前に決めておく

片側検定と両側検定のどちらが適切であるかは、対立仮説の内容（知りたいこと）によって決まります。

また、片側検定と両側検定のどちらを行うかは、検定の前に決めておく必要があります。

⑫ ダイエット食品の例での表現

⑬ 判別の考え方

⑭ 実務での選び方

「方向性のある仮説」か「方向性のない仮説」か——これが判断の基準です。

② 第1種の過誤

帰無仮説が正しいとき、間違って帰無仮説を棄却する誤りのことです。

第1種の過誤が起こる確率を危険率（有意水準に等しい）といいます。

第1種の過誤を犯す確率は、「α（アルファ）」として表されることが多いです。

③ 第2種の過誤

対立仮説が正しいとき、間違って帰無仮説を受容する誤りのことです。

また、対立仮説が正しいとき、正しく帰無仮説を棄却できる確率を検定力（検出力）といいます。

第2種の過誤を犯す確率は、「β（ベータ）」として表されることが多いです。

④ 検定力（検出力）

⑤ 2×2の表で整理する

この表がそのまま出題されます。

⑥ 2つの過誤の覚え方

「正しいほうを否定する」のが誤り

⑦ 実務的な意味

⑧ 「あわてものの誤り」と「ぼんやりものの誤り」

この呼び方で覚えると忘れにくくなります。

⑨ 負の相関関係

2つの過誤のリスクには負の相関関係があります。

両方を同時に小さくすることはできない

⑩ なぜトレードオフになるのか

⑪ 両方を減らす唯一の方法

データが増えると判断の精度が上がる——これが唯一の解決策です。

⑫ 第13章とのつながり

第13章の二値分類問題の評価指標と、構造が同じです。

同じ構造の話が、別の分野で登場する——両方を対応させて理解すると定着しやすくなります。

⑬ 医療診断との対応

どちらの損害が大きいかで、基準を決める——第13章で学んだ考え方と同じです。