SGの統計的バイアス・認知バイアス｜回答の偏りと確証バイアスを図解

SGシラバスVer.4.1の企業活動・データ利活用には、データの収集、加工・分析、可視化、精度と偏り、統計的バイアス、認知バイアスなどが挙がっています。平均や割合を正しく計算できても、集めた範囲を超えて結論を出せば、判断は適切とは限りません。

本記事では、集めたデータが調べたい対象を十分に表しているかという観点と、人が都合のよい情報を重視していないかという観点を、一つのケースで比較します。これだけでバイアスの種類を全て分類するものではありません。統計の推定量における偏りの定義や、詳細な検定手法を網羅する記事でもありません。

学習の数字を振り返る場合も、SGの公式合格率の見方で、集団の結果と個人の見通しを区別してください。 収集した記録を分析用にまとめる仕組みはSGのデータウェアハウス・ETLで、同じ予約記録でも件数・人数・締切で数が変わる例を確認できます。

架空の会社Xで、対象者100人にセキュリティ研修を案内し、研修後のアンケートを全員に送ったとします。回答した人は20人で、そのうち18人が「理解した」、2人が「理解できなかった」と回答しました。残る80人は未回答です。重複回答はなく、人数をそのまま数える説明例です。

回答者に限った「理解した」の割合は18÷20＝90%です。対象100人に対する回答率は20÷100＝20%で、別の数字です。この結果を「全社員の90%が理解した」と報告すると、未回答80人について分からない情報を補ってしまいます。

また、「理解した」という自己申告と、実際の業務で適切に判断できることも同じではありません。研修を案内したこと、受けたこと、回答したこと、理解したと答えたことは別の状態です。会社Xの例には実際の受講完了や技能確認の記録を設定していないので、それらを測定済みとは扱いません。

たとえば会社Xで、研修内容に関心がある人ほど積極的に回答した可能性があります。一方、忙しい人や案内に気づかなかった人が回答しなかった可能性もあります。このケースの情報だけでは理由は分かりません。未回答者は全員理解していない、と逆向きに決めつけることもできません。

総務省統計局の解説は、調べたい集団を母集団とし、一部を調べるときは抽出の方法と代表性に注意する考え方を示しています。自ら回答した20人を集めたことと、適切に設計した確率的な抽出を行ったことは区別します。「人数を増やせば、どんな集め方でも全体を表せる」とは考えません。

無作為に選んだ場合にも、個々の標本が全体と完全に同じ構成になる保証はありません。偶然のばらつきと、回答の集まり方などによる系統的な偏りを分けて考えます。全員へ依頼したというだけで、全員の回答を得たことにも、回答内容に誤りがないことにもなりません。

会社Xの未回答80人の内容を、根拠なく埋めないでください。「理解した」という回答について、既に分かっている18人以外の80人が全員否定する場合と、全員肯定する場合を考えると、対象100人に対する肯定の人数は18人から98人まであり得ます。2人の否定回答は既にあるため、最大100人とはしません。

この18%から98%という幅は、未回答の内容を設定していない架空例での単純な論理上の範囲です。統計的な信頼区間や、真の理解度の推定値ではありません。「幅が広いので何も使えない」とするのではなく、回答者の状況を示す情報として使い、全体への結論には追加の確認が要ると整理します。

米国国勢調査局の非標本誤差の解説も、対象の抜け、回答や処理の誤り、回答者と未回答者の違いなどが結果に影響する点を説明しています。欠けた回答を自動で補完しただけで、偏りが必ずなくなるとはいえません。補完や重み付けを使うなら、その仮定と限界を確認する必要があります。

会社Xの担当者が「今回の研修は成功したはずだ」と考え、肯定した18人のコメントだけを報告書へ載せ、否定した2人の意見や未回答の範囲を読まないとします。集計式が正しくても、自分の予想を支える材料ばかりを重く見る判断になり得ます。これを、ケース上の確証バイアスを考える例として扱います。

NIST SP 1270の用語集は、確証バイアスを、既存の考えに合う情報を好む認知バイアスとして整理しています。情報を探すときだけでなく、解釈や思い出し方にも関係します。注意しようと思うだけで制御できるとは限らず、反対の材料や別の説明も確認する手順が役立ちます。

NIST資料はAIのバイアスを、統計・計算、人、制度・組織などの相互関係も含めて扱っています。本記事の二つの観点が、その分類をそのまま置き換えるわけではありません。データの集め方を人の思い込みが左右する場合もあり、両者は互いに排他的な原因ではありません。

会社Xの報告なら、「対象100人、回答20人、回答者の自己申告では18人が理解した」と書き、未回答と測定の限界を添えます。改善を検討する際は、案内が届いたか、回答しやすい手段だったか、質問の言葉が同じ意味で受け取られたかなどを確認します。理解できなかった人を探し出して不利益に扱う指示ではありません。

研修の効果をもっと知りたいなら、何を学べたかを確認できる方法を業務の目的に合わせて検討します。ただし、テストの点が上がっただけで事故が減ったと断定したり、前後で対象や条件が違う集計を同じものとして比べたりしないようにします。改善の根拠と、まだ確認していない結果を分けて残します。

同じ90%でも、誰のどの回答の割合かを書き添えてください。その後で、対象の選び方、回答の欠け、質問の意味、解釈した人の前提のどこに確認が必要かを説明してみます。偏りという単語を見たら全て同じ対策を選ぶのではなく、原因と対策の対応を考える練習です。

分母や割合の計算はSGの計算対策、サービス指標が測る範囲はSLA・実績と利用者満足へ。範囲はSGの目次、操作と解説の体験は無料6問で確認できます。少数の体験問題でデータ活用分野全体を診断するものではありません。教材の対象と購入条件はSGの教材・料金へ。