データの前処理とは｜欠損値・外れ値・正規化

一言でいうと、前処理は「データの汚れを落とし、形をそろえる」工程です。どんなに優れた分析手法でも、欠けた値や単位のばらばらなデータを入れると、結果は信頼できません。

IoT のデータは、多数の機器から、途切れやすい通信を通って、さまざまな周期で届きます。事務のデータより欠けや乱れが入りやすく、前処理の重みが大きい分野です。学習の種類ごとの使い道は機械学習の種類で整理しています。

一般的な流れを、処理の内容と代表的な方法で並べます。順番は目安で、データの性質によって前後します。

ノイズを減らすフィルタの考え方はノイズとフィルタとはで、大量のデータを扱う全体像はビッグデータの3Vで解説しています。

どちらも「尺度をそろえる」処理ですが、そろえ方が違います。正規化（Min-Max スケーリング）は最小値を0、最大値を1に、標準化は平均を0、標準偏差を1に変換します。scikit-learn の公式ドキュメントでも、標準化は平均を引いて標準偏差で割る処理、Min-Max は値を決まった範囲（多くは0〜1）に収める処理として説明されています。

独自の数値例で確かめます。あるセンサの8回分の値が「2, 4, 4, 4, 5, 5, 7, 9」だったとします。最小2、最大9、平均5、標準偏差（全体を母集団とした場合）2です。

正規化は範囲が0〜1に収まる代わりに、極端な値が一つあると他の値が狭い範囲に押し込められます。標準化は範囲が決まっていませんが、平均からどれだけ離れているかを標準偏差の何倍かで表せます。外れ値が多いデータでは、平均と標準偏差がその影響を受けるため、中央値などを使う頑健な尺度変換も選択肢になります。

もう一つの大事な点は、変換に使う平均や最大値は学習用データから求め、評価用データには同じ変換を当てはめることです。評価用データの情報を変換に混ぜると、性能を実際より良く見積もってしまいます（データの漏れ）。

• 通信断による欠損：電波の状況や電池切れで、ある区間がまとめて欠けます。短ければ前後から補間、長ければ区間ごと除くなど、欠けた長さで扱いを変えます。
• 時刻のずれと周期の違い：機器の時計がずれていたり、1秒ごとと1分ごとのセンサが混ざっていたりします。時刻を同期し、同じ間隔に集計（リサンプリング）してから組み合わせます。
• センサ自体の変化：劣化や汚れで値が少しずつずれることがあります。定期的な校正の記録と照らし合わせます。
• 外れ値が本当の異常の場合：振動の急な増加は、測定の誤りではなく故障の前兆かもしれません。異常検知が目的なら、外れ値を安易に消すと見つけたいものまで消えてしまいます。
• 起動直後や保守中の値：電源を入れた直後や点検中の値は通常時と性質が違うため、記録を見て区別します。

故障の兆しを捉える使い方は予知保全とはで扱っています。

MCPC の公式ページでは、IoTシステム技術検定 中級（80問・90分・4者択一）の出題カテゴリとして「IoTデータ活用技術（AI、ビッグデータ分析、活用事例）」が示され、比率は25〜30%です。当サイトでは、公式テキスト『IoT技術テキスト 第4版』の第3章「IoTデータ活用技術」がこの範囲に当たると推定しています（章名からの当サイトの判断です）。

4択では次のような型が考えられます。出題頻度は公表されていません。

• 用語と説明の対応：正規化・標準化・補間などの名前と説明を組み合わせで選ばせる。
• 簡単な計算：平均と標準偏差を与えて、標準化した値を求めさせる。
• 扱いの妥当性：外れ値をすべて削除する、全データで変換の基準を求める、といった不適切な処理を見抜かせる。
• センサ特有の事情：通信断・時刻ずれへの対処として適切なものを選ばせる。

試験全体の形式や日程はIoTシステム技術検定 中級とはで確認できます。

「正規化」は、分野によっては尺度をそろえる処理全般の意味で使われることもあります。選択肢に式や範囲が書かれていれば、それを手がかりに判断してください。

あるセンサの値の平均が5、標準偏差が2であった。値9を標準化（平均0、標準偏差1になるよう変換）した値として、正しいものはどれか。

1. 11.0
2. 22.0
3. 34.0
4. 44.5

正解：2。標準化は（値−平均）÷標準偏差なので、（9−5）÷2＝2.0 です。

1は、データの最小値を2・最大値を9とした場合の正規化（Min-Max）の結果に当たり、標準化ではありません。3は平均を引いただけで標準偏差で割るのを忘れた値です。4は平均を引かずに値を標準偏差で割っただけの値です。

次の文の空欄Ⅰ・Ⅱに入る語句の組合せとして、最も適切なものはどれか。

「データの最小値が0、最大値が1になるように変換する処理を（Ⅰ）、平均が0、標準偏差が1になるように変換する処理を（Ⅱ）という。」

1. 1Ⅰ：標準化　Ⅱ：正規化
2. 2Ⅰ：離散化　Ⅱ：標準化
3. 3Ⅰ：正規化　Ⅱ：標準化
4. 4Ⅰ：正規化　Ⅱ：離散化

正解：3。最小0・最大1にそろえるのが正規化（Min-Max スケーリング）、平均0・標準偏差1にそろえるのが標準化です。

1は二つを逆にしています。2と4の離散化は、連続した値を「低・中・高」のような区分に分ける処理で、範囲や平均をそろえる変換ではありません。

IoT のセンサデータの前処理に関する記述として、最も不適切なものはどれか。

1. 1標準化に使う平均と標準偏差は、学習用と評価用を合わせた全データから求めるのが望ましい
2. 2通信が途切れて欠けた区間は、欠けた長さに応じて前後の値から補間するか区間ごと除く
3. 3外れ値は測定の誤りとは限らず、異常検知では見つけたい対象そのものである場合がある
4. 4サンプリング周期が異なる複数のセンサは、時刻と間隔をそろえてから組み合わせて使う

正解：1。変換の基準に評価用データの情報を混ぜると、評価の時点で「未知のはずのデータ」の情報を使ったことになり、性能を実際より良く見積もってしまいます。基準は学習用データから求めます。

2は欠損の扱いとして適切です。3は外れ値を安易に削除しないための考え方として適切です。4は時刻ずれや周期の違いへの対処として適切です。

計算問題と用語の問題を本番と同じ4択で試すなら、登録不要のIoT中級の無料お試し20問で、全問の解説まで確認できます。