データの前処理とは｜欠損値・外れ値・正規化

一言でいうと、前処理は「データの汚れを落とし、形をそろえる」工程です。どんなに優れた分析手法でも、欠けた値や単位のばらばらなデータを入れると、結果は信頼できません。

IoT のデータは、多数の機器から、途切れやすい通信を通って、さまざまな周期で届きます。事務のデータより欠けや乱れが入りやすく、前処理の重みが大きい分野です。学習の種類ごとの使い道は機械学習の種類で整理しています。

一般的な流れを、処理の内容と代表的な方法で並べます。順番は目安で、データの性質によって前後します。

ノイズを減らすフィルタの考え方はノイズとフィルタとはで、大量のデータを扱う全体像はビッグデータの3Vで解説しています。

どちらも「尺度をそろえる」処理ですが、そろえ方が違います。正規化（Min-Max スケーリング）は最小値を0、最大値を1に、標準化は平均を0、標準偏差を1に変換します。scikit-learn の公式ドキュメントでも、標準化は平均を引いて標準偏差で割る処理、Min-Max は値を決まった範囲（多くは0〜1）に収める処理として説明されています。

独自の数値例で確かめます。あるセンサの8回分の値が「2, 4, 4, 4, 5, 5, 7, 9」だったとします。最小2、最大9、平均5、標準偏差（全体を母集団とした場合）2です。

正規化は範囲が0〜1に収まる代わりに、極端な値が一つあると他の値が狭い範囲に押し込められます。標準化は範囲が決まっていませんが、平均からどれだけ離れているかを標準偏差の何倍かで表せます。外れ値が多いデータでは、平均と標準偏差がその影響を受けるため、中央値などを使う頑健な尺度変換も選択肢になります。

もう一つの大事な点は、変換に使う平均や最大値は学習用データから求め、評価用データには同じ変換を当てはめることです。評価用データの情報を変換に混ぜると、性能を実際より良く見積もってしまいます（データの漏れ）。

• ✓通信断による欠損：電波の状況や電池切れで、ある区間がまとめて欠けます。短ければ前後から補間、長ければ区間ごと除くなど、欠けた長さで扱いを変えます。
• ✓時刻のずれと周期の違い：機器の時計がずれていたり、1秒ごとと1分ごとのセンサが混ざっていたりします。時刻を同期し、同じ間隔に集計（リサンプリング）してから組み合わせます。
• ✓センサ自体の変化：劣化や汚れで値が少しずつずれることがあります。定期的な校正の記録と照らし合わせます。
• ✓外れ値が本当の異常の場合：振動の急な増加は、測定の誤りではなく故障の前兆かもしれません。異常検知が目的なら、外れ値を安易に消すと見つけたいものまで消えてしまいます。
• ✓起動直後や保守中の値：電源を入れた直後や点検中の値は通常時と性質が違うため、記録を見て区別します。

故障の兆しを捉える使い方は予知保全とはで扱っています。

MCPC の公式ページでは、IoTシステム技術検定 中級（80問・90分・4者択一）の出題カテゴリとして「IoTデータ活用技術（AI、ビッグデータ分析、活用事例）」が示され、比率は25〜30%です。当サイトでは、公式テキスト『IoT技術テキスト 第4版』の第3章「IoTデータ活用技術」がこの範囲に当たると推定しています（章名からの当サイトの判断です）。

4択では次のような型が考えられます。出題頻度は公表されていません。

• ✓用語と説明の対応：正規化・標準化・補間などの名前と説明を組み合わせで選ばせる。
• ✓簡単な計算：平均と標準偏差を与えて、標準化した値を求めさせる。
• ✓扱いの妥当性：外れ値をすべて削除する、全データで変換の基準を求める、といった不適切な処理を見抜かせる。
• ✓センサ特有の事情：通信断・時刻ずれへの対処として適切なものを選ばせる。

試験全体の形式や日程はIoTシステム技術検定 中級とはで確認できます。

「正規化」は、分野によっては尺度をそろえる処理全般の意味で使われることもあります。選択肢に式や範囲が書かれていれば、それを手がかりに判断してください。