ストリーム処理とバッチ処理の違い｜IoT中級の要点

ストリーム処理とは、センサなどから絶え間なく届くデータを、ためきる前に届いた順に処理して、すぐに結果を出す方式です。バッチ処理とは、一定の期間や量のデータをためてから、まとめて一度に処理する方式です。

たとえば工場の設備なら、「振動の値がしきい値を超えたら数秒以内に知らせる」のがストリーム処理、「1か月分の稼働データから設備ごとの稼働率を集計する」のがバッチ処理です。

ストリーム処理では、終わりのないデータの流れを「直近1分」「直近100件」のようなウィンドウ（時間や件数の窓）で区切って集計します。バッチ処理では、ファイルや期間でデータの範囲がはっきり決まっているので、全体を見渡した計算や、やり直しがしやすいのが特徴です。

IoT のデータは Velocity（速度）が大きく、ストリーム処理が欠かせない一方で、長期の傾向や学習にはバッチ処理も必要です。データの特徴の整理はビッグデータの3Vで扱っています。

中間として、数秒〜数分ごとの小さなかたまりをバッチ処理で次々に処理するマイクロバッチという方式もあります。「届いたそばから1件ずつ」ではないため、遅延はストリーム処理よりやや大きくなります。

センサーが10時04分に計測した値が、回線の混雑で10時07分に届いたとします。発生時刻で5分ごとに集計するなら、この値は10時00分以上10時05分未満の枠です。到着した時刻だけで次の枠へ足すと、何の5分を測っているかが変わります。

Apache Beamのガイドは、イベント時刻で区切る窓、到着見込みを追うウォーターマーク、遅れて来た値の扱いを分けています。速報後の更新、遅着を受け付ける期間、別経路での補正などは目的に合わせます。速さと正確さの違いを、処理方式の名前だけで決めません。

古い値の到着と、同じ値を二重に足すことも別です。速報を画面で見る利用者と、確定後の集計を使う利用者がいれば、どちらの数字かを表示で区別してください。

ストリーム処理の「速さ」と、バッチ処理の「正確さ・やり直しやすさ」を両立させるための構成が ラムダアーキテクチャ です。Nathan Marz が広めた考え方で、同じデータを2つの経路に流します。

1. 1バッチ層：届いたデータを変更しない記録としてすべてため、定期的に全体を処理して正確な結果を作る。
2. 2スピード層：同じデータをストリーム処理し、バッチ層がまだ処理していない直近の分の結果をすぐに作る。
3. 3サービング層：バッチ層とスピード層の結果を合わせて、利用者の問い合わせに答える。

弱点は、同じ処理を2つの仕組みで作り、同じ結果になるよう保ち続ける手間です。Jay Kreps は、2014年7月の記事「Questioning the Lambda Architecture」でこの点を指摘し、ストリーム処理だけで構成し、再計算が必要なときは保存しておいたデータを最初から流し直す構成を提案しました。これが カッパアーキテクチャ と呼ばれます。

IoTシステム技術検定 中級の公式ページに示された出題カテゴリのうち、「IoTデータ活用技術（AI、ビッグデータ分析、活用事例）」25〜30% に当たります（2026年9月27日確認）。

公式テキスト『IoT技術テキスト 第4版』では、第3章「IoTデータ活用技術」に当たる範囲です。章とカテゴリの対応は当サイトの推定で、使っているのは目次の章名だけです。

4択の形としては、当サイトの作問の観点で次のようなものが考えられます（出題の傾向や頻度を示すものではありません）。

• ✓場面の説明から、ストリーム処理とバッチ処理のどちらが適しているかを選ぶ
• ✓2つの方式の特徴として適切（不適切）なものを選ぶ
• ✓ラムダアーキテクチャの各層の役割を選ぶ
• ✓処理の場所（エッジ・クラウド）と処理の方式の組合せを選ぶ

処理の方式と処理の場所は別の軸です。エッジでストリーム処理を行い、クラウドでバッチ処理を行う組合せも一般的です。場所の選び方はエッジ・フォグ・クラウドの違い、送られてくるデータの量や周期の特徴はIoTの通信トラフィックの特性で扱っています。試験の形式はIoTシステム技術検定 中級とはへ。合格基準は公式に非公開です。

迷った問題は、場面の中の「すぐに」「数秒以内」と「前月」「全期間」「学習」のどちらが出てくるかで見直してみてください。遅延の要求がほぼ答えを決めます。

本番と同じ4択で、ほかのカテゴリと混ぜて解くなら、登録不要のIoT中級の無料お試し20問で全問の解説まで確認できます。