スマホのカメラと画像処理は、一言でいうと何をしているのか?
イメージセンサから写真になるまで、どんな段階を通るのか?
処理の流れを4段階に分けます(当サイトによる説明用の整理で、実際の順序や中身は端末ごとに異なります)。
- 1
受光
各画素が色のフィルタを通った1色分の光を電気の量に変える
- 2
デジタル化(RAW)
電気の量を数値に変える。通常はベイヤー配列の未処理データ
- 3
画像信号処理(ISP など)
デモザイク、ホワイトバランス、ノイズ低減、明るさと階調の調整
- 4
圧縮・保存
JPEG などに圧縮して保存する
RAW は処理の前、JPEG は仕上げて圧縮した後。
当サイトによる説明用の整理で、実際の順序や中身は端末ごとに異なります。
- 受光:レンズで集めた光を、イメージセンサの各画素が受けて電気の量に変える。画素の上には色のフィルタが並び、各画素は1色分の光だけを受ける。
- デジタル化(RAW):電気の量を数値に変える。Android の公式ドキュメントは、RAW 形式を「イメージセンサから出た、通常はベイヤー配列の未処理の画像」と説明しています。
- 画像信号処理(ISP など):各画素に足りない色を周りの画素から補うデモザイク、色味を合わせるホワイトバランス、ノイズの低減、明るさと階調の調整などを行う。
- 圧縮・保存:仕上がった画像を JPEG などの形式に圧縮して保存する。動画なら動画用の符号化方式で圧縮する。
| 構造 | 開発の年(ソニー) | 何を変えたか | 狙い |
|---|---|---|---|
| 裏面照射型 | 2008年 | シリコン基板の裏側から光を当て、画素に入る光の量を増やす | 感度を上げ、ノイズを減らす(従来比約2倍の感度とされる) |
| 積層型 | 2012年 | 支持基板の代わりに信号処理回路のチップを使い、その上に画素部分を重ねる | 小さなチップで大きな回路を載せ、高画質・多機能・小型を両立 |
「RAW」と「JPEG」の違いは、処理の前か後かと覚えると区別しやすくなります。圧縮の方式はコーデックとはで、センサそのものの原理はCMOSイメージセンサとはで詳しく扱います。
計算写真(複数枚の合成)と ISP は、何が違うのか?
ISP は、1枚の画像を写真に仕上げる処理を専用の回路で速く行うものです。これに対して、複数枚の画像を撮って合成し、1枚では得られない写真を作る手法は、計算写真(コンピュテーショナルフォトグラフィ)と呼ばれます。
Google Research は2018年11月の記事で、暗い場所向けの Night Sight について、露出時間を調整しながら最大15枚(または1秒ずつ6枚など)を撮り、位置を合わせて合成すると説明しています。記事では、複数枚の合成が撮像時のノイズの影響を減らし、暗所での信号対雑音比を改善すると述べています。
- 1
複数枚を撮る
露出時間を調整しながら最大15枚(または1秒ずつ6枚など)
- 2
位置を合わせる
手や被写体の動きによるずれを合わせる
- 3
ずれた部分を除外する
合わない部分を合成から外す
- 4
合成する
撮像時のノイズの影響を減らし、暗所の信号対雑音比を改善する
ISP は1枚を仕上げる処理、計算写真は複数枚から1枚では得られない写真を作る手法。
| 項目 | ISP の処理 | 複数枚の合成 |
|---|---|---|
| 扱う画像 | 基本は1枚 | 連続して撮った複数枚 |
| 主な中身 | デモザイク、ホワイトバランス、ノイズ低減など | 位置合わせ、ずれた部分の除外、合成 |
| 狙い | センサの出力を見やすい写真に仕上げる | 1枚では足りない明るさや階調を補う |
| 弱点 | 1枚の情報量を超えることはできない | 被写体や手が動くと、ずれの処理が必要になる |
合成の計算はSoCのCPU・GPU・NPUなども使って端末の中で行われます。SoC の構成はスマホのSoCとArmで整理しています。
モバイル2級では、どの範囲で、どう問われそうか?
MCPC の公式ページの図では、モバイルシステム技術検定 2級(100問・100分・4者択一)の出題カテゴリ「モバイル端末基本機能と端末周辺技術」の比率が20%と示されています(2026年9月27日確認)。当サイトでは、公式テキスト『モバイルシステム技術テキスト 第11版』の第6章「モバイル端末・機器のハードウェア技術」がこの範囲に当たると推定しています(章名からの当サイトの判断で、公式の対応表ではありません)。
4択での問われ方は、次のような型が考えられます。出題頻度の公式データはありません。
- 構造の説明:裏面照射型と積層型の説明を入れ替えた選択肢から、正しいものを選ばせる。
- 処理の名前:デモザイク・ホワイトバランス・ノイズ低減などの処理と、その中身の対応を問う。
- RAW と圧縮画像:処理前のデータと、仕上げ・圧縮後のデータの区別を問う。
- 複数枚合成の狙い:暗所や明暗差の大きい場面で、なぜ合成するのかを問う。
試験全体の範囲はモバイルシステム技術検定2級とはで整理しています。
どこで取り違えやすいのか?
選択肢の処理が「センサの構造」「1枚の処理」「複数枚の処理」「圧縮」のどれに当たるかを先に決めると迷いが減ります。
| 取り違え | 正しい考え方 | 確認する問い |
|---|---|---|
| 裏面照射型は回路を重ねた構造 | 裏面照射型は基板の裏側から光を当てる構造。回路を重ねるのは積層型 | 変えたのは光の入り方か、チップの重ね方か |
| RAW はすでに色がそろった画像 | RAW は多くの場合ベイヤー配列の未処理データで、1画素1色 | デモザイクの前か後か |
| 複数枚合成は1枚をきれいにする ISP の別名 | 複数枚を位置合わせして合成する別の手法 | 扱う画像は1枚か、複数枚か |
| 画素数が多いほど必ず高画質 | 画質は画素の大きさ、構造、後段の処理でも変わる | 画素数以外の条件が書かれていないか |
| JPEG は処理前の保存形式 | JPEG は仕上げた画像を圧縮した形式 | 処理の前か後か |
確認問題1
イメージセンサの構造を説明できるか?
裏面照射型 CMOS イメージセンサの説明として、最も適切なものはどれか。
選択肢を準備しています。「正解と解説を見る」は先に開けます。
正解と解説を見る
正解:3。ソニーは裏面照射型について、従来の構造を逆にしてシリコン基板の裏側から光を当て、画素に入る光の量を増やしたと説明しています。
1は積層型の説明です。2はスマホのイメージセンサの一般的な仕組みではなく、色のフィルタは各画素の上に固定して並べます。4は構造の説明ではなく、画素数と拡大の話に置き換えた誤りです。
確認問題2
画像処理の名前を選べるか?
ベイヤー配列のイメージセンサでは各画素が1色分の情報しか持たない。各画素に足りない色を周りの画素の値から補い、すべての画素に色をそろえる処理として、最も適切なものはどれか。
選択肢を準備しています。「正解と解説を見る」は先に開けます。
正解と解説を見る
正解:2。デモザイクは、1画素1色のモザイク状のデータから、周りの画素を使って全画素の色を求める処理です。
1は撮影時の揺れによる像のずれを抑える処理です。3は仕上げた画像のデータ量を減らす処理で、色をそろえる処理ではありません。4はピントを自動で合わせる仕組みで、撮った後の色の処理ではありません。
確認問題3
複数枚合成の狙いを説明できるか?
暗い場所の撮影で、スマートフォンが連続して撮った複数の画像を合成する狙いの説明として、最も適切なものはどれか。
選択肢を準備しています。「正解と解説を見る」は先に開けます。
正解と解説を見る
正解:4。Google Research の Night Sight の記事は、複数枚の合成が撮像時のノイズの影響を減らし、暗所での信号対雑音比を改善すると説明しています。
1は逆で、合成の途中では扱うデータが増えます。2は処理で画素そのものが増えるわけではありません。3は通信の話で、撮影時の合成の目的とは関係がありません。
同じ「モバイル端末基本機能と端末周辺技術」の問題を本番と同じ4択で試すなら、登録不要のモバイル2級の無料お試し20問で解説まで確認できます。
