写真専門メディアPetaPixelが、プロの写真家で、Appleのカメラソフトウェアエンジニアリング担当ヴァスプレジデントJon McCormack氏、プロダクトライン担当マネージャーFrancesca Sweet氏へのインタビューを掲載しています。

Appleは、カメラ開発に関して、センサーとレンズだけでなく、A14Bionicチップのすべてを使い、画像信号処理、画像処理の背後にあるソフトウェアまでを含めた総合的に考えていると話したそうです。

Jon McCormack氏は「写真家として、ISOや被写体の動きなどについて多くのことを考えなければならない傾向がある。」と話し、写真家が写真を撮り、それを自分のものにするために編集のプロセスを経ることを望んでいる一方で、Appleはそのプロセスを単一のアクションに圧縮するためにできることをすべて行っていると説明しています。

Jon McCormack氏は「私たちは、写真家が撮影で何をするかをできる限り再現しています。」と話し「写真を撮るには2つの側面があり、露出とその後の現像方法です。私たちは、露出では多くの画像処理プロセッサを使用するが、撮影時ではより多くのことを行い、自動的にそれを行う事で、より実物に近い写真を作り、実際にその場にいたときの様子を再現することができる。」と話しています。

Appleは機械学習を使ってシーンをよりわかりやすい部分に分解することでこれを実現していて「背景、前景、目、唇、髪、肌、服、空。これらすべてをLightroomのように、ローカルで調整するように独立して処理し、露出、コントラスト、彩度など、すべてを調整し、それらを組み合わせている。」と説明しています。

AppleのスマートHDR技術について「Smart HDR 3では、空をセグメント化して完全に独立して処理し、それをブレンドすることで、実際にそこにいたときの様子をより忠実に再現することができる。」と解説しています。

また、難しい環境は、レストランやバーなどの難しい撮影環境についても説明し「自然光は写真家にとっては迷惑なもので、光が混ざっていたり、低い光があったりすると、色が台無しになってしまう。Appleは食べ物がどのように見えるかを理解しているため、それに応じて色や彩度をより忠実に最適化することができ、実際にその場にいるような感覚を再現可能にしている。」そうです。

Francesca Sweet氏は「新しい広角カメラは、改良された画像融合アルゴリズムにより、ノイズが少なくなり、ディテールがより鮮明になり、iPhone 12 Pro Maxでは、センサーが大きくなったことで、より短い時間でより多くの光を捉えることが出来るようになり、夜間のモーションフリーズをより良くすることができるようになった。」と説明しています。

Jon McCormack氏は、写真家は画像処理された写真ではなく、RAWデーターを求めていることを認識していたとし「もし両方を手に入れることができたらどうだろう？」と考え、Appleは、計算された写真撮影技術を組み合わせ、その計算結果をデジタルネガに保存する新しいイメージングパイプラインを作成し、それが「Apple ProRAW」で、この方法により、写真家がカメラ内の画像をリアルタイムで完全にコントロールできるようになったと説明しています。

Jon McCormack氏は、新しいセンサーについての見解として「画像の1つの特定の速度とフィード、またはカメラシステムについて話をすることは、もはや私たちにとって意味のあるものではない。」と話し「カメラシステムを作るときには、これらすべてのことを考え、ソフトウェアの面でできることをすべて考えている。」と説明しています。

センサーの大型化についての質問に対しては「Appleは、何がゴールなのかを考えるが、ゴールは自慢できるような大きなセンサーを持つことではない。どうすれば、より多くの人がいる状況で、より美しい写真を撮ることができるかを問うことがゴールなのだ。」と話し、Deep Fusion、ナイトモードなど、より大きなセンサーを使用することもできたが、物理的な部品を変更する前に、まず画像処理の全体像をどうするかを考えたそうです。

Appleは「ハードウェアにこういうことをしたら、魔法のようなことが起こる」というような一本の軸で考える傾向はなく、レンズからGPU、CPUまですべてを設計しているので、実際にイノベーションを起こせるシーンが増えていると語っています。

別の記事で、Jon McCormack氏は「AppleはHDRというもつれた業界を解きほぐしたいと考えている。」と話し「ニッチで複雑だったHDRビデオの制作から、今では私の15歳の娘がDolby Vision HDR動画を作成することができるようになった。」と語っています。

Appleが、Dolby Vision HDRを選んだ理由として「Dolby Visionでビデオを再生すると、ファイルはどちらを共有するかを知ることができる。HLG色空間をベースに構築し、Dolby Visionを知らないデバイスを持っていても、HLG 2020をレンダリングすることができる。HLG 2020は、色空間の面で私たちが望んでいたすべてのものを提供してくれるが、同時に互換性のレベルも与えてくれた。」と説明し「今からそう遠くないうちに、この奇妙に散らかった空間は片付く。」と話したそうです。

解説：BBC と NHK が共同開発した HDR 規格「HLG」は、HLG は輝度値を相対的に扱うのに対して、PQ は絶対値として扱います。HLG は広色域向けの BT.2020 規格上に位置し、BT.2100 として知られる規格にも PQ と HLG ダイナミックレンジ は追加されています。

HLG 規格はロイヤリティフリーで、HDR ディスプレイと同様に SDR ディスプレイにも互換性があります。

HLG は HDMI 2.0b、HEVC 、VP9 でサポートされています。HLG のアピールポイントは、HDR と SDR が同じ信号から提供されていることです。

HLG はメタデータを含まないため、HLG は全ての HDMI 仕様で動作します。