WWDC24：ゲインマップテクノロジーをISO規格標準化する「Adaptive HDR」を解説（iPhone 15以降で撮影可能）
※本サイトは、アフィリエイト広告および広告による収益を得て運営しています。購入により売上の一部が本サイトに還元されることがあります。
ISO/TS 22028-5
Appleが、WWDC24において「HDRを使用してアプリのダイナミックイメージ体験を向上」を公開しています。
Appleは、昨年のWWDC23において、HDR写真のエンコードと表示に関する仕様が、国際標準化機構で「ISO/TS 22028-5」として承認されたことを発表しました。
ISO HDRファイルは、SDRディスプレイで表示するときにSDRに調整する必要があることに注意することが重要です。これは通常、ITU仕様2408、2446、2390に記載されているような、デフォルトのトーンマッピング演算子を使用して行われます。
Adaptive HDR
今年新しく導入されるのは「Adaptive HDR」と呼んでいます。
すでにISO HDRがあるのに、なぜ新しい規格が必要なのかと聞かれるかもしれません。Adaptive HDRはISO HDRをベースに、3つの重要な分野でさらに進化しています。
1つ目は、SDRシステム、デコーダー、アプリケーションとの後方互換性です。
2つ目は、HDRとSDRの両方の最適化された表現を1つのファイルに保存する機能です。
そして3つ目は、HDRとSDRの間で簡単にトーンマッピングを行い、利用可能なディスプレイのヘッドルームに対応できることです。
Adaptive HDR テクノロジーの背後にある基本的な考え方は、画像の完全な下位互換性のある SDR ベースライン表現をファイルに保存することです。
特定のメタデータとマップとともに、シーンの明るい部分の空間的な位置を保持します。
このマップは一般にゲインマップと呼ばれ、SDR画像の一部をゲインして明るさを増加させることができるからです。
ゲインマップをベースラインレンディションに適用すると、美しいHDR出力が得られます。
鋭い目をした人は、上のスライドで奇妙なことに気づいたかもしれません。タイトルに「Adaptive HDR」ではなく「Apple Gain Map」と書かれているからです。
これは間違いではありません。2020年以来、iPhoneのカメラは画像をより美しく見せるためにゲインマップを埋め込んで撮影しており、このフォーマットで撮影された画像は1兆枚を超えます。
ISO/NP 21496-1
今年の新機能は、ゲインマップテクノロジーを標準化する取り組みを推進していることです。
ゲインマップを作成し、ベースラインSDRに適用するための数式を標準化しています。Adaptive HDRは、HDR信号とSDR信号の比の対数としてマップをエンコードします。また、新しいメタデータと、HEIFやJPEGのような一般的なファイルフォーマットに新しい情報を保存する方法も定義しています。
Adaptive HDRは「ISO/NP 21496-1」として、現在ISOの委員会草案に達し、最終段階である国際規格草案に向けて作業を進めています。
この規格は、ソフトウェアとハードウェアのプラットフォーム間で統一されたエクスペリエンスを保証するものであり、映像業界が広く採用することを期待しています。
Adaptive HDR
次に、Adaptive HDRがISO HDRと比較してどのように3つの改善を実現しているかを説明します。
1つ目の後方互換性は、ファイルが古いシステムやSDR専用アプリケーションで完全にデコード可能なSDRベースラインを含むため、保証されます。
2つ目の後方互換性は、、ファイルにはSDRとHDRの妥協のないデュアル・レンダリングの表現が含まれています。これはゲインマップが画像の各ピクセルの情報を含んでいるためです。
3つ目の後方互換性は、、ゲインマップがSDRとHDRの比率として定義されているため、ディスプレイのヘッドルームに基づいて入力コンテンツのトーンマッピングを簡単に行うことができます。
実際、SDR入力に1未満の重みを持つゲインマップを乗算することで、任意の出力ヘッドルームを達成することができます。
Adaptive HDR
Adaptive HDRがゲインマップ信号の表現を強化することは注目に値します。
これはRGB 3チャンネルのマップにすることができ、画像の外観をより大きく制御できる。
また、この規格では対称的な変換も可能です。つまり、ベースラインレンディションはHDRで、ゲインマップはSDRにトーンマッピングする情報を含むことができます。
iOS 18のリリースに伴い、Adaptive HDRゲインマップと関連するメタデータに移行しています。この新世代は最新のドラフトに基づいています。
iPhone 15と15 ProはAdaptive HDRに準拠したHDR画像を撮影します。
File anatomy
iOS 18でキャプチャされた新しいHEICファイルには、まだ1つの画像しか含まれていないことを指摘しておきます。
実際、CGImageSourceでCGImageSourceGetCountを呼び出すと1が返されますが、開発者は画像の別のルックを要求できるようになりました。
デフォルトでは、画像は標準ダイナミックレンジを表示するようにデコードされます。これは、私たちが慣れ親しんでいる後方互換性のあるルックです。
この場合、SDR表現に必要なメタデータのみが報告され、ファイル内の追加情報は無視されます。
アプリが要求すると、画像の代替表現、つまりHDRルックを取得できます。この場合、ゲインマップを含むファイル内の追加情報が使用され、アプリに報告されます。
HEIFの用語では、この表現はTMAPオルタネートまたはトーンマップ画像と呼ばれます。
重要なことは、このファイルにはHDR画像は一切含まれていないということです。むしろ、食材のセットなのです。
そして、HDRルックを作り出すレシピです。
File anatomy：ProRAW
AppleはMPEG団体と協力して、HEIFのAdaptive HDRファイルフォーマットの正式化と標準化を進めており、現在、HEIF仕様の第2次修正案の作業草案に含まれています。
また、インターナショナル・カラー・コンソーシアムと協力し、ICCプロファイルの一部としてAdaptive HDRを推進しています。
JPEGファイルもAdaptive HDRを完全にサポートしていますが、HEIFとは少し異なる構文になっています。Adaptive HDRドラフト規格に詳細が記載されています。
ProRAWファイルも、フルサイズのサムネイルにゲインマップと新しいメタデータを含めることで、Adaptive HDRをサポートします。
File anatomy
前述の通り、iPhone 15とiPhone 15 ProはiOS 18から新しいAdaptive HDRに移行します。
上記の表のすべての詳細を確認することはしませんが、ビデオを一時停止して、変更点の完全なリストと、それらがあなたにどのような影響を与えるかを知ることができます。
Display rendering
ISO HDR画像については、iOS 17とmacOS 14以降のOSは、ITUデフォルトのグローバルトーンマッピング技術を使用して、HDRから低いヘッドルームに調整することができました。
今年Appleは、デフォルトのものよりも出力品質を保持する新しいリファレンスホワイトトーンマッピングオペレーターを開発しました。ハイライトのクリッピングが大幅に減少し、色再現がよりよく維持されます。
この新しいグローバルトーンマッパーは、iOS 18、iPadOS 18、macOS 15 Sequoia、tvOS 18、watchOS 11、visionOS 2のISO HDRファイルに使用されます。
一方、Adaptive HDR画像は、ファイル内のゲインマップに応じて最適化されたカーブを使用して、ディスプレイのヘッドルームまで調整されます。
HDR画像対応アプリ
iOS 17、iPadOS 17、macOS 14 Sonomaでは、写真アプリはディスプレイのヘッドルームをフルに使ってHDR画像をレンダリングできる唯一のアプリケーションでした。
iOS 18、iPadOS 18、macOS 15 Sequoiaでは、メッセージ、クイックルック、プレビューを追加しました。
