Appleが、WWDC24において「すべてのキャプチャで色の一貫性を維持」を公開しています。

ある物体の色を知っている場合、その物体を見る周囲の照明にほとんど関係なく、その色として見えます。

例えば、鮮やかな緑色のグラニー・スミス・アップルは、昼間の光の下で見ても、キャンプファイヤーの暖かい光の下で見ても、緑色のままです。これは、人間が周囲の照明条件に自動的に順応し、環境光の影響を補正しているからです。

人間の脳は、以前に見た物体を認識し、その色を記憶することができます。コンスタント・カラー機能は新しいキャプチャ・モードを提供し、物体、人物、素材の色を、以前のキャプチャから記憶・認識することなく決定します。

周囲の明るさに関係なく、シーン内の人物や物体の色を一貫してキャプチャしたい使用例はたくさんあります。

コンスタント・カラー・イメージングは、特に消費者が実生活で見たことのないものを購入する場合、商品マーケティング写真にとって重要です。

オンラインショップで商品を見るとき、私は2種類の写真を見る。1つ目は、消費者が商品を使用し、楽しんでいる美しい画像で、iPhoneはすでに、通常の写真モードやポートレートモードによって、このような写真に見事に対応しています。

スミレの鉢植えがあります。ご覧の通り、これは暖色系の室内照明がある普通の部屋で、特別な照明機材はありません。写真を見てみましょう。

左側は通常のiPhone 15の写真で、右側はコンスタント・カラー画像です。もっと挑戦的に、シーンにもう1つ強い色のライトを追加してみましょう。さて、ポットは中間色なのか、それともテラコッタ色なのかは不明です。

右のConstant Color画像を見てみると、スミレのある前景は、前の写真と比べてトーンもキャストもほとんど変わっていません。

実際、このシーンにどんな色の飽和した光を加えても、素晴らしい結果が得られます。

人物の色や肌色を正確に撮影することも可能であり、経時的な肌の色合いの変化をモニターするのに非常に有益です。

先に見たのと同じ照明条件下で見ることができるように「Constant Colors」は、異なる照明の下でこれら4つの異なる肌色をはるかに一貫してレンダリングします。

肌の色が時間とともにどのように変化するかを覚えておくのは、特に変化が遅い場合や、異なる照明条件で見る場合は難しいでしょう。

そのため、あざが薄くなり始めているのか、それともまだ濃くなっているのか疑問に思ったことがある場合、コンスタント・カラー・キャプチャは、審美的な写真よりも有用です。

発疹や虫刺されが赤くなっているかどうか疑問に思ったことがあれば、コンスタント・カラー画像は、通常のキャプチャよりもその目的に適した写真を提供します。

この例でわかるように、2800Kの非常に暖かい室内光は、審美的な写真でカッピングマークを非常に厳しくしています。

1枚の画像における絶対的な色だけでなく、時間の経過に伴う色の変化の進行も参考になります。

これは特に肌の色が濃い人に当てはまり、色の変化は肌の色が薄い人よりも微妙な場合があります。

そしてもちろん、肌色を超えた性能は私たちの製品に不可欠なので、プレゼンテーションの後半で検証について話します。

Constant Color機能がどのようにこれらの画像を生成するか、もう少し掘り下げてみましょう。

Constant Color APIは、iPhone 14ファミリーの携帯電話で最初に発表された改良されたフラッシュ・ハードウェアを利用します。

個々のiPhoneのフラッシュの特性は、製造過程で精密に測定されます。同様に、個々のカメラの特性も慎重に測定されます。

完全に暗い部屋では、フラッシュが写真の唯一の光源となり、このシナリオでは、カメラと光源の特性を把握しているため、写真に写っている物体や素材の色を正確に判断できます。

暗い部屋の外で画像をキャプチャするために、APIはフラッシュによる明るさの増加を分析し、それを使用して同等の暗い部屋の画像がどうなるかを予測します。

APIは、シーンや照明条件の変化を最小限に抑えるために、フラッシュ画像とフラッシュなしの画像を連続して撮影することでこれを行います。

その後、周囲画像をフラッシュ画像に登録することで、動きを緩和し、画像内の対応する領域が同じ内容を持つようにします。

次に、線形シーン参照領域において、2つの画像は相対的な露出に対して正規化されます。これにより、2つのフレーム間の比較が可能になります。

計算写真と機械学習を使用して、これらの2つの画像は、フラッシュとカメラ両方の精密工場較正とともに共同処理され、その結果、同等の暗室画像がどうなるかが予測されます。

最後に、暗室画像は標準的なD65照明で照らされているかのようにレンダリングされ、その後、グローバルトーンマッピングと2.2ガンマエンコーディングが行われます。

視野全体の微妙な明度変化を保持するため、ローカルトーンマッピングは適用されません。

Constant Colorカメラサンプルアプリを使って、通常の写真を撮影します。

iPhoneは、複数の光源によって引き起こされた、私の手とカラーチェッカー全体の色の微妙な変化を捉えました。これは美的にも素晴らしく、例えば、誕生日ケーキのろうそくを吹き消しながら、ろうそくの光に照らされた息子の写真など、思い出をキャプチャするときに私が望むものです。それでは、サンプルアプリでコンスタント・カラーを有効にしてみましょう。

写真を撮りましょう。フラッシュを使用しているので、通常のプリ発光とフラッシュ撮影のシーケンスがあり、それが完了すると、Constant Color画像が得られます。

iPhoneのフラッシュは、その光出力パワー、物理的なサイズ、およびバッテリー使用量のバランスをとるために、慎重に最適化されています。

これは、特定のキャプチャ条件下では、Constant Color APIが違いを分析できるように、フラッシュがシーンを十分に明るくするのに十分なパワーがない可能性があることを意味します。

これが発生すると、APIによって生成される色の一貫性が低下する可能性があります。フラッシュが十分に明るくない場合の例として、風景シーンの撮影、天体写真撮影、直射日光下での撮影などがあります。

Constant Color APIは、レンダリングされた色が正確でなくなるかもしれない時に検出するツールを提供します。

フラッシュからの鏡面反射がある場合に何が起こるか見てみましょう。

Constant Color 画像では、スプーンにフラッシュの強い反射があることがはっきりとわかります。このような場所では、フラッシュの光が散乱しているか、ピクセル値がクリップしているため、輝度差を正確に測定することができません。

このことは、スプーンがない信頼度マップでも明らかである。これは、光沢のある反射は信頼度が低いと報告されているためです。

信頼度が低い理由は、散乱やクリッピングによって、正確な輝度の増加が判断できないからです。

Constant Color APIの画像がどの程度正確なのか疑問に思っていることでしょう。

私たちは、10ルクスから800ルクスまでの範囲の室内照明シーンでAPIをテストしました。

これは、写真のフレーミングが難しい暗闇から、手術室のような非常に明るい室内状況に相当します。

各ルクスレベルで、色温度は暖色系の3000Kから寒色系の7500Kまで変化させました。それぞれの明るさとルクス・レベルで、プランキアン白色点、マゼンタの色合い、軌跡をまたぐ緑の色合いをテストしました。

各照明条件について、強い飽和色、中間色、葉色、肌色を含むCalibrite ColorCheckerの画像をキャプチャし、パントンのスキントーンガイドも撮影しました。これは、アルベドとアンダートーンの両方を幅広くカバーする138色の肌色で構成されています。

そしてもちろん、私たちは実際の人々の写真も撮りました。

このデータのために、我々はConstant Color APIのP3 RGB出力をCIELab*色空間に変換し、照明条件の全包絡線にわたる各色の変動を計算しました。

通常の写真撮影に焦点を当てたiPhoneのキャプチャと比較して、Constant Color APIは、画像レンダリングの再現性を劇的に増加させました。

環境光による表面色のばらつきは、iPhone 15ファミリーで87%減少しました。

そして、もう一つ。コンスタントカラーが、環境光なしで暗い部屋のフラッシュ画像を予測した結果、環境光によってキャストされたシーンの影が減少するか、完全に除去されました。

左側は、私の手とiPhoneが落とす影がはっきりと見える通常のiPhoneのキャプチャです。

右側は、影が除去されたコンスタント・カラー出力です。

2024年のiPadの発表会をご覧になった方は、これらの結果に見覚えがあるかもしれません。なぜなら、コンスタント・カラーは、新しいiPad Proのドキュメント・スキャン機能の影除去に不可欠な部分だからです。

参考までに、ドキュメントスキャン機能では、constantColorCenterWeightedMeanConfidenceLevelに0.9のしきい値を使用しています。