Appleが、WWDC19において「Advances in Camera Capture & Photo Segmentation」を行い、その内容を公開しています。

マルチカメラのキャプチャーサポートは、Macの場合OS X Lion 10.7から利用可能でしたが、iOSデバイスの場合、iOS 13をインストールした、TrueDepthカメラを搭載したA12チップ以降のiPhone、TrueDepthカメラを搭載したA12Xチップ以降のiPad Proであれば前後のカメラを同時利用可能になるそうです。

AVMultiCamPiPアプリの場合、前面カメラの映像を全画面表示して、背面からの映像をPiP表示することが出来ます。

そのPiP表示状態を１つの動画として保存することも可能になるそうです。

このマルチカメラ機能は、iPhone XSの場合、背面に望遠と広角の２つのカメラ、前面に通常カメラとTrueDepthカメラがあり、前面側のカメラを同時利用する組み合わせはサポートされていないそうです。

組み合わせるカメラとFPS値により解像度も変わり、最大で1920 x 1440/60pとなるそうです。

iPhone XSで背面カメラを２つ使用したマルチカメラの場合、一般的には１つの画面に２つの映像を同時表示するVR風表示ですが、２つの映像を合致点を見つけ出し、その距離をマッチングさせた映像にしたりマニュアル操作でわざとずらしたりもできるそうです。

マルチカムキャプチャー時はビームフォーミングマイク方式となり、前面マイクと背面マイクの両方を使用し、背面カメラの映像がメインの場合、背面マイクの音量を２倍にすることで特定の方向に音を集中させたサウンド入力になるそうです。

ポートレイト撮影時の深度情報は、iOS 12のPortraitEffectsMatteから、Semantic Segmentation Mattesに変わるそうです。

従来の深度情報に加え、髪、肌、歯のマット情報を追加した情報で、背景の入れ替え、肌部分のみの編集などが行えます。

これらの情報はHEIFファイルにセグメント情報として追加されるため、対応するアプリであれば同様の部分編集が可能になるそうです。