Appleが、デベロッパー向けドキュメント「Making onscreen content available to Siri and Apple Intelligence」を公開し、iOS 18.2以降、iPadOS 18.2以降、macOS Sequoia 15.2で、Siri と Apple Intelligence を有効にして、アプリの画面上のコンテンツに対するユーザーの質問やアクション要求に応答できるようになると説明しています。

アプリの画面上のコンテンツを、Siri と Apple Intelligence の現在および今後のパーソナルインテリジェンス機能と統合するには、App Intents フレームワークを使用して画面上のコンテンツを明示的に提供することが可能になります。

この視覚言語モデル (VLM)の実装は、Appleは「ReALM」として論文を発表済みで、Googleもインフォグラフィックスとユーザーインターフェースを理解するためのマルチモーダルAIモデル「ScreenAI」として発表しています。