Appleのエンジニア、iPadOS 18の新機能「スマートスクリプト」と「計算メモ」について語る
※本サイトは、アフィリエイト広告および広告による収益を得て運営しています。購入により売上の一部が本サイトに還元されることがあります。
YouTubeのChristopher Lawleyチャンネルで、AppleのInput Experience担当エンジニアリングマネージャーJenny Chen氏、System Experience担当プロダクトマネージャーTy Jordan氏へのインタビュー「Exclusive! Talking to Apple about Smart Script and Math Notes」が公開されています。
iPadOS 18のメモアプリのデバイス上のパワフルな機械学習モデルを活用して、手書きのスタイルのまま補正する「スマートスクリプト」についてTy Jordan氏は「手書きのテキストを入力されたテキストと同じように便利にするため、単語を書きはじめると直ぐに手書き文字がよりなめらかで、よりまっすぐで、より読みやすい文字にリアルタイムで整えられます。タイプ入力したテキストを手書きのスタイルでメモの中にペーストしたり、スペル修正、タッチとドラッグでテキストを動かしてスペースを広げたり、文章をこすって削除することもできるようになり、タイプ入力で当たり前に出来ていたことの多くが利用できるようになります。」と説明しています。
また「スマートスクリプトは、オンデバイスの機械学習モデルを利用しているため、手書き文字のデーター学習量が増えることで継続的に学習した結果、さらに精度が上がります。また、手書き文字をテキスト文字に置き換えるのではなく補正するだけなので、立って書いたのか、座って書いたのかによっても手書き文字のスタイルは変化し、それらも考慮する仕組みになっている。」と説明しています。
米スマートスクリプトは、タッチとドラッグでテキストを動かしてスペースを広げる機能は日本語でも利用できますが、手書き文字のスマート化などは日本語では利用出来ません。
iPadのための計算機アプリについてと、iPadのための計算機アプリに搭載された「計算メモ」に関して、Ty Jordan氏は「Jenny Chen氏のチームが取り組んでいるオンデバイス学習モデルとAppleシリコンのパワーを組み合わせることで、紙に数字を書くような感覚で魔法のように答えが得られる。」と説明しています。
Jenny Chen氏は「計算メモはオンデバイス学習モデルによって変数を認識するため、重要な数学的数字とテキストの両方を認識出来き、電卓アプリ自体をサポートする計算エンジンのようなものを組み合わせ、メモアプリに保存されているデーター全てを参照し、設定されている数値がわかる仕組みで、各変数が変化したときに方程式を適切に更新するのに役立つと説明しています。
Ty Jordan氏は「計算メモのシステムは非常にスマートに設計されているため、同じ数学ノートに複数の数学問題がある場合、そのうちの一つにXを宣言し、別のノートにXを宣言することができ、そうすると、それらの違いがわかり、2回目には、最初の問題セットには影響を及ぼさないと宣言出来る。」と説明しています。
Jenny Chen氏は「計算メモのグラフ機能は、定義されていない変数が2つある場合、まず、内部にある認識エンジンを使用しグラフ化出来るかを考えます。その後、チャートについては、実際に長年の作業に基づいて構築されています。SwiftUI APIによって、グラフの元となる数値上にApple Pencilを置くと数値を変化させるダイヤルが表示され、それを動かすとグラフもリアルタイムに変化する。」と説明しています。
Ty Jordan氏は「計算メモは、メモアプリのクイックノートと同じように、ノートアプリの新しい数学ノートフォルダに自動保存されるようになっている。また、授業で数学学習する場合には、この計算メモをオフにすることもできる。」と説明しています。
米計算メモの変数はラテンアルファベットで作成された変数で利用できます。また、西アラビア数字と一般的な数学記号を使って書かれた数式、またはアラビア数字(東と西)およびデーバナーガリー数字と一般的な数学記号を使ってタイプ入力された数式で利用できます。