Appleが、WWDC21において、SoundAnalysisに組み込まれた音の分類について紹介するセッション「Discover built-in sound classification in SoundAnalysis」を公開しています。

2019年に、CreateML を使用して音声分類モデルをトレーニングできるようになり、今回、サウンド分析フレームワークを活用して、サウンド認識と呼ばれるアクセシビリティ機能が導入されます。

この機能は、アラーム、ペット、その他の家庭の音などの特定の音が環境で聞こえたときに、ユーザーに通知を提供できます。

サウンド カテゴリごとにいくつかのデータを収集し、CreateML を使用してカスタム モデルをトレーニングしたと想定するのが妥当ですが、実際に使用される分類器は組み込みです。

今年新たに、SoundAnalysisに組み込まれたサウンド分類器があります。

アプリでサウンド分類を有効にするのがこれまでになく簡単になり、すべてのプラットフォームでサポートされています。

サウンド分類は300 以上のカテゴリを使用できます。

ペット、家畜、野生動物の鳴き声を分類できます。

音楽の場合、鍵盤楽器、打楽器、弦楽器、管楽器など、多くの楽器が認識されます。

集団活動、呼吸音、発声など、さまざまな人間の音を検出できます。

それから、車両、アラーム、ツール、液体などのさまざまな音があります。

使用例として、カウベルを含む古い映像をいくつか持っていると仮定し、それを見せたいのですが、どこにあるか分からないとします。

macOS で利用できるようになったショートカットを使用して、多くのファイルに対してプログラムを実行するワークフローを作成し、カウベルサウンドを検出するといったことが可能になります。