Google наділила свою пошукову систему нової і дуже цікавою функцією з промовистою назвою «hum to search» – тепер кожен раз, коли в голові починає безперервно грати пісня, назва якої ніяк не можна згадати, можна спробувати наспівати її мотив прямо в пошуку.

І Google підкаже назву, якщо, звичайно, розпізнає цю саму настирливу мелодію по набору звуків на кшталт «дааааа так так даааа на наа наа наа ооо йе». Функціональність, що представляє собою свого роду людську версію Shazam, стала одним з головних анонсів презентації Search On, присвяченій останнім досягненням компанії в області ІІ.

«У всіх було таке, що в голові застрягла мелодія, але її тексту не пам’ятаємо. Тепер, в такі моменти, вам просто потрібно наспівати для пошуку, і наші моделі ІІ зможуть підібрати мелодію і знайти потрібну пісню ».

із заяви Google

У Google говорять, що, використовуючи алгоритми машинного навчання, натренували нейронну мережу таким чином, щоб вона могла по набору звуків визначити потенційні збіги пісень. компанії особливо підкреслюють, що для використання функції зовсім не обов’язково мати ідеальний музичний слух. За відповідним запитом або, коректніше сказати, голосовому наспіви, система видасть найбільш ймовірні варіанти.

Як завжди в таких випадках, дослідники в процесі навчання «згодували» ІІ-системі величезний масив даних.

В Google пояснюють принцип роботи технології так:

«Мелодія пісні схожа на відбиток пальця: кожна з них має свою унікальну ідентичність. Ми створили моделі машинного навчання, які можуть зв’язати наспів, свист або спів з відповідним «відбитком пальця» ».

Використовувані Google моделі машинного навчання, здатні розпізнавати пісні на основі різних джерел, в тому числі людей, які співають, свистять або наспівують мелодії, а також студійних записів, перетворюють звук в числову послідовність, відповідну мелодії пісні. Алгоритми також прибирають всі інші деталі, такі як супровідні інструменти, тембр і тон голосу, залишаючи основний цифровий відбиток пісні. Ці відбитки система проганяє по базі з тисячами пісень з усього світу, визначаючи потенційні збіги в режимі реального часу.

В основі лежать розробки команди AI Research за технологією розпізнавання музики. Ще в 2017 року на смартфонах Pixel 2 дебютувала програма Now Playing, що використовує для розпізнавання музики глибокі нейронні мережі. Через рік ця технологія прийшла в SoundSearch в додатку Google, одночасно компанія збільшила охоплення на каталог з мільйонами пісень. Функція hum to search – подальший еволюційний розвиток технології з можливістю розпізнавання по одному наспівати мотиву.

Функціональність вже доступна в мобільному додатку Google на Android і iOS. Отримати доступ до неї можна як в самому додатку (потрібно тільки встановити останню версію), так і через віджет Пошуку Google. Щоб активувати функцію, необхідно торкнутися значка мікрофона і вимовити головний команду «що це за пісня?» або натиснути кнопку «Знайти пісню», після чого наспівувати мелодію протягом 10-15 секунд.

На iOS поки підтримується тільки англійську мову, а на Android функція доступна більш ніж на 20 мовах, включаючи українську. У майбутньому список підтримуваних мов буде розширюватися. По крайней мірі, в Google «сподіваються» на це.