Інженери компанії Google відкрили одну з таємниць камери останніх «пікселів», яка вважається однією з кращих серед смартфонів. Не секрет, що пошуковий гігант робить ставку на програмне забезпечення, що поєднує в собі безліч фірмових технологій, таких, як Night Sight, Photomode, Top Shot й інші. У своєму блозі пошуковий гігант поділився подробицями роботи однієї з цих функцій.
Top Shot – оновлена версія функції Motion Photo, що знайшла застосування в старих моделях пристроїв лінійки Pixel. При активації цієї опції або при перемиканні камери в автоматичний режим, вона знімає короткий відеокліп під час зйомки чергового кадру, потім ділить його на окремі фотографії, пропонуючи власнику найвдалішу. Подібним чином реалізована технологія Live Photos на iPhone, але в пристроях від Apple вона активується, якщо було помічено рух в кадрі, – у Google же вона спрацьовує автоматично.
У блозі розробників сказано, що за півтори секунди до і після натискання на кнопку «затвора» Top Shot дозволяє зробити до 90 зображень з високою роздільною здатністю, з яких зберігаються два альтернативних знімка і один оригінал, після чого користувач може вибрати з них найбільш підходящий.
Спеціальна розробка Visual Core застосовується для обробки кращих альтернативних знімків в Pixel 3. Для їх створення у смартфонах Google використовується спеціальний алгоритм комп’ютерного зору, що аналізує висвітлення, емоції присутніх в кадрі людей, чи закриті або відкриті у них очі, посміхаються вони, чи не розмитий фон і так далі.
Потім навчена нейронна мережа відбирає відповідні за всіма критеріями знімки, при цьому, далеко не завжди віддаючи пріоритет лише знімкам, відібраним тільки з аналізу лиця. Наприклад, враховується і той момент, чи є між двома кадрами значні відмінності, викликані рухом, розмиття й інші чинники, що впливають на якість знімка. До уваги також приймаються автоматична експозиція, автофокусування та автобаланс.
Щоб поліпшити роботу алгоритму, інженери протестували його на сотнях добровольців, чия думка також враховувалося при створенні технології Night Sight. Це дозволило максимально поліпшити якість знімків на Pixel 3.