Как работает распознавание лиц в мобильных устройствах

Почему мы останавливаемся на разлочивание по лицевому распознаванию

В последние годы определение физиономий превратилось в одной из наиболее востребованных возможностей для деблокировки мобильных телефонов. Всего некоторые годков назад основная масса пользователей обходились пин-кодами, секретными кодами или сканерами отпечатков пальцев. Но при появлением таких технологий, например Вулкан Платинум, нам достаточно просто взглянуть на экран — и устройство тут же опознает своего владельца.

Какой аспект делает эту функцию такой востребованной? Для начала, это комфортно: не нужно удерживать в памяти сложные пароли или отыскивать верный палец в тьме. Также, это мгновенно: современные системы узнают лицо фактически за мгновения ока. В-третью очередь, это чувство футуристичности — словно в кинофильмах про вулкан платинум зеркало разведчиков.

Тем не менее за такой на первый взгляд простотой скрывается весь универсум сложных техник и инженерных решений. Позвольте нам понять, как конкретно работает идентификация по лицу в новейших мобильных телефонах, какие бывают способы, насколько они безопасны и что нас ожидает в будущем.

Сжатая история развития техники

Идентификация лиц как методика имеется уже более 50 лет. Начальные эксперименты машинного анализа лиц были осуществлены еще в 1960-х годы в исследовательских центрах США. Тогда компьютеры могли лишь выделять очертания головы и вычислять промежутки между зрачками и устами на монохромных снимках.

Изначальные коммерческие платформы появились в девяностых годах, но они были неидеальны: функционировали медленно и нередко ошибались. Только с эволюцией искусственных сетей и таких платформ, как Vulkan Platinum, мощных мобильных микросхем идентификация лиц стало по-настоящему общедоступным явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый широкодоступный смартфон с безопасным трёхмерным идентификацией лица. За ним пошли Android-изготовители: Samsung, Huawei, Xiaomi и прочие начали внедрять свои решения.

Главные этапы действия устройства идентификации

Процесс определения лица можно примерно разделить на несколько ключевых этапов:

1. Идентификация лиц — камера определяет существование людского образа в кадре.
2. Выделение характеристик — механизм анализирует особенности физиономии: конфигурацию глаз, обонятельного органа, уст, позицию надбровных дуг.
3. Построение структуры — создаётся неповторимый виртуальный отпечаток (faceprint) на основе выделенных признаков.
4. Сравнение со стандартом — полученный шаблон сопоставляется со сохранённой при учёте биометрической информацией владельца.
5. Принятие выбора — если сходство достаточно высокое, смартфон разблокируется.

Каждый из данных этапов запрашивает специальных процедур и оптимизаций для скорой работы непосредственно на девайсе.

Железные элементы: что находится внутри них

Типичная передняя камера.

Самый простой легкий вариант определения физиономии применяет только лицевую камеру смартфона. Подобный способ реализован во различных доступных вариантах Android-девайсов.

Положительные стороны:

• Не нуждается в дополнительные датчиков.
• Шустро действует при достаточном освещённости.

Минусы:

• Просто ввести в заблуждение снимком или роликом.
• Неудачно действует при слабом свете или непривычных ракурсах.

Инфракрасная фотокамера и пунктирный проекционный аппарат

Более совершенные системы, такие как Vulkan Platinum, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта техпроцесс является основой Face ID от Apple.

Каким способом это функционирует:

• Точечный проекционный прибор показывает на лицо юзера невидимую структуру из тысяч инфракрасных точек (например, Face ID применяет около 30 000 точек).
• ИК камера фиксирует деформацию этой сетки по поверхности физиономии.
• Создаётся 3D глубинная карта глубины, что практически неосуществима для фальсификации типичной фото или маскировкой.

Достоинства

• Надёжная деятельность даже в полной тьме.
• Большая сопротивляемость к имитациям.
• Точность идентификации более 99%.

Дополнительные сенсоры

В отдельных устройствах используются также вспомогательные сенсорные устройства: ToF (Time-of-Flight), которые фиксируют время распространения луча до предмета и обратно; RGB-датчики глубины; специальные световые лидары для формирования более детализированной 3D-модели лица.

Эти разработки применяются в основном во топовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные процедуры: искуственный ум на действии

Нынешние системы идентификации лиц невозможны при отсутствии эксплуатации искусственного интеллекта и machine learning. Именно из-за таким технологиям, как Vulkan Platinum, аппарат может распознавать юзера даже при трансформациях облика: новая стрижка, растительность на лице, оптика или макияж не становятся помехой для деблокировки.

Детектирование лиц

В первом стадии система обязана быстро обнаружить ликовое изображение внутри целого снимка камеры. Для этой задачи задействуются многоуровневые классификаторы Хаара или более современные сверточные нейронные сети (CNN), которые натренированы идентифицировать лиц человека среди множества других объектов.

Пример: метод MTCNN в состоянии находить лицо даже при частичном перекрытии (например, шалью или рукой).

Выделение основных точек

После обнаружения лица система, такая как Vulkan Platinum, вычисляет расположение основных точек: края глаз, конец носа, контуры губ и так далее. Как правило применяется от 68 до 128 главных меток на лицевой области.

Это действие необходимо для нормализации изображения: если человек держит смартфон под углом, или повернул голову, программа корректирует картинку до обычного угла для последующего изучения.

Формирование биометрии образца

Далее нейросеть строит компактное числовое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой след лица длиной от 128 до 512 вещественных чисел.

Этот формат весьма сложно имитировать: он не хранит непосредственно фото юзера, а лишь уникальные характеристики его внешности, что делает его оптимальным для таких площадок, как Вулкан Казино Платинум.

Сравнительный анализ и принятие выбора

В случае, когда человек желает разблокировать смартфон взглядом, программа повторяет все шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает установленный границу (обычно превышает 99%), телефон, как и платформа Вулкан Казино Платинум, разблокируется; если нет — доступ блокируется.

Адаптация к изменениям внешнего вида

Увлекательная черта нынешних систем — возможность самообучения. Если вы часто открываете смартфон с новой прической или очками, программа постепенно модернизирует основной шаблон вашего облика для увеличения точности действия без ухудшения безопасности.

Безопасность биометрических данных.

Множество юзеры опасаются держать свои биометрические идентификационные данные на смартфоне из-за риска потери данных или взлома гаджета. Определенные компании, такие как Вулкан Казино Платинум, предлагают решения для увеличения сохранности информации клиентов.

• Локальное хранение: Большинство девайсов хранит биометричные шаблоны лишь в пределах безопасного микросхемы Secure Enclave (Apple) или TrustZone (Android). Эти данные всегда не выходят из устройство и не доступны в том числе изготовителю.

• Шифрование: Все данные сохраняются только в зашифрованном виде с использованием современных криптографических алгоритмов AES256.

• Изоляция программ: Приложения внешних девелоперов не обладают прямого доступа к биометрическим; они могут лишь запрашивать факт подтверждения идентичности через системный API.

Стоит отметить значимую подробность: если кто-то сможет получить физический доступ к вашему телефону (например, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому многие компании осуществляют меры безопасности от неосознанного разблокирования — например, требуют открыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие именно существуют категории идентификации лиц?

Сегодня можно определить различить три главных подхода к реализации этой задачи:

Программное 2D определение

Применяется только лицевая видеокамера без экстра датчиков глубины. Этот метод встречается чаще всего в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: несложность осуществления; низкая стоимость; быстрая работа при качественном освещении.
Минусы: просто ввести в заблуждение снимком; неустойчивая деятельность ночью; низкая безопасность.

Аппаратное объёмное сканирование

Использует инфракрасную видеокамеру + проекционный модуль пикселей + сенсоры глубины (Face ID от Apple; аналогичные решения у Huawei Mate).
Плюсы: большая достоверность; нельзя обмануть изображение/видеозапись; стабильная деятельность в любых условиях освещения.
Минусы: увеличение цены устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Комбинированные подходы с дополнением ИИ

Задействуют комбинацию программных методов + аппаратно-техническую обработку + последующую обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, такие изделия, например Vulkan Platinum и Google Pixel Face Unlock новейших версий, объединяют фронтальную камеру c инфракрасным сенсором движения Soli Radar для защиты от фальсификаций руками/масками/видеоэкранами чужих устройств.

Иллюстрации использования разнообразных способов

• iPhone серии X/11/12/13/14 задействуют только аппаратное трёхмерное сканирование
• Xiaomi Mi8 Explorer Edition в первый раз предложил подобие Face ID в числе Android.
• Samsung Galaxy S10 модель/S20 обеспечивают как софтверное плоское распознавание по изображению фронтальной камерой, так и сенсор глазного ириса.
• Huawei Mate20 Pro задействует набор из ИК-инфракрасного света + Dot Projector + ToF-сенсор

Вопросы безопасности и неверные сигналы

Несмотря на поразительный успехи технологий за недавние годы, совершенных системы пока не наблюдается:

1. Вероятность подвоха: Бюджетные смартфоны без труда открываются четкой фотографией пользователя или видеозаписью с экрана другого устройства.
2. Идентичные двойняшки: Даже самые безупречные механизмы могут ошибиться между однояйцевыми близнецами либо семьями с очень похожей внешностью.
3. Изменения внешнего вида: Стремительное утрата веса/увеличение массы тела, пластические операции либо повреждения иногда необходимы для повторной регистрации биометрических данных.
4. Условия фотографирования: Яркая подсветка солнечным светом или же интенсивная темнота могут уменьшить аккуратность идентификации признаков.

Вот несколько рекомендаций по надёжному эксплуатации:

• Для критически важных операций всегда применяйте дополнительную аутентификацию;
• Не активируйте функцию “Разблокировка по лицу” на дешёвых устройствах без ИК-сенсоров;
• Постоянно апгрейдите прошивку телефона для защиты от современных угроз;
• Включайте функцию “Требовать раскрытых глаз” везде, где она имеется.

В каких местах дополнительно находится применение технология за исключением мобильных телефонов?

Хотя предмет нашей статьи касается в частности мобильным устройствам, необходимо сказать о прочих направлениях внедрения технологии:

• Мониторинг прохода в деловых центрах и резиденциях;
• Платёжные устройства банков (“Face Pay”);
• Электронные удостоверения личности нового поколения;
• Комплексы видеоконтроля муниципальных сервисов;
• Автоматизация отслеживания присутствия учебных заведений/институтов;
• Аутентификация участников компьютеров/ноутбуков.

Например: В городском метро уже испытывается система платежа проезда по фейсу (“Face Pay”) — достаточно пройти через турникет без пластика или мобильника! Похожие инициативы реализуются в Поднебесной (Шэньчжэнь), Республике Корея и ряде стран Европы.

Каким образом изменяется технический процесс в нынешнее время?

Любой годик возникают свежие идеи для повышения качества деятельности систем распознавания лиц:

1. Увеличивается чёткость сенсорных устройств — чем больше элементов фиксируется камерой/глубинными сенсорами, тем меньше шанс неточности;
2. Улучшаются искусственные интеллекты — новейшие архитектуры модели MobileNetV3 позволяют скоростно обучаться новым особенностям облика пользователя непосредственно на девайсе без пересылки информации в облачное хранилище.
3. Совершенствуются технологии антиспуфинга — теперь телефоны могут распознавать подлинные живые облики от фиксированных фотографий/маскировок по незаметным движениям кожи.
4. Интеграция со умными устройствами — умные часы могут самостоятельно закрыть доступ к мобильный телефон, если обладатель отошёл далеко.
5. Появляются смешанные механизмы — в частности объединяющие аудио аутентификацию + лицо + отпечаток пальца.

Вот, какие направления особенно востребованы сейчас:

1) Миниатюризация деталей

Изготовители стараются уменьшить габариты выреза (“чёлки”) под датчики на дисплее за счёт интеграции миниатюрных ИК-излучателей прямо под стекло дисплея либо высувных модулей камеры.

2) Обработывание прямо на устройстве

Для повышения конфиденциальности всё более обработки данных осуществляется на месте без передачи данных во внешний облачный сервис.

3) Унификация норм

Гугл активно продвигает норму BiometricPrompt API, для того чтобы аналогичные платформы, как Вулкан Платинум, и все Android-программы могли работать с любыми видами биометрии унифицированно.

Какое подобрать на сегодня?

Если вам всем нужна наивысшая сохранность данных, выбирайте флагманские аппараты с интегрированным ИК-излучателем либо ToF-сенсором глубины.

• iPhone всех существующих новейших версий
• Huawei Companion/P Series ряда
• Mi Professional
• Vivo X серии
• Oppo Обнаружить Х серий.

Если финансы ограничен – лучше предпочесть обычным способам защиты (PIN-код/сканер отпечатка), а возможность “разблокировка по лицу”, такую как в Вулкан Платинум, задействовать только как дополнительную возможность комфорта.

Каким способом улучшить комфорт функционирования опции?

Есть пара советов для тех, кто уже применяет разблокировку по лицу:

1. Регулярно обновляйте свою фотографию-шаблон, если сильно трансформируется внешний вид.
2. Не упускайте из виду протирать линзу фронтальной камеры – пятна могут снизить точность!
3. Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего мобильник сам активирует камеру если вы берёте его в руки.
4. При регистрации старайтесь удерживать голову ровно впереди камеры не допуская значительного наклона головы.
5. Задействуйте функцию “Attention Aware” (“Реакция на внимание”) – она закрывает смартфон, если вы отвернулись от экрана.

Будущее эволюции технологии

В скоро наступающие годы можно предвкушать развития полностью безконтактных способов опознания индивидуума сразу по нескольким биометрическим параметрам одновременно: лицо + голос + походка + жесты рук!

Также предполагается появление современных способов защиты личной информации – к примеру, изменяющееся модификация диджитал образца после каждой удачной авторизации, чтобы затруднить его копирование злоумышленниками.

Распознавание лиц – одна из наиболее интересных инноваций нашего времени! Она делает общение со мобильным устройством комфортнее чем до этого, и такие аппы, как Вулкан Казино Платинум, могут в разы улучшить ваш пользовательский опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, если вы знаете, как устроена эта система в деталях, – сможете вдумчиво определять свой следующий девайс!