Как работает идентификация лиц в смартфонах

Почему мы выбираем разблокирование по лицевому распознаванию

В последние времена распознавание физиономий является одной из самых распространённых возможностей для открытия умных телефонов. Еще пару годов назад основная часть пользователей обходились пин-кодами, ключами доступа или датчиками отпечатков пальцев. Но с появлением подобных технологий, например admiral x, нам достаточно просто взглянуть на экран — и аппарат тут же узнает своего владельца.

Какой аспект превращает эту конкретную функцию настолько популярной? Прежде всего, это комфортно: не нужно запоминать трудные пароли или искать нужный палец в темноте. Также, это мгновенно: современные алгоритмы узнают лицо практически за доли секунды. В-третьем пункте, это ощущение футуризма — как будто в фильмах про admiral x разведчиков.

Тем не менее за этой кажущейся несложностью прячется весь вселенная трудных методов и инженерных разработок. Попробуем понять, как именно действует фейсканирование в новейших смартфонах, какие применяются технологии, насколько они надёжны и что нас предстоит.

Короткая история развития технологии

Распознавание лиц как методика существует уже более пятидесяти годов. Первые попытки автоматизированного анализа облика были сделаны еще в 1960-х годах в лабораториях США. Тогда ЭВМ способны были лишь выделять контуры лица и измерять расстояния между очами и губами на монохромных фотографиях.

Начальные торговые системы возникли в 90-х, но они были несовершенны: работали медленно и нередко ошибались. Только с развитием искусственных сетей и таких платформ, как адмирал х, мощных мобильных чипов распознавание лиц стало по-настоящему широко распространённым явлением.

В 2017 году Apple представила iPhone X с системой Face ID — это был первый популярный смартфон с безопасным трёхмерным распознаванием лица. За этим последовали Android-изготовители: Samsung, Huawei, Xiaomi и прочие стали внедрять личные разработки.

Ключевые этапы действия механизма распознавания

Процесс определения лица можно условно поделить на несколько важных этапов:

1. Идентификация лица — устройство выявляет наличие человеческого образа в кадре.
2. Выделение характеристик — алгоритм изучает особенности лица: очертания глаз, обонятельного органа, губ, положение надбровных дуг.
3. Построение шаблона — создаётся уникальный цифровой отпечаток (faceprint) на основе идентифицированных признаков.
4. Сравнение со стандартом — сформированный модель сверяется со зафиксированной при регистрации биометрической сведениями владельца.
5. Принятие решения — если сходство достаточно значительное, смартфон разблокируется.

Каждый из указанных стадий запрашивает специальных алгоритмов и усовершенствований для скорой работы непосредственно на девайсе.

Технические элементы: что скрыто внутри

Типичная фронтальная камера.

Самый простой несложный вариант определения лица задействует исключительно переднюю видеокамеру мобильного устройства. Данный способ осуществлён во различных недорогих вариантах Android-девайсов.

Сильные стороны:

• Не потребляет дополнительные датчиков.
• Шустро действует при достаточном свете.

Отрицательные стороны:

• Несложно обмануть изображением или видеозаписью.
• Неудачно действует при низком свете или непривычных точках зрения.

Инфракрасная фотокамера и точечный проектор

Более усовершенствованные системы, такие как адмирал х, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая технология является основой Face ID от Apple.

Каким способом это функционирует:

• Точечный устройство проекции проецирует на облик юзера невидимую структуру из тысяч инфракрасных пятен (например, Face ID применяет около 30 000 точек).
• ИК камера фиксирует искривление этой сетки по плоскости физиономии.
• Получается трехмерная карта глубинности, которая практически невозможна для подделки типичной снимком или маской.

Плюсы

• Надёжная деятельность даже в полной темноте.
• Высокая сопротивляемость к подделкам.
• Точность распознавания выше 99%.

Добавочные датчики

В некоторых аппаратах используются также вспомогательные сенсорные устройства: ToF (Time-of-Flight), которые определяют время прохождения луча до цели и обратно; Цветные-датчики глубины; специальные оптические дальномеры для построения более точной 3D-модели физиономии.

Эти технологии применяются в основном во топовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные методы: синтетический ум на исполнении

Нынешние системы распознавания физиономий немыслимы без применения ИИ и машинного обучения. Именно вследствие таким разработкам, как адмирал х, устройство способно узнавать пользователя даже при трансформациях облика: новая укладка, растительность на лице, очки или грим не становятся барьером для разблокировки.

Распознавание лица

В первом стадии программа необходимо оперативно найти ликовое изображение среди всего изображения с камеры. Для данной цели используются каскадные классификаторы Хаара или более продвинутые конволюционные нейронные сети (CNN), которые подготовлены идентифицировать человеческие лица среди множества других объектов.

Пример: алгоритм MTCNN в состоянии находить физиономию даже с частичном перекрытии (например, шалью или рукой).

Идентификация важных точек

После распознавания лица система, такая как адмирал х, определяет расположение главных точек: кончики глаз, верхушка носа, контуры губ и так далее. Обычно применяется от 68 до 128 ключевых маркеров на лицевой области.

Это действие необходимо для стабилизации картинки: если юзер держит мобильник под углом, или склонил голову, программа корректирует изображение до обычного угла для последующего изучения.

Формирование биометрического идентификатора шаблона

Далее нейронная сеть строит уплотненное числовое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой образ лица длиной от 128 до 512 чисел с плавающей запятой.

Данный образец весьма затруднительно имитировать: он не хранит непосредственно картинку пользователя, а лишь исключительные особенности его внешности, что делает его оптимальным для таких систем, как admiral-x.

Сопоставление и принятие заключения

Когда человек желает открыть мобильник глазами, механизм повторяет все шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает определённый границу (обычно выше 99%), телефон, как и платформа admiral-x, открывается; если нет — доступ не предоставляется.

Адаптация к трансформациям внешнего вида

Увлекательная черта нынешних систем — возможность самообучения. Если ты часто доступаете к мобильное устройство с новой прической или оптикой, система постепенно модернизирует базовый образец вашего облика для повышения точности работы без снижения уровня безопасности.

Охрана биометрии информации.

Многие юзеры опасаются держать свои биометрические данные на смартфоне из-за угрозы утечки информации или взлома устройства. Некоторые фирмы, такие как admiral-x, предоставляют варианты для увеличения сохранности информации пользователей.

• Локальное сбережение: Большинство девайсов записывает биометрические шаблоны исключительно внутри защищённого чипа Secure Enclave (Apple) или TrustZone (Android). Они никогда не выходят из аппарат и недоступны включая создателю.

• Шифрование: Все сведения сберегаются только в зашифрованном виде с использованием современных криптографических алгоритмов AES256.

• Изоляция программ: Программы сторонних разработчиков не имеют непосредственного возможности доступа к биометрическим данным; они могут лишь требовать факт подтверждения идентичности через системный API.

Следует подчеркнуть важную деталь: если какой-то человек достанет физический доступ к вашему телефону (к примеру, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому значительное количество производители реализуют систему защиты от неосознанного разблокирования — в частности, требуют открыть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют бывают типы идентификации лиц на изображениях?

Сегодня можно определить различить три ключевых метода к выполнению этой операции:

Софтверное двухмерное распознавание

Используется только передняя камера без экстра сенсоров глубины. Этот подход наблюдается чаще всего в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: простота осуществления; низкая цена; скоростная работа при достаточном свете.
Минусы: просто обмануть фотографией; неустойчивая деятельность ночью; недостаточная безопасность.

Оборудование для трёхмерное оцифровка

Применяет инфракрасную видеокамеру + проектор точек + сенсоры глубины (Face ID от Apple; аналогичные технологии у Huawei Mate).
Достоинства: большая достоверность; нельзя подделать фото/видео; стабильная функционирование при любом освещении.
Минусы: удорожание устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Смешанные способы с интеграцией ИИ

Задействуют комбинацию программируемых методов + аппаратно-техническую обработку + последующую обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, подобные изделия, как адмирал х и Google Pixel Face Unlock современных версий, комбинируют фронталку c инфракрасным датчиком мобильности Soli Radar для защиты от фальсификаций руками/масками/видеодисплеями чужих устройств.

Образцы использования различных техник

• iPhone серии X/11/12/13/14 используют только аппаратное трёхмерное сканирование
• Xiaomi Mi8 Explorer Edition впервые внедрил аналог Face ID в числе Android.
• Samsung Galaxy S10 версия/S20 имеют как программное плоское распознавание по снимку селфи-камерой, так и датчик ириса глаза.
• Huawei Mate20 Pro использует систему из ИК-инфракрасного света + Dot Projector + ToF-сенсор

Трудности защиты и ошибочные сигналы

Несмотря на впечатляющий развитие техники за недавние лет, идеальных механизмов пока не имеется:

1. Вероятность мошенничества: Бюджетные телефоны просто открываются четкой изображением пользователя или роликом с экрана другого устройства.
2. Идентичные двойняшки: Даже самые совершенные устройства могут спутать между монозиготными близнецами либо родственниками с очень схожей внешностью.
3. Изменения облика: Стремительное снижение веса/набор веса, пластические операции либо повреждения порой необходимы для перерегистрации биометрии.
4. Условия съёмки: Интенсивная засветка солнцем либо плотная темнота могут понизить аккуратность распознавания признаков.

Вот некоторые советов по надёжному применению:

• Для важных операций всегда применяйте двухфакторную аутентификацию;
• Не запускайте функцию “Разблокировка по лицу” на дешёвых аппаратах без ИК-сенсоров;
• Постоянно обновляйте программное обеспечение мобильного устройства для предотвращения угроз от современных угроз;
• Включайте настройку “Требовать распахнутых глаз” там, где она имеется.

Где дополнительно применяется технология помимо смартфонов?

Несмотря на то, что тема этой работы касается конкретно портативным гаджетам, следует отметить прочих направлениях внедрения технологии:

• Контроль доступа в рабочих помещениях и жилых домах;
• Платёжные устройства финансовых учреждений (“Face Pay”);
• Виртуальные идентификационные документы последнего образца;
• Системы видеоконтроля городских подразделений;
• Автоматизация регистрации явки школ/вузов;
• Авторизация участников персональных компьютеров/ноутбуков.

Например: В столичном метро уже тестируется система платежа проезда по лицу (“Face Pay”) — нужно лишь пройти через барьер без карты или телефона! Похожие проекты развиваются в Китае (Шэньчжэнь), Южной Корее и ряде стран Европы.

Как трансформируется технический процесс в нынешнее время?

Любой год возникают современные концепции для улучшения качества работы систем распознавания лиц:

1. Увеличивается детализация сенсорных устройств — чем больше деталей фиксируется видеокамерой/датчиками глубины, тем меньше шанс ошибки;
2. Развиваются нейронные сети — передовые структуры вида MobileNetV3 позволяют быстро осваивать новым чертам внешности владельца прямо на устройстве без отправки данных в облако.
3. Развиваются методы антиспуфинга — теперь мобильные устройства могут распознавать подлинные живые лица от фиксированных фотографий/маскировок по микроскопическим движениям кожи.
4. Синхронизация со смарт-гаджетами — интеллектуальные часы могут авто заблокировать мобильный телефон, если владелец удалился на значительное расстояние.
5. Появляются комбинированные устройства — к примеру совмещающие голосовую опознание + лицо + дактилоскопический след.

Итак, какие тенденции особенно востребованы в данный момент:

1) Уменьшение компонентов

Изготовители стараются сократить величину выреза (“чёлки”) под сенсоры на дисплее за счёт внедрения маленьких ИК-проекторов прямо под стекло дисплея либо высувных модулей камеры.

2) Обработка прямо на аппарате

Для улучшения личной безопасности всё более вычислений выполняется внутри устройства без пересылки данных во внешний облачный сервис.

3) Унификация стандартов

Google энергично пропагандирует норму BiometricPrompt API, для того чтобы подобные платформы, вроде admiral x, и каждые Android-приложения были совместимы с различными типами биометрии стандартизированно.

Что подобрать сегодня?

Если вам всем нужна предельная сохранность данных, остановите выбор на флагманские аппараты со встроенным ИК-излучателем или ToF-сенсором глубины.

• iPhone всех существующих актуальных моделей
• Huawei Mate/Series P линейки
• Mix Professional
• Vivo X модели
• Oppo Найти Х линейки.

Если бюджет невелик – лучше предпочесть традиционным способам безопасности (PIN-код/сканер пальца), а функцию “разблокировка по лицу”, такую как в admiral x, задействовать только как опциональную опцию удобства.

Каким образом повысить практичность функционирования опции?

Есть несколько лайфхаков для тех, кто уже пользуется разблокировку через лицо:

1. Периодически обновляйте свою изображение-шаблон, если сильно меняется внешний вид.
2. Не пренебрегайте очищать объектив передней камеры – разводы могут уменьшить точность!
3. Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – так смартфон сам активирует камеру если вы берёте его в руки.
4. В процессе регистрации старайтесь держать лицевую часть неподвижно напротив камеры без резкого наклона головы.
5. Используйте опцию “Attention Aware” (“Реакция на внимание”) – она запирает смартфон, если вы отворачиваетесь от дисплея.

Перспективы эволюции техники

В ближайшие годы можно предвкушать появления полностью дистанционных способов опознания индивидуума сразу по нескольким биометрическим данным параметрам одновременно: облик + звучание + шаги + движения рук!

Также предполагается появление свежих способов защиты личной информации – к примеру, динамическое корректировка цифрового паттерна после каждой успешной авторизации, чтобы затруднить его копирование злоумышленниками.

Распознавание лиц – единственная из самых интересных инноваций нашего периода! Она делает общение со мобильным устройством удобнее чем раньше, и такие аппы, как admiral-x, могут значительно оптимизировать ваш юзерский опыт, но запрашивает осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, когда вы понимаете, как функционирует эта система в деталях, – будете в состоянии вдумчиво определять свой очередной гаджет!