Технологии распознавания лиц и их применение в современном мире

Категории индивидуальности. Как системы распознавания работают в мире, где нет «стандартных» людей

Технологии распознавания лиц сегодня могут конкурировать с человеческим зрением в точности и объективности. В условиях сложного и разнообразного современного мира нам, людям, не всегда просто понять, мужчина перед нами или женщина, узнать человека после ряда пластик и определить этническую принадлежность. Тщательно обученные нейросети могут дать нам фору в этом вопросе. Мы в facemetric решаем разные задачи по распознаванию и идентификации, поэтому в статье решили рассказать, как работает эта технология, от чего зависит ее точность, а также о том, можно ли обмануть систему с помощью увеличения губ или коррекции носа, и как технология изменится в будущем.

От чего зависит точность распознавания

Процесс распознавания лица можно разделить на два этапа. Сначала система ищет в кадре само лицо. Когда детектирование прошло успешно, в дело вступают обученные заранее нейросети. Они определяют уникальные параметры и признаки лица, переводят их в цифровой код. Дальнейшая работа алгоритмов ведется с этим кодом.

Успех распознавания и точность анализа зависят от количества и разнообразия данных, которыми снабдили систему в процессе обучения. Каталоги таких данных называют датасетами. Чем шире датасет, чем больше он соответствует аудитории, которую надо будет анализировать — тем выше точность. Например, чтобы нейросеть отлично распознавала лица определенной этнической группы, ей нужно “скормить” большое количество изображений людей этой группы — под разными углами, при разном освещении, в разных ракурсах.

Именно поэтому компаниям, выходящим в новые регионы, нужно приложить много усилий на подготовку датасетов и дообучение своих нейросетей, чтобы обеспечить высокую точность распознавания нового для них типа лица. Интересно, что когда китайские компании несколько лет назад выходили на российский рынок, у них не хватило точности распознавания европейских лиц, тогда как у себя на родине их алгоритмы показывали блестящие результаты.

В процессе подготовки датасета создается большой каталог из фотографий разных лиц на разном фоне. Обычно системы распознавания обучаются на взрослых, потому что большинство сценариев для этой технологии распространяются именно на них – СКУД (система контроля и управления доступом) на предприятиях, аналитика потока посетителей, оперативно-розыскная деятельность и т.д. Если нам интересно посчитать количество детей, обеспечить их безопасность или проанализировать предпочтения, нейросеть необходимо обучать специально для этой задачи.

Идентификация пола. Как быть с андрогинностью?

Отдельного обучения нейросети требует и решение задачи по распознаванию пола. Как мы помним, для системы распознавания человеческое лицо — набор параметров и особенностей. Для правильного определения пола система должна сфокусироваться на решении именно этой задачи и ей нужно предоставить достаточно материала для анализа, чтобы алгоритм выявил существенные признаки и различия полов.

Отличный иллюстратор работы такого алгоритма — фильтр популярного приложения FaceApp, который делает из мужчин женщин и наоборот. Это тоже нейросеть, которая вытягивает из изображения ключевые признаки и меняет их под нужный пол. Например, если надо сделать из женщины мужчину, программа меняет форму глаз и бровей, делает крупнее челюсти и скулы. Таким образом, новосозданный мужчина все еще похож на оригинальную женщину, но мы легко считываем измененный пол. Чтобы помочь нам с этим, программа добавляет мужскую прическу и растительность на лице, но для самого алгоритма эти признаки вторичны.

Нейросеть, обученная различать мужские и женские черты лица, способна справляться с распознаванием пола даже в условиях современной моды на андрогинность. На наше восприятие в определении пола влияют растительность на лице, рост, грудь, ширина бедер и плечей,одежда, прическа, макияж и аксессуары. Сейчас же одежда все чаще унисекс, многие женщины не носят макияж и украшения, коротко стригутся. Не привыкший к этой моде человек может иногда спутать короткостриженную девушку в свободной одежде с молодым парнем. Система распознавания, в свою очередь, анализирует только лицо и не дает себя сбить другими факторами.

Бывают ситуации, где эти признаки наоборот помогают системе. Когда нам надо определить пол ребенка или пожилого человека, именно внешняя атрибутика помогает не ошибиться. У детей половые признаки еще выражены недостаточно ярко, а у пожилых людей гормональный фон меняется и происходит некоторое усреднение. В некоторых ситуациях, если перед вами ребенок или пожилой человек, вы не всегда определите, какого он пола без каких-либо косвенных признаков. В таких случаях для принятия решения систему учат анализировать вторичные факторы — одежду, макияж, аксессуары, растительность на лице.

Эксперименты с внешностью. Возможен ли обман?

Любые манипуляции с внешностью для видеоаналитики в большинстве случаев почти незаметны. Технология распознавания лиц здесь похожа на анекдотичного мужа, который не заметил, что у жены новая прическа и форма бровей. Чтобы сбить с толку камеру, надо переделать лицо до неузнаваемости. Если вы накачаете губы или сделаете ринопластику, но при этом не измените скулы и форму глаз, то для системы останетесь прежним. Татуировки на лице, смена цвета глаз или даже цвета кожи для компьютера тоже останутся незамеченными. Значение в идентификации имеет только геометрия лица.

Возьмем, к примеру, Майкла Джексона. Глядя на его фотографии до преображения и после, сложно сказать, что это один и тот же человек. Майкл поменял цвет кожи, форму носа, афро превратилось в прямые черные волосы, макияж визуально изменил форму бровей и губ. Нам может показаться, что он стал совсем другим человеком, но система распознавания все равно может узнать его по форме головы, подбородку, надбровным дугам, лбу, глазам и другим признакам. И несмотря на светлый цвет кожи, классификатор этнической принадлежности тоже с большей вероятностью причислил бы его к негроидной расе — по ряду других характерных для этой расы черт.

Разработчики систем видеоаналитики научились работать со всем многообразием современного мира и продолжают совершенствовать технологию. Нейросети могут лучше, чем человеческий глаз, выявить характерные черты лица и определить по ним пол, возраст, этническую принадлежность. Анализ визуальной информации о человеке ускоряет и упрощает многие задачи. Например, с его помощью уже сегодня можно совершать оплату покупок по лицу. Темпы развития технологии распознавания позволяют предположить, что уже скоро не нужно будет проходить генетические тесты, чтобы узнать свои корни или определить риски некоторых генетических заболеваний, достаточно будет просто показать себя умной камере.

Система распознавания лиц — забота о безопасности или тотальный контроль?

Фото: Из личного архива

Эксперт тренда Дмитрий Марков, генеральный директор VisionLabs. Окончил Московский технический университет связи и информатики. В 2010 году получил степень MBA Калифорнийского государственного университета. До 2020 года являлся гендиректором «НИС ГЛОНАСС» и директором по направлению Информационная инфраструктура АНО «Цифровая экономика».

Возможности

Главная задача биометрических систем — обеспечить комфортную и безопасную городскую среду. Сейчас, в разгар пандемии, они стали одним из важных инструментов защиты здоровья. Биометрия применяется практически в каждой отрасли: в банках, ретейле, на транспортных и промышленных предприятиях. Использование биометрии активно набирает обороты в финансовом сегменте. В частности, технология распознает загримированных мошенников или переклеенные фотографии в документах. В государственном сегменте биометрические системы наиболее широко используются в рамках решений «умного» города. В июле 2019 года были подведены итоги тестового внедрения систем распознавания в метро и на улицах Москвы. Системы сопоставляли лица из видеопотока с базой находящихся в розыске и в случае совпадения уведомляли сотрудников полиции, дежуривших поблизости. В итоге с помощью тысячи камер снаружи подъездов жилых домов были задержаны 90 человек. В метро системы видеоаналитики использовались на нескольких станциях. В ходе теста ежемесячно удавалось задержать от пяти до десяти преступников.

Фото:Артем Коротаев / ТАСС

Частные компании также внедряют биометрию у себя в офисах. Использование распознавания лиц в системах контроля и управления доступом позволяет избежать фальсификаций с пропусками — биометрический идентификатор нельзя потерять или передать третьему лицу. Есть и другие примеры использования биометрии коммерческим сектором. Например, автопроизводители прибегают к ней для повышения безопасности транспортных средств — делают так, чтобы в машине можно было перехватить управление в тот момент, когда водитель отвлекся. Одновременно биометрия позволяет автомобилю вспомнить настройки каждого водителя, что особенно актуально для постоянных пользователей каршеринга. Водитель тратит первые десять минут на подгонку кресел и зеркал под себя. Если же в автомобиле внедрена бортовая камера с распознаванием лиц, то машина может автоматически переключиться на настройки, заданные конкретным человеком.

Системы распознавания лиц применяют во благо горожан, но, как и при использовании любой другой технологии, есть определенные риски 

Системы распознавания лиц применяют во благо горожан, но, как и при использовании любой другой технологии, есть определенные риски (Фото: Shutterstock)

Наиболее актуальный сейчас вариант использования биометрии — эпидемиологический контроль. В этом году команда VisionLabs совместно с ГК «Элемент» представила комплексное решение — систему контроля и управления доступом на базе биометрической идентификации и измерения температуры тела человека. В решении используется продукт VisionLabs VL Thermo для бесконтактной автоматической термометрии. В России его уже внедрили, в частности, «Макдональдс», Сбербанк и ГК «Росатом», тестирование проходит в «Газпроме», на Октябрьской железной дороге и в других компаниях.

Риски

Есть мнение, что точность распознавания биометрических систем оставляет желать лучшего. Результаты независимого тестирования NIST — наиболее авторитетного источника эффективности мировых систем распознавания — доказывают, что современные решения отлично работают на фотографиях любых расовых групп и могут успешно применяться по всему миру. Например, для датасета Visa, содержащего изображения людей всех возрастов из более чем ста стран, точность распознавания с помощью алгоритмов VisionLabs составила 99,75% с вероятностью ложного положительного срабатывания один на миллион.

Фото:Shutterstock

Многих волнует риск утечки данных, но я считаю что он сильно преувеличен. Например, платформа LUNA получает на вход фотографию и извлекает из нее биометрический шаблон — дескриптор. Вне системы его нельзя интерпретировать: он представлен в виде набора чисел и не может быть преобразован в исходное изображение лица, поэтому даже в случае кражи эти данные невозможно использовать. Другое дело, если системы обработки биометрических данных хранят исходную информацию, т.е. видео или фотоснимки. Подобные системы взаимодействуют с большим количеством сервисов, поэтому для обеспечения необходимого уровня конфиденциальности вся инфраструктура должна быть защищена в рамках общего комплексного решения. Позаботиться о высоком уровне информационной безопасности — задача заказчика. Последствием неквалифицированной разработки модели угроз и несоблюдения регламентов может стать попадание многотысячных баз персональных данных в третьи руки. Еще один аспект — возможная непрозрачность системы доступа к собираемым биометрическим данным при реализации проектов национального масштаба. Законодательство должно четко определять, кто и в каких случаях может иметь доступ к хранимой информации. Представители структур, наделенных такими полномочиями, должны использовать данные, хранящиеся в системе, исключительно в рамках правового поля. Для нарушителей должны быть предусмотрены серьезные последствия.

Фото:Shutterstock

Перспективы

  • Первый — распознавание максимального количества объектов и их атрибутов. Например, VisionLabs недавно выпустила продукт LUNA Cars для распознавания транспорта. Он способен определить большинство атрибутов транспортного средства: марку, модель, цвет, тип и категорию. Система также определяет все символы на номерных знаках: от серии до кода региона регистрации с точностью более 99%. Еще одна возможность продукта — классификация по нескольким типам: такси, общественный и специальный транспорт.
  • Второе перспективное направление использования биометрии — распознавание жестов. Например, в новом смарт-дисплее SberPortal (экран с сенсорным, голосовым и жестовым управлением. — РБК) технологии VisionLabs используются для распознавания жестов, захвата и слежения за лицом и телом человека, определения его позы и направления взгляда. Благодаря им пользователь всегда остается в центре кадра во время видеозвонка, может получать персонализированную информацию и рекомендации (музыка, фильмы, новости, календарь событий), а также подтверждать онлайн-оплату.
  • Еще одно перспективное направление применения биометрии — распознавание эмоций. Благодаря ему можно сделать более персонализированными отношения с клиентами, улучшить программы лояльности и разработать целевые маркетинговые предложения. Например, наша биометрическая платформа с помощью нейронных сетей помогает верифицировать и идентифицировать личность человека, а также определить его эмоции, пол, возраст, элементы поведения и атрибуты одежды.

Поэтому основные страхи, которые сейчас вызывает биометрия, связаны не с ее недостатками, а со слабой информированностью о том, как работает технология. Устранение этого недостатка — всего лишь вопрос времени.

Как работает распознавание лиц? Разбор

Среднестатистический человек может идентифицировать знакомое лицо в толпе с точностью 97,53%. Вы скажете, это немало и будете правы. Но это ничто по сравнению с современными алгоритмами, которые добились точности 99,8% еще в 2014 году. А в последние несколько лет они достигли практически совершенства! Современный алгоритм, использующийся в камерах видеонаблюдения в Москве способен обрабатывать 1 миллиард изображений менее чем за полсекунды с точностью близкой к 100%.

Этот алгоритм насколько крут, что уже в этом году в Московском Метро планируют ввести систему прохода по лицу — FacePay. При этом нам обещают, что система будет работать даже если человек в медицинской маске.

Как вы понимаете, жизнь уже не будет прежней. Поэтому давайте разберемся:

  • Как работают алгоритмы распознавания лиц?
  • Страшны ли эти алгоритмы на самом деле и где их применяют во благо?
  • А также поговорим какого будущего нам ждать.

Причины

  1. Появились действительно мощные компьютеры, способные справиться с задачей. За это спасибо закону Мура.
  2. Появились базы данных с нашими с вами фотографиями. За что спасибо социальным сетям.
  3. Ну и конечно, произошел прорыв в области нейросетей.

Этап 1. Обнаружение

В первую очередь, для того, чтобы лицо распознать, надо его сначала обнаружить. Задача на самом деле не тривиальная. Для этого мы бы могли использовать натренированные нейросети, но это слишком долго, дорого и ресурсоемко. Поэтому для обнаружения лица используется очень простой метод Виолы — Джонса, разработанный еще в 2001 году.

Как эта штука работает?

Этот алгоритм просто сканирует изображение при помощи вот таких прямоугольников, они называются примитивами Хаара:

И еще вот таких прямоугольников:

Задача этих объектов — находить более светлые и темные области на изображении, характерных конкретно для человеческих лиц.

Например, если усреднить значения яркости область глаз будет темнее щек или лба, а переносица будет светлее бровей.

В общем таких характерных признаков много и естественно не только у человеческих лиц могут быть подобные паттерны. Поэтому алгоритм работает в несколько этапов:

Сначала находится первый признак, система понимает: «В этой области может быть лицо». Тогда она начинает там же искать второй признак, а потом третий. И если в одной области найдено 3 признака, уже можно уверенно сказать — да, это лицо! После чего система получает область изображения, в котором есть только лицо.

Этап 2. Антропометрические точки

Получив область для анализа, дальше в дело вступает главный секрет каждой системы распознавания — биометрический алгоритм.

Он расставляет на лице антропометрические точки, по которым впоследствии и будут вычисляться индивидуальные характеристики человека: разрез глаз, форма носа, подбородка, расстояние между ними и прочее. Таких признаков может быть много, вплоть до нескольких тысяч. Но в целом, таких точек должно быть как минимум 68.

Этап 3. Исправление искажений

А дальше начинается настоящая магия. В идеале нам нужно лицо, которое смотрит анфас, то есть прямо в камеру. Но такая удача бывает редко, особенно если речь идет о распознавании человека в толпе.

Поэтому система производит дополнительное преобразование изображения: устранятся поворот и наклон головы. А также проводится 3D-реконструкция лица из 2D-изображения. Таким образом, даже если человек на изображении смотрел вбок, мы всё равно можем получить четкий фронтальный снимок, что существенно повышает качество распознавания.

Этап 4. Вектор лица

Ну а дальше происходит самое главное. В бой вступает нейросеть, которая присваивает каждому лицу вектор признаков. Что это такое?

По сути, это просто какое-то число, которое складывается из суммы характеристик лица: расстояний между опорными точками, текстуры определенных областей на лице и прочее. Таких характеристик может быть множество. Основное правило: они должны описывать лицо независимо от посторонних факторов: макияжа, прически, возрастных изменений.

Этап 5. Идентификация

Ну а дальше остаётся сравнить полученный вектор с базой других векторов. И готово. Система вас идентифицировала.

Где и как используется?

Помимо очевидных кейсов применения, помимо обнаружения правонарушителей в общественных пространствах и оплаты билетов в метро. Где и как могут применяться эти технологии?

Во-первых, системы могут быть настроены не на идентификацию а на анализ поведения или настроения. В такси можно можно быстро вычислять неадекватных водителей или пассажиров. В магазинах, можно находить грустных покупателей и повышать уровень сервиса. Ритейлеры одежды или продуктовые магазины используют камеры для анализа поведения покупателя, чтобы проанализировать настроение покупателя на кассе. Или например в школах, можно искать скучающих детей и корректировать программу обучения. Так, кстати уже делают в Китае. Вот такой мир будущего, и мы уже в нём живём не зная этого.

Что будет в будущем?

Чего же нам ждать в будущем? Распознавание лиц для разблокировки iPhone, входа в Windows или во время конференций — это прекрасная, удобная технология, упрощающая жизнь и мы уже ей пользуемся. Но вот повсеместные камеры наблюдения в городах рисуют в воображении самые мрачные картины в духе Джорджа Оруэлла.

Отсюда возникает вопрос — можно ли защитить себя от систем видеонаблюдения? Конечно, с развитием технологий развиваются и средства обхода этих технологий.

Люди придумывают макияж и украшения, которые сбивают с толку алгоритм обнаружения лиц, тот самый из 2001 года, создают инфракрасные очки, засвечивающие сенсоры камер, а также делают всякую криповую одежду и маски.

Но по большому счету такой лук скорее больше привлечет внимания, а алгоритмы подстроятся под обманки. Поэтому единственный способ защиты — это закон. Бизнес активно не внедряет системы распознавания лиц только потому, что это несет большие юридические издержки. В ЕС активно разрабатывается новый закон, который уже прозвали GDPR 2: он будет строго регулировать системы распознавания лиц и прочие системы искусственного интеллекта, вызывающие законные опасения.

В России с этим пока что не так хорошо. Тем не менее отечественные компании, которые присутствуют на международном рынке также будут вынуждены соблюдать новые правила игры, как произошло с первым GDPR.

То есть, как вы поняли, есть светлая сторона технологии, которая упрощает нам жизнь и темная, что приближает нас к миру большого брата.

  • Блог компании Droider.Ru
  • Поисковые технологии
  • Алгоритмы
  • Софт
  • Фототехника

При подготовке материала использовались источники:
https://vc.ru/tech/185519-kategorii-individualnosti-kak-sistemy-raspoznavaniya-rabotayut-v-mire-gde-net-standartnyh-lyudey
https://trends.rbc.ru/trends/industry/5fbe521a9a79472773ea1481
https://habr.com/ru/companies/droider/articles/568764/

Оцените статью