TAPe решает задачи компьютерного зрения эффективнее, чем любая другая технология — вот реальные примеры
Мы открыли и разработали Теорию Активного Восприятия, TAPe, которая моделирует работу врожденных механизмов восприятия человека, математически описывает Язык Мышления (подробнее о концепции языка мышления можно почитать на английском). Технологии на основе TAPe будут оперировать т.н. образами, а не массивами структурно несвязных чисел — нулями и единицами — двоичной системы счисления, как сейчас.
Образ или T-bit, как мы их называем, в отличие от двоичной системы — это описание на подмножестве как раз максимально информативных связанных элементов информации. Все это позволяет в единице информации T-bit передавать намного больше значимой информации, для любого класса задач объемы вычислительных операции сокращаются на на порядки.
Мы уже применили принципы TAPe в технологиях компьютерного зрения, как в реальных продуктах, так и пилотных проектах для разных клиентов. С помощью TAPe решались задачи, решение которых “традиционными” технологиями требует столько ресурсов — финансовых, технических, человеческих — что это становилось бы невыгодным и неэффективным с точки зрения любого бизнеса. Вот несколько примеров, как TAPe делает невозможное возможным.
Поиск видео по видео для онлайн-кинотеатра
Задача: В ответ на запрос пользователя (это может быть фильм, режиссер, актер/актриса, страна производства, жанр, год и пр.) онлайн-кинотеатр хочет предлагать видео подборку самых популярных сцен в соответствии с запросом.
В чем сложность: Популярность сцен можно определить с помощью YouTube как самого большого видеохостинга в мире. Популярность в данном случае — это как часто те или иные сцены из какого-то фильма используются в ютюбовских роликах (видео подборках, UGC-роликах, обзорах и проч.). Чтобы вручную решить задачу, нужно было бы как минимум по каждому фильму просмотреть все ссылки, посчитать, какие сцены сколько раз использовались в этих ссылках, далее смонтировать ролик.
Как мы решили задачу с помощью TAPe: Для каждого фильма сформировали семантическое ядро, это десятки текстовых запросов для YouTube. В итоге для каждого фильма YouTube выдал в среднем 500-1000 ссылок, примерно 30 тыс. минут видео на один фильм. Все ссылки были проиндексированы нашей системой. Затем система сравнила все видео по этим ссылкам с эталоном (эталон— непосредственно full-видео фильма). Таким образом система для каждого фильма сравнила 30 тыс. минут видео в ссылках с самим фильмом и определила, какие сцены из фильма используются чаще всего и на основе этого составила рейтинг наиболее популярных сцен. Таких сцен 20-30 для каждого фильма, система из них смонтировала один ролик.
Индексация видео занимает определенное время, а вот на сравнение эталона с ссылками и составление рейтинга у системы уходит несколько секунд. Индекс видео занимает 1 мб на час видео. Для работы нужен самый обычный сервер с самыми обычными характеристиками.
Digital Asset Management для хостинга adult контента
Задача: Проверка на уникальность загружаемого пользовательского видео, чтобы оплачивать пользователям права только за уникальный контент. Видеоархив, по данным клиента, составляет 5 млн видео. В среднем длина одного ролика 15-20 мин. База видео пополняется со скоростью 10-12 видео/в минуту.
В чем сложность: Очевидно, нужно успевать проверять пользовательское видео на уникальность еще до того, как оно будет загружено в общую базу видео. Получается, что на проверку отводится 5-6 секунд — за это время нужно сравнить загружаемое видео со всей базой в 5 млн видео и обнаружить повтор любой продолжительности, если он есть. Кроме повторов могут также встречаться попытки фрода со стороны пользователей: монтаж, перемонтаж, зеркальное видео, разные разрешения, соотношения сторон, различные шумы и т.д. Все это тоже нужно распознавать.
Как мы решили задачу с помощью TAPe: Во-первых, мы проиндексировали всю базу видео клиента. По договоренности с клиентом мы разработали конвертер, который позволял клиенту самостоятельно превращать свой архив в индекс в нашем TAPe-формате: клиент не хотел отдавать контент третьей стороне. Затем клиент пересылал индекс нам и мы с ним уже могли работаем. Индекс невозможно конвертировать обратно в видео.
С технической точки зрения для решения задачи мы придумали архитектуру из 8 серверов, которая позволяла по индексу видеоархива в режиме реального времени каждое загружаемое видео обрабатывать таким образом, чтобы находить в нем повторы. Как только новое пользовательское видео приходило на хостинг, оно сразу индексировалось системой: сначала на клиентской стороне, затем индекс видео отправлялся нам, и мы уже проверяли на полное или частичное совпадение. Все это занимает отведенные 5-6 секунд: за это время новое видео сравнивается со всем архивом и обнаруживаются (или не обнаруживаются) повторы.
Восемь серверов держали индекс видео в оперативной памяти, чтобы можно было максимально быстро к нему обращаться. Этого хватало на распараллеливание необходимых вычислений. Никаких дополнительных требований к интернету, хостингу и т.п. не требовалось.
24/7 мониторинг выхода ТВ-рекламы для рекламодателей
Задача: Мониторить выход в эфир рекламных роликов в разных городах, регионах, странах, чтобы рекламодатели могли проверить выход рекламы на соответствие их медиаплану.
В чем сложность: Особенности российского рынка, где мы и запустили продукт, таковы, что до 70% региональной ТВ-рекламы никак не мониторилось: было огромное количество городов, которые не входили в исследовательскую панель измерения телесмотрения. В этих городах рекламодатель никак не мог проконтролировать правильность выхода рекламы: в итоге, по нашей статистике, минимум 20% рекламы в регионах выходило с нарушениями: невовремя или не выходила вовсе, из-за чего целевая аудитория не видела рекламу или не видела ее в запланированном количестве. В денежном эквиваленте это примерно $240 млн — столько тратилось на рекламу, которая никак не проверялась с точки зрения эффективности. Выходила ли реклама, сколько раз, в какое время и в нужное ли время – на все это не было эффективных ответов.
Как мы решили задачу с помощью TAPe: Можно, конечно, в каждом городе посадить по 3-4, а лучше десяток сотрудников, которые круглосуточно будут смотреть ТВ и сверять эфир с медиапланом рекламодателей. Но это кажется не очень надежным и эффективном решением.
На рынке есть технические решения, которые позволяют так или иначе мониторить ТВ-эфир, но у них куча ограничений. Во-первых, они скорее всего не связаны с видео. Например, в Китае используют технологию watermark: поскольку решение отраслевое, то можно договориться со всеми вещателями, чтобы они использовали одну и ту же watermark. Кто-то мониторит по звуку, по технологии fingerprint и проч. У всех этих способов есть свои недостатки и ограничения. Во-вторых, сами по себе подобные решения — это именно индустриальные, тяжелые решения, которые иногда называют “холодильником” из-за их внешней схожести. Стойка дорогущих серверов, которым нужны специальные условия для работы и которые есть не во всех ЦОДах. Целый программно-аппаратный комплекс, созданный для решения конкретных задач. Все это очень дорого и сложно и не всегда решает задачу мониторинга буквально одного телеканала в отдельно взятом небольшом городе, куда “холодильник” не поставишь.
Как мы решили задачу с помощью TAPe: Чтобы решить эту проблему, мы развернули инфраструктуру в 150 городах в пяти странах, которая позволяла мониторить ТВ-сигнал в неохваченных регионах, и организовали мониторинг 1000 ТВ-каналов. При этом система легко масштабировалось: в любом момент можно было увеличить как число городов, так и количество ТВ-каналов.
В каждом городе мы установили серверы, которые записывали от 1 до 10 каналов. Каждый сервер создавал индекс ТВ-сигнала плюс формировал видеоархив. На центральный сервер отправлялся только индекс эфира, где практически мгновенно сравнивался с эталонами. В данном случае эталоны – это рекламные ролики клиентов. Всего в базе системы было до 50 тыс. роликов, количество роликов никак не влияло на быстродействие системы. Для нужд клиентов база в индексе хранилась на сервере один год, база видео – не более 3 месяцев. Таким образом, можно было в режиме реального времени узнать, выходила ли реклама клиента и если да, то когда именно.
В таком виде система обрабатывала 1000 минут в минуту. Для сравнения, на тот момент пополнение YouTube составляло 2500 минут видео в минуту, то есть мы в реальном времени обрабатывали объем видео, сравнимый с 40% объема YouTube.
Для России это был уникальный продукт. На мировом рынке есть решения, которые также предлагают мониторинг рекламы, однако эффективность TAPe позволила нам создать решение, по себестоимости дешевле конкурентов в сотни раз.
Блог проекта Valentina
Открытый проект по созданию программы для создания лекал одежды.
суббота, 3 февраля 2018 г.
Поиск мерок в Tape
Очень давно меня просили добавить возможность фильтра списка мерок для большего удобства. Держите.☺
 |
| Поле поиска мерок в Tape. |
Работает функция достаточно просто. Вводите слово которое хотите найти. Программа обойдет все мерки и будет искать совпадения. Первоначально поиск происходил только в названиях и в тексте выбранной мерки. Но я решил, что этого не достаточно и теперь программа ищет совпадения в описаниях всех мерок.
Для того что бы начать использовать эту функцию вам нужно скачать и установить последнюю тестовую сборку. Такие сборки публикуются на сайте проекта каждый понедельник.
Tape — простейший менеджер 3d проектов
Обновился Tape — минималистичный менеджер для художников и дизайнеров, позволяющий эффективно управлять проектом, отслеживать дедлайны и упрощать коллективную работу над одними ассетами.
В коллекциях можно отследить прогресс проекта, в несколько кликов добавить подзадачи, посмотреть ход работы над отдельными этапами. Пока Tape доступен только для Mac, Windows версия в разработке. До настоящего времени менеджер был полностью бесплатным, однако с февраля 2018 года разработчик вводит платную подписку от $5.
С одной стороны Tape достаточно примитивен и прямолинеен, но вместе с тем и минималистичен и прост в освоении. Конечно, он не подходит для серьезного продакшена, но маленькие команды в 3-5 человек вполне могут повысить свою эффективность за счет использования такого проект менеджера как Tape.
Подробнее о Tape на сайте автора.
При подготовке материала использовались источники:
https://vc.ru/services/702851-tape-reshaet-zadachi-kompyuternogo-zreniya-effektivnee-chem-lyubaya-drugaya-tehnologiya-vot-realnye-primery
https://valentina-project.blogspot.com/2018/02/tape.html