Почему пора прекратить ссылаться на SimilarWeb. Разбор материала Tutu.ru

Всем привет. Это статья о том, почему не стоит делать «исследования» трафика через SimilarWeb и вообще сильно доверять данным, которые выдает этот ресурс.

6.3K открытий

У меня давно много вопросов к тем, кто для аналитики российского трафика использует SimilarWeb, и как раз на днях автор из Tutu.ru опубликовал кейс, на примере которого это можно обсудить. Статья была посвящена разбору того, как Яндекс отбирает трафик у аналогичных сервисов через «колдунщиков».

Для справки стоит пояснить, что Tutu является одной из компаний, которые пожаловались за это на Яндекс в ФАС. На мой взгляд, совершенно оправдано: поисковая выдача, в контексте продвижения сервисов, — вещь, мягко скажем, неоднозначная. Материал должен был проиллюстрировать обоснованность претензии, но вместо этого оказался «аналитикой на коленке», построенной на передергиваниях. Но обо всем по порядку.

Начнем с первого графика в статье Tutu и сравним его с данными самого SimilarWeb.

На графике в статье мы видим, что примерно с июня прошлого года ни одна «синяя» линия не превосходит 50%, то есть все сервисы без исключения получают более половины поискового трафика из Google. Нет ли тут ошибки?

Конечно, есть, и автор статьи не мог об этом не знать.

Прямо сейчас SimilarWeb сообщает, что Tutu получает более 70% поискового трафика из Яндекса.

За месяц с декабря 2020 по январь 2021 (данные, доступные любому пользователю в пробной версии) показания приборов SimilarWeb поменялись на десятки процентов. Tutu не единственный пример несоответствия. Среди всех приведенных на графике сервисов нет ни одного, для которого SimilarWeb теперь сообщал бы цифру ниже 50%. Новые показания оказываются противоположными по смыслу и гораздо более близкими к реальности: Яндекс ведет больше трафика, чем Google, на каждый из «синих» сервисов.

Вот, например, ivi.ru.

Естественно, это означает, что делать выводы по данным SimilarWeb следует крайне осторожно и с множеством оговорок, а недобросовестный cherry picking из них может «доказать» любую позицию.

Например, в своей статье авторы сравнивают Tutu с Яндекс.Путешествиями. Это неверно как с точки зрения SimilarWeb, так и с точки зрения здравого смысла: лишь небольшое число посетителей Tutu из поиска действительно планирует путешествие, а не просто смотрит расписание своей электрички или поезда. Давайте признаем, что настоящим аналогом Туту среди сервисов Яндекса является сервис расписаний rasp.yandex.ru, и как раз тут с мнением SimilarWeb, который предлагает его в качестве альтернативного, можно согласиться:

И, сюрприз (хотя, конечно, нет): цифры для аналогичных сервисов совпадают с точностью до одного процента.

Эти данные мог бы (и всё ещё может) проверить любой, кто прочитает статью: pro.similarweb.com даётся на неделю бесплатно.

Ну и отдельно меня смутила цифра по отказам. Не очень понятно, что она должна означать — и, как справедливо писали в комментариях к статье Tutu — никто про это до конца ничего не понимает. Если среди читателей есть вебмастера — будет любопытно посмотреть, что показывают разные счетчики по одному и тому же сайту. Пока есть ощущение, что показатели SimilarWeb несколько оторваны от реальности.

Напоследок хочется отметить, что не стоит переоценивать роль поиска — это уже далеко не ключевой инструмент, который приводит трафик на сайт. И те, кто все еще так думает, застряли в прошлом. Огромную долю держат те же мобильные приложения, аудитория сегментируется и уходит в соцсети, Телеграм-каналы — надо развивать её там, снижать зависимость от сервисов конкурентов. Кстати, мобильный трафик SimilarWeb тоже считает криво. И, насколько мне известно, почти не учитывает Safari.

Я уже оставил этот комментарий к посту ранее, но, пожалуй, повторю мысль. Когда колдунщик Яндекса занимает полстраницы поиска — это не выглядит как равные условия. Но строить свою аналитику на SimilarWeb нельзя: как инструмент он очень плохо подходит для российского рынка, и это прекрасно знает любой, кто хоть что-то понимает в веб-сайтах. Вот у вас в браузере стоит расширение, передающее данные SimilarWeb? Или, может, вы знаете вы кого-нибудь, у кого оно стоит? Я тоже нет. Поэтому при их точности данных — это уже не аналитика. А строить аргументацию на фейковых инструментах — это абсолютная манипуляция.

26 комментариев
Написать комментарий.

«На графике в статье мы видим, что примерно с июня прошлого года ни одна «синяя» линия не превосходит 50%, то есть все сервисы без исключения получают более половины поискового трафика из Google. Нет ли тут ошибки?» — есть. Ошибка в том, что вы неправильно поняли что именно пытался донести автор, и строите на этом какое-то исследование. В том кейсе указывается что для сравнения берутся 2 сервиса, к примеру туту и яндекс.тревел, и их общий трафик из яндекс поиска принимается за 100%, а не то, что из яндекса туту получает всего 45% своего поискового трафика. Так что туту может хоть 90% трафика получать из яндекса, но при этом в сравнении с яндекс.тревел — иметь меньше посетителей.

Развернуть ветку

А как получилось так, что линия выше 90% есть, а ниже 10% — нет?

Развернуть ветку

А как у вас получилось 100%? На графике никакие синие показатели так не суммируются. Например, есть красная линия с 90%, но нет ни одной синей с 10%. Мне кажется, что все эти графики — это все-таки доля Яндекса в общем поисковом трафике. Если нужно было бы показать соотношение источников трафика на сайт, то тут скорее бы классический «пирог» подошёл бы для визуализации, но его не получится из этих данных

Развернуть ветку

Вопрос наверно стоит задать автору @Yuriy Titov

Развернуть ветку

Работаю с SimilarWeb каждый день, и дам пару комментариев по вашему посту.

1. Вы берете данные из отчета Search Traffic и сравниваете его данными по реферальным переходам.
НО: в разделе Search Traffic есть возможность сегментации по 2м данным о трафике: декстоп и мобайл (без выбора всего трафика, по умолчания — декстоп), а в реферальном — весь трафик. От сюда не соответствие в % поискового трафика.

2. Процент отказов — сравниваете со значением отказов G.Analytics (т.к. у SimilarWeb механика по отказам аналогична)

Строить кейс на основе SimilarWeb — это странно и некоректно, т.к. это иснтрумент приблизительного анализа и мониторинга, а для кейса — нужны точные данные.

Что касается РУ сайтов — это не самый точный инструмент, но его данных достаточно для получения приблизительного понимания и анализа конкурентов. Для зарубежных сайтов — отличный инструмент.

Развернуть ветку

И тут наверно стоит сделать оговорочку, что автор кейса https://vc.ru/seo/225449-yandeks-ne-runet-runet-ne-yandeks-fas-poprosila-nemnogo-ravnopraviya и свой сайт сравнивает через similarweb, то есть, с точки зрения некорректности данных оба сервиса, и яндекс.тревел, и туту — находятся в равных условиях.

Развернуть ветку

Спасибо, ознакомился с материалом. Вы правы насчет сравнения. Я пожалуй просто прошу обратить внимание об особенностях учета данных в SimilarWeb.

Когда вижу заголовки вида «Почему пора прекратить пользоваться N сервисом», всегда задаю себе вопрос: а умеет ли автор им пользоваться.

Развернуть ветку
Развернуть ветку

Весь пост о том, что аналитика по SimilarWeb в принципе нерепрезентативна. Очевидно, что все сервисы сравнили в одинаковых условиях — и на всех этих сравнениях сделать нормальные выводы просто невозможно.

Развернуть ветку

Нет. Симиларвеб популярен именно потому, что дает некоторые данные для некоторых задач. Их проверяют и за них платят.

Например, когда очередной комментатор задает вопрос на vc.ru «Да кто сидит в одноклассниках?», ему можно предъявить симиларвеб. И это сработает.

Развернуть ветку

Ну я данным сервисом не пользуюсь, но повторю вопрос который уже задавали: «Окей. СимиларВеб вычеркиваем. С этим разобрались.
Тогда каким сервисом пользоваться вместо?»

Развернуть ветку
Развернуть ветку

Данные SimilarWeb очень приблизительны, а для российского рынка часто вообще неточны. Мне кажется, это связано с тем, что в качестве источников данных, которые они экстраполируют, выступают в основном зарубежные англоговорящие панелисты и сервисы соответственно.

Из-за этого с российскими веб-ресурсами такая беда 🙁

Развернуть ветку

>Вот у вас в браузере стоит расширение, передающее данные SimilarWeb? Или, может, вы знаете вы кого-нибудь, у кого оно стоит?

И как же вы это можете понять? Думаете все расширения, сливающие данные, открыто это афишируют?

Про similar web есть вот такое, например, расследование:

In March 2016 we noticed a website that offered information similar to analytics sites, but had no apparent relation to the sites that were analyzed – www.similarweb.com. The data includes links clicked on a site, referrer statistics, the origin of users, and others. While this is interesting, it also raises questions about the sources of data. Based on their website they collect data from millions of devices, but the software they advertise has a number of installations that was orders of magnitude lower than that. Through analysis of their official Chrome extension we
noticed a tracking library performing real-time monitoring of all visited websites. In a subsequent analysis of the top Chrome and Firefox extensions we found the library present in both official stores. We found the same library in 42 extensions in the Chrome Web Store and five extensions
in the Mozilla store, in total over 8 million installations.

Почти уверен, что в хром сторе масса бесплатных расширений, которые монетизируются, сливая данные пользователей. В тч и similarweb.

Погрешность 30%: насколько точны данные SimilarWeb и «Яндекс.Радара»

Самым быстрым и простым способом провести конкурентную разведку, оценить посещаемость интересующего сайта и увидеть из каких каналов он получает трафик, долгое время был SimilarWeb. С недавних пор к нему добавился еще и Яндекс.Радар. Но насколько точны данные, получаемые таким путем, и можно ли на них полагаться?

9.8K открытий

Компания OWOX провела исследование, сравнив точность данных SimilarWeb и Яндекс.Радар с данными Google Analytics на выборке из 550 сайтов. В среднем отклонение по количеству уникальных пользователей в обоих проектах – около 25%. У SimilarWeb отклонение больше зависит от посещаемости проекта, у Яндекс.Радар – от ниши. Более подробно рассказывает CEO OWOX Влад Флакс.

Для трезвой оценки рекламных кампаний нужны не только абсолютные результаты, но и возможность сравнить их с рынком. Например, маркетинг не выполнил план на 5% – это какой результат? Если рынок при этом вырос на 10% — то результат слабый, а если рынок просел на 10%, то хороший.

Источниками таких данных могут служить SimilarWeb и недавно запустившийся Яндекс.Радар. Сложность в том, что многие пользователи замечали, что в этих данных есть погрешность, но не знали, какая именно и насколько можно доверять полученным цифрам.

С одной стороны, такие сервисы и не должны давать точные данные — они служат для отслеживания трендов и независимого сравнения сайтов между собой. С другой стороны, мы заметили, что их показатели значительно отличаются от данных Google Analytics. Иногда в большую сторону, иногда в меньшую, и тренд из-за этого получался неправильным. Конечно, и данные в Google Analytics не абсолютно точные, но в целом мы считаем что они ближе к истинному значению, чем вычисленные косвенным путем.

Поэтому мы решили сравнить точность данных SimilarWeb и Яндекс.Радар с доступными нам в OWOX BI данными Google Analytics. Для сравнения использовались анонимные обезличенные данные 550 сайтов с посещаемостью более 100 тыс. уникальных пользователей в месяц.

Наша задача была ответить на вопрос «Насколько данные SimilarWeb и Яндекс.Радар отличаются от Google Analytics и от чего это зависит?»

Но для начала стоит понять, откуда эти сервисы берут данные.

Природа данных

С Google Analytics все просто – скрипт встроен в код вашего сайта и собирает данные о поведении пользователей. Эта статистика недоступна третьим лицам.

SimilarWeb использует несколько сотен источников, которые можно условно разделить на 4 группы:

• Глобальные панельные данные с сотен миллионов компьютеров и мобильных устройств. Это анонимная информация, которая не позволяет идентифицировать пользователя. Браузерные расширения и мобильные приложения собирают данные о том, какие сайты он посещает и как переходит с одного на другой.
• Глобальные данные интернет-провайдеров с миллионами подписчиков.
• Публичные источники данных с более чем миллиарда сайтов и приложений страниц.
• Прямые измерения данных с сотен тысяч сайтов и приложений

Яндекс.Радар выделяет 10 000 сайтов по наибольшему количеству посетителей из России. Рейтинг формируется на основе агрегированных обезличенных данных Яндекс.Браузера, Элементов Яндекса, Визуальных закладок, а также браузерных расширений и других продуктов Яндекса. По умолчанию данные аналитических сервисов Яндекса не учитываются.

Как считали погрешность

Чтобы определить, с какой погрешностью эти сервисы определяют посещаемость сайтов, мы сделали следующее:

• Взяли обезличенные данные сайтов с посещаемостью от 100 тыс. уникальных пользователей (сайты, к которым имеет доступ OWOX BI)
• Дополнили их данными о количестве уникальных пользователей из SimilarWeb и Яндекс.Радар за ноябрь 2018 года
• Отфильтровали сайты, для которых в Google Analytics были аномально низкие значения. (Например, если по данным Google Analytics количество пользователей было на порядок меньше, то, вероятнее всего, Google Analytics собирает неполные данные из-за фильтров в представлении).

При этом и у SimilarWeb, и у Яндекс.Радар отклонение сильно зависит от ниши:Для сравнения в качестве метрики мы выбрали уникальных пользователей, так как алгоритм формирования сессий у разных сервисов отличается. Период – ноябрь, потому что декабрь для многих проектов является аномальным месяцем.

В результате мы получили для анализа данные 550 сайтов и вот что увидели.

Результаты

По данным Яндекс.Радар количество уникальных пользователей выше, чем значение в Google Analytics, для 29% сайтов. У SimilarWeb — для 27% сайтов. В целом можно сказать, что Яндекс.Радар и SimilarWeb чаще показывают значение ниже, чем в Google Analytics. Мы здесь специально не используем критерий «правильное» или «неправильное», потому что это зависит от того, с чем вы сравниваете.

Стандартное отклонение у SimilarWeb – 29%, у Яндекс.Радар – 31%. Причем у SimilarWeb оно меньше зависит от посещаемости проекта (в пределах 1-2%), тогда как у Яндекс.Радара – отклонение до 4%.

При этом и у SimilarWeb, и у Яндекс.Радар отклонение сильно зависит от ниши:

Можно предположить, что это связано с природой данных в обучающей выборке, которую сервисы использовали в своих моделях. Например, SimilarWeb активнее использует аддоны, а Яндекс.Радар – Яндекс.Метрику. Это объясняет меньшее отклонение для ecommerce проектов и большее для медийных.

Так что, если вы работаете в ecommerce проекте и вас лишили премии за то, что у конкурента посещаемость по данным Similarweb на 20% больше, то с вероятностью 45% это сделали несправедливо.

Что все это означает

Однозначно и SimilarWeb, и Яндекс.Радар служат ценным источником рыночных данных. Но использовать их надо, как и любой аналитический инструмент, с пониманием природы собранных данных и погрешности измерения, так как для многих расчетов и оценок, отклонение в 30% может оказаться критичным. Надеемся, что полученные результаты помогут вам повысить качество решений, которые вы принимаете на основе данных.

Бесплатно анализируем сайт конкурента через SimilarWeb. Пошаговая инструкция

Подробно расскажу обо всех нюансах и проведу по всем шагам от регистрации до анализа.

Для примера я возьму сайт Yandex.ru

Какие данные мы получим в итоге:

— Посещаемость сайта по месяцам (мобайл и десктоп)
— Каналы, из которых приходит трафик
— Лояльность аудитории: количество времени на сайте, показатель отказов, просмотры страниц за сеанс
— Демографические данные, гео и интересы аудитории сайта
— Ключевые слова, по которым приходят на сайт

А также немного затронем анализ мобильного приложения.

При анализе учтите, что SimilarWeb имеет погрешность в расчетах трафика. На моём личном опыте погрешность от +7% до +30%, но были случаи погрешности в +300%

Статья будет полезна специалистам ранее не работавшим с сервисом.

Предисловие

Сначала хотелось бы пояснить, для чего нужно уметь пользоваться системами анализа сайтов.

Это пригодится не только для анализа конкурентов, но и при покупке рекламы на сайтах, которые часто завышают свою статистику, пытаясь тем самым продать размещение дороже. А еще — для анализа успешных сайтов/приложений, чтобы понять, за счет чего они растут.

Вот теперь начнём!

Регистрация

Для начала нам нужно зарегистрировать аккаунт в SimilarWeb и получить демо-версию.

Учтите, что у сервиса нет русскоязычной версии, а демо-доступ дается только на 7 дней.

Заходим на сайт SimilarWeb, нажимаем «Login» в правом верхнем углу.

Выбираем способ регистрации. Я выберу Google.

При подготовке материала использовались источники:
https://vc.ru/seo/226949-pochemu-pora-prekratit-ssylatsya-na-similarweb-razbor-materiala-tutu-ru
https://vc.ru/marketing/61282-pogreshnost-30-naskolko-tochny-dannye-similarweb-i-yandeks-radara
https://vc.ru/services/66600-besplatno-analiziruem-sayt-konkurenta-cherez-similarweb-poshagovaya-instrukciya