Феликс Неботов

Блог о контекстной рекламе и веб-аналитике.

Парсер оповещений из писем Яндекс Директа для Гмейла

Что собирает парсер

  • 1. Остановленные РК: имя аккаунта, дата, время, кампания, id кампании.
  • 2. РК в которых были отклонены объявления или расширения: уточнения, быстрые ссылки, изображения. В Директе есть такая штука, когда в теме письма может быть написано, что объявления приняты, а на самом деле это не так.
  • 3. Зачисления/возвраты на аккаунты: имя аккаунта, логин, дата, сумма зачисления без НДС.
  • 4. Остановки по ограничению дневного бюджета на аккаунте: имя аккаунта, логин, дата и время остановки аккаунта по лимиту.

Инструкция

За основу взят парсер Никиты Шеина.

Парсер открытых счетчиков Яндекс Метрики через Эксель. 500 сайтов в минуту

Что умеет парсер

  • 1. Собирает номера счетчиков Метрик по 3-м разным регуляркам из кода сайта и кода ГТМа, всего 6 проверок.
  • 2. Проверяет каждый спарсенный номер счетчика на «открытость» и пишет «ОК», если есть открытые счетчики.
  • 3. Даёт кликабельные ссылки для перехода в открытый счетчик.
  • 4. На первой вкладке написана регулярка, которая очищает УРЛы от хвостов, чтобы не парсить лишние УРЛы. Из https://yandex.ru/news/story/https://yandex.ru/

Что понадобится

  1. Скачайте и установите плагин SeoTools: https://seotoolsforexcel.com/download-seotools/
  2. Зарегистрируйте плагин:
    2.1 Жмёте «Register»

2.2 Запрашиваете триалку и регите плагин

  1. Лайфхак по SeoTools: триалку можно продлять бесконечно. Чтобы постоянно не регать почтовые ящики загуглите: temporary email
  1. Скачайте шаблон проверки УРЛов на открытые счетчики Яндекс Метрик.

Как пользоваться парсером

Открывайте вкладку «02_парсим», вставляйте список УРЛов в колонку «B». Номера счетчиков автоматически спарсятся с сайтов и проверятся на «открытость».

По ходу парсинга может выскакивать окно с ошибкой, нажимайте кнопку «Don’t show again», а в следующем окне «OK».

Еще может показаться, что процесс парсинга завис, а на самом деле нужно просто подождать, пока парсер закончит. В правом нижнем углу можно увидеть сколько УРЛов осталось пройти парсеру.

Рекомендации по парсеру

  • 1. Не фильтруйте и не сортируйте лист «02_парсим», парсинг начнется заново. Выделите результаты парсинга через CTRL+A, нажмите CTRL+C, перейдите на лист «03_готовые результаты» и НЕ нажимайте CTRL+V. Вставьте результаты через ленту «Главная» → «Вставить» → «Значения». Если вставить через CTRL+V, процесс парсинга начнется заново и всё подвиснет.
  • 2. Если ячейки прыгают туда-сюда, несколько раз нажмите кнопку «Stop» рядом с кнопкой Register. Процесс парсинга прекратится.
  • 3. При первой работе с парсером попробуйте маленький объём сайтов 100-200 штук, чтобы понять как он работает.

Зачем парсить открытые счетчики

  • 1. Чтобы сделать конкурентный анализ. Представьте, что вы заходите в новую нишу и вам со старта хочется понимать, какая аудитория конвертит, а какая — нет. Для этого не обязательно ждать 2-3 месяца пока накопятся данные. Загоняете всю вашу семантику в Кей Коллектор и собираете адреса сайтов конкурентов с объявлений и органики.
  • 2. Чтобы сделать коммерческое предложение для тендера. К вам в агентство заходит клиент из новой тематики, а экспертизы в агентстве нет, тут и пригодятся данные конкурентов.
  • 3. «Никогда не следует недооценивать предсказуемость тупизны» (c) Snatch. Да, у конкурентов могут быть открыты счетчики Яндекс Метрики, а еще в них бывают настроены цели. И данные из отчета «UTM» могут оказаться очень полезными :)

РСЯ, почему еще визитов может быть меньше чем кликов

Ранее я писал статью, как вычистить некачественные площадки в РСЯ через сопоставление визитов и кликов по площадкам. Статья актуальна, есть одно НО.

На данный момент (август 2018) Яндекс некорректно передавал и передает данные в параметр {source} — место показа. В этот параметр передается адрес площадки по которой был клик в РСЯ или внешних сетях. Сейчас при клике по графическому баннеру или смарт-баннеру в 90% случаев в этот параметр подставляется значение yastatic.net.

С Метрикой такая же ситуация — в 90% случаев туда не попадают данные при клике по графическому баннеру или смарт-баннеру.

Правильные данные только в мастере отчетов Директа.

Что такое yastatic.net

Насколько мне известно «yastatic.net» — это хранилище js-библиотек Яндекса и там лежит одна из библиотек, которая используется для определения и передачи источника клика для сайтов в РСЯ и внешних сетях.

Откуда я знаю что это ошибка

Я написал письмо в службу поддержки Яндекса и мне подтвердили, что параметр {source} некорректно передается при клике по графическим объявлениям и смарт-баннерам.

Ответ менеджера из Яндекса:

«Проблема на нашей стороне — сейчас мы некорректно работаем с параметром {source} в графических объявлениях и смарт-баннерах. Проблема известна нашей разработке и мои коллеги работают над ее устранением.

Сейчас вы можете просматривать корректную информацию о площадке на которой был показ только в мастере отчетов.»

Письмо писал 20 июня 2018, ребята несколько раз переносили срок исправления ошибки, до конца августа обещают починить.

Почему в 90% случаях площадка передается неправильно

Я разделяю рекламные кампании по типам баннеров: текстово-графические и графические. Поэтому у меня есть срез данных по кампаниям только с графическими объявлениями.

Отчет по значению yastatic.net в графических РК
В 88% при клике по графическим объявлениям в параметр {source} передается значение yastatic.net. Всего было 40 конверсий: 37 со значением yastatic.net и 3 с названием площадки. Получается что 93% конверсий пришли с неизвестных площадок

Чем это плохо

  • 1. Вы можете исключить хорошую площадку, посчитав, что она плохая.
  • 2. Данные могут расходиться во внешних системах автоматизации и аналитики. Например, в К50 в отчете по «Площадкам» часть данных тянется из Директа: название площадки, расходы, показы, клики. А часть данных из Аналитикса и колтрекинга: сеансы, глубина, время на сайте, конверсии. И получается, что «площадки» yastatic.net нет в К50 из-за того, что ее нет в отчетах Директа и все данные едут.
Отчет по кликам и сеансам в Директе по графическим объявлениям
Отчет по площадкам и кампаниям с графическими объявлениями. В 93% случаев по площадке авито нет сеансов. Плохая площадка, исключаем
Отчет по кликам и сеансам в Директе по текстово-графическим объявлениям
Отчет по площадкам и кампаниям с текстово-графическими объявлениями. Сеансы превышают количество кликов. Отличная площадка, оставляем

Что с этим делать

Для анализа площадок в РСЯ берите данные из Директа, Метрики и Аналитикса без учета графических объявлений и смарт-баннеров.

 85   2018   Директ   РСЯ

Список фродовых площадок в КМС

Это была выборка из 33 500 площадок КМС по которым были клики. Далее я выбрал фродовые площадки с высоким CTR, высоким расходом без конверсий и нашел чем они одинаковы между собой: whois, ip, различные вхождения в исходном коде сайта. И как оказалось, между фродовым площадками всегда находится что-то общее, видимо потому что сайты штампуют.

Перед использованием списка, проверьте, вдруг я не прав и эти площадки у вас конвертят. Хотя маловероятно, что эти площадки могут конвертить.

*14.08.18 Обновил список фродовых площадок, добавил 1 947 площадки, которые собрал через скрипт Алексея Ярошенко по вхождениям в доменное имя. Также выложил список вхождений, который я использую для скрипта Ярошенко, всё в Гугл Доке по ссылке ниже.

16.07.18 Обновил список фродовых площадок, добавил 665 минус-площадок. Всего 2 360 уникальных площадок.

06.07.18 Сейчас в списке около 1 700 площадок. Список будет пополняться, добавляйте в закладки.

Список фродовых площадок в КМС: https://docs.google.com/spreadsheets/d/1Of0-hUx4kwxNl7g58pkGoIu7F8vpeXhu5yLFebxGkno/edit?usp=sharing

Обсуждение в группе в ФБ: https://www.facebook.com/groups/sem.russia/permalink/1793987317348810/

 66   2018   Адвордс   КМС

РСЯ, клики есть, визитов нет. Как вычистить некачественные площадки за 15 минут

В статье не будет про стоимость лида, доверительные интервалы, сквозную аналитику для каждой площадки, всё проще.

Если есть клики, то должны быть и визиты

Идея простая: число кликов в Директе должно быть больше или равно числу визитов в Метрике.

Почему именно клики и визиты. Обратимся к терминологии Яндекс Метрики.

  • Визит (сессия) — последовательность действий (активность) одного посетителя на сайте (на одном счетчике).
  • Визит завершен, если активность отсутствует в течение некоторого времени. По умолчанию — 30 минут.
  • Например, тайм-аут равен 30 минутам. Посетитель зашел на сайт и просмотрел несколько страниц — визит засчитан. Затем оставил вкладку браузера открытой и отошел. Через 35 минут вернулся (период тайм-аута истек) и перешел на другую страницу сайта. Этот просмотр считается новым визитом.
  • Переход из рекламных систем (например, Яндекс.Директ и др.) всегда считается отдельным визитом. Даже если реклама повторно привела посетителя (или их было несколько с одного компьютера) до того, как закончился тайм-аут визита, каждый клик по объявлению станет отдельным визитом.

Получается, что у хороших площадок, визиты должны быть равны количеству кликов или визитов может быть больше, чем кликов, потому что на 1 клик по рекламе может быть несколько визитов из-за тайм-аута.

Если визитов меньше, чем кликов, а со счетчиком на сайте всё в порядке, не понятно, где теряются пользователи между кликом по рекламе и визитом на сайт.

На сайте нашего клиента счетчик Метрики подгружается за 2,7 секунды на скорости «Fast 3G» с почищенным кэшем — это быстро.

Счетчик Метрики на сайте клиента
На сайте нашего клиента счетчик Метрики подгружается за 2,7 секунды на скорости «Fast 3G» — это быстро

Выгружаем отчеты из Директа и Метрики

Нам понадобится отчет из статистики по всем кампаниям в Директе и отчет по визитам с площадок в Метрике.

В Директе открываем статистику по всем кампаниям, заходим в мастер отчетов, выбираем галочки и фильтры: группировка «выбранный период», ставим галочку «с учётом НДС», период — выбирайте период, чтобы было больше данных, в срезах —  «название площадки», в столбцах: «показы», «клики», «CTR», «расход всего», «средняя цена клика», «отказы» и «глубина». Фильтруем «площадки > тип: сети», «клики: больше 19». Брать площадки, где было меньше 20 кликов — нет смысла, выборка нерепрезентативная.

Настройки и галочки для выгрузки отчета по площадкам из Директа
Настройки и галочки для выгрузки отчета по площадкам из Директа

В Метрике открываем отчет «Директ, площадки», период — выбираем такой же как в отчете Директа, период фильтруем по сегменту, визиты в которых «Последний значимый клик > Директ > Тип площадки: Сети».

Настраиваем фильтр по визитам
Настройки фильтра в Метрике, выбираем сетевые площадки
Настройки и галочки для выгрузки отчета по площадкам из Метрики
Настройки для выгрузки отчета по площадкам из Метрики

Выгрузки из Директа и Метрики должны быть за одинаковый период.

Одинаковый период в отчетах Директа и Метрики
Одинаковый период в отчетах Директа и Метрики

Сводим отчеты из Директа и Метрики

В отчет из Директа добавляем 2 колонки: «визиты из Метрики» и «визиты / клики». Визиты тянем ВПРом из отчета Метрики по названию площадки. В колонке «визиты / клики» делим визиты на клики, так у нас получится коэффициент, по которому понятно, сколько кликов с площадки доходят до визитов на сайте.

Добавляем в эксель дополнительные колонки: «визиты» и «визиты / клики»
Добавляем в эксель дополнительные колонки: «визиты из Метрики» и «визиты / клики»

Как понять, что площадка плохая

Чтобы понять, какие площадки плохие, нужно понять, какие площадки хорошие. Моя гипотеза, что площадки Яндекса — хорошие. Дальше буду ориентироваться на средние показатели по площадкам Яндекса.

Статистика по сетевым площадкам Яндекса
Статистика по сетевым площадкам Яндекса

По статистике сетевых площадок Яндекса я решил, что у хороших площадок показатель «визиты / клики» больше 0,5, «отказы» меньше 60%, «CTR» меньше 1,5%. Если площадка отклоняется от этих показателей, к ней стоит присмотреться.

Фильтруем плохие площадки

  • 1. Клики без визитов.
По площадкам есть клики, а визитов нет
  • 2. Коэффициент из кликов в визиты около нуля. Например, площадка com.jb.gokeyboard — 2599 кликов, 11 визитов.
Коэффициент из кликов в визиты около нуля
  • 3. Низкий коэффициент из кликов в визиты, CTR больше 5%, высокий процент отказов.
Низкий коэффициент из кликов в визиты, CTR больше 5%, высокий процент отказов
  • 4. Низкий коэффициент из кликов в визиты, CTR больше 1,5% и меньше 5%, высокий процент отказов.
Низкий коэффициент из кликов в визиты, CTR больше 1,5% и меньше 5%, высокий процент отказов
  • 5. Коэффициенты в визиты больше 0,5, CTR больше 10%, высокий процент отказов.
Коэффициенты в визиты больше 0,5, CTR больше 10%, высокий процент отказов

Что с этим делать

  • — Больше всего треш-трафика приходит с мобильных приложений. Мобильных приложений стало больше, когда Яндекс подключил внешние сети. Чтобы отключить внешние сети, добавьте их в минус-площадки: Inner-active, MobFox, Smaato, MoPub, BidSwitch.
Внешние сети в минус-площадках в Коммандере
Внешние сети в минус-площадках в Коммандере
  • — Исключите площадки с плохими показателями: низкий коэффициент из кликов в визиты, меньше 0,4, CTR > 1,5%, процент отказов больше 60-70%.
  • — Во всех сетевых кампаниях сделайте корректировку -50% на мобильный трафик. Это эмпирическое наблюдение в тематике недвижимости.
  • — Можно дальше посегментировать отчеты из Директа и Метрики по мобильным, десктопам и планшетам, сравнить показатель «визиты / клики» в зависимости от устройства.
  • — Учтите, если добавить срез «внешние сети» в отчете Директа, то одна и та же площадка может дублироваться в разных внешних сетях. Сравнивать такие площадки некорректно, потому что в отчете Метрики будет выгрузка без разделения на внешние сети и площадки. Я не нашёл как выгрузить отчет в Метрике с группировкой внешняя сеть → площадка.
Одна и та же площадка в нескольких внешних сетях
Одна и та же площадка в нескольких внешних сетях
  • — Не ждите, пока площадка сольет денег, если видно по показателям, что клики есть, а трафик на сайт не доходит → в минус такую площадку.

Наблюдения

  • Визитов может быть больше чем кликов, потому что Яндекс возвращает деньги за склик. У нас обратная ситуация — визитов меньше в 2-3 раза, чем кликов, если брать срез по сетевым рекламным кампаниям. Проверяли на 3-х разных клиентах из недвижимости.
  • Качество трафика в ретаргетинговых кампаниях и смарт-баннерах выше, чем в сетевых РК по ключам.
  • После чистки площадок коэффициент «визиты / клики» поднялся до 0,6-0,7 в сетевых кампаниях.
  • В поисковых кампаниях коэффициент «визиты / клики» от 0,85 до 0,95.

Вопрос и благодарность

Для меня остался открытым вопрос, почему клики по площадкам есть, а трафик до сайта не доходит? Я считаю, что это фрод. Писал в Яндекс, пока внятного ответа нет.

Спасибо Маргарите Успенской из К50, это она заметила, что у нас в сетевых кампаниях визитов в Метрике и сеансов в Аналитиксе в 3 раза меньше, чем кликов в Директе.

Ссылки по теме и эксель-файл из статьи

Потери трафика в контексте: почему количество кликов может отличаться от истинного числа посещений.
Эксель файл из этой статьи с реальной статистикой и расходами по площадкам за 52 дня. Общий расход по площадкам 4 млн 805 тысяч рублей, тематика — недвижимость.

 126   2018   Директ   РСЯ
Ранее Ctrl + ↓