Осторожно, рефспам. Пессимизация за накрутку ПФ, которой не было

Яндекс давно борется с накруткой ПФ. Сначала сайты, которые “баловались” имитацией переходов из результатов поиска, понижались в выдаче вручную.

Сейчас антифрод-фильтр автоматизирован и борется не только с накруткой ПФ из результатов выдачи, но и с так называемым “усилением ссылочного” – кликами по купленным ссылкам с целью усилить передачу ссылочного веса.

Очередная волна пессимизации за накрутку ПФ прошла 1 декабря, и множество сайтов, экспериментировавших с “усилением”, потеряли трафик из Яндекса.

Но как и любой автоматический алгоритм, антифрод-фильтр далеко не идеален и имеет свой процент погрешности. Это значит, что даже если вы не накручивали поведенческие, ваш сайт может быть понижен антифродом ошибочно. Например, за рефспам.

Что такое рефспам

Рефспам – это автоматическое обращение к сайту с подстановкой нужного рефферера. Таким образом, в записи в лог-файлах сервера появляется запись о посетителе, которого на сайте никогда не было. А в данных Я.Метрики или GA появляются просмотры страниц из доменов, не имеющих отношения к сайту, или заходы с “левых” сайтов со 100% отказами.

Делается это с целью бесплатной рекламы. Если в вашей статистике вдруг появится новый источник регулярных переходов, то рано или поздно вы зайдете на этот сайт, чтобы посмотреть, что он из себя представляет и найти там ссылку на себя. Естественно, никакой ссылки вы там не найдете.

Такие “псевдопосетиели” могут сильно искажать данные о поведенческих характеристиках сайтах и привлекать внимание антифрод-фильтра.

Официальная позиция Яндекса

Мы и другие вебмастера неоднократно писали в техподдержку Яндекса об этой проблеме. Тема рефспама неоднократно поднималась на Серче (раз, два, три).

“Индивидуальный” ответ Платона на наш запрос:

“Если Ваш сайт развивается в интересах пользователей, не используя каких-либо техник, направленных на обман поисковых систем, то Вам не о чем волноваться, так как при разработке наших алгоритмов мы, конечно же, учитывали возможность злоумышленников повлиять на позиции того или иного сайта и минимизировали ее.”

Иными словами, согласно позиции Яндекса, накрутка ПФ может стать катализатором санкций, но не может быть их единственной причиной. Если с внутренней оптимизацией вашего сайта все в порядке и других поводов для наложение санкций нет, то накрутки ПФ можно не бояться. Те не менее я неоднократно убеждалась, что практически у любого сайта можно найти признаки внутреннего спама, было бы желание. Так что привлекать внимание антифрод-алгоритма все-таки не хотелось бы.

Также где-то встречала упоминание, что Яндекс якобы работает над тем, чтобы не учитывать такие переходы в статистике. Но в ответах на наши запросы это, увы, не упоминалось.

UPD: Вчера получили новый ответ:

“Наши специалисты уже занимаются решением данного вопроса. В сложившейся ситуации мы можем Вам посоветовать настроить фильтры. Настройки фильтра необходимо задать следующим образом : “Оставить только трафик” “URL страницы” “сайт и зеркала”. После настройки данного фильтра подобные переходы более не будут попадать в статистику Вашего счетчика.”

Официальная позиция Яндекса по поводу рефспама изложена здесь.

Диагностика рефспама

Левые домены в статистике

Зайдите в Я.Метрику, выберите период не менее месяца, посмотрите статистику по популярным страницам – там должны быть только страницы вашего домена, на котором установлен счетчик (или нескольких доменов, если вы используете для них один счетчик). Если же там есть левые страницы, которые не имеют никакого отношения к вашим сайтам, это рефспам:

Такие же страницы иногда можно случайно заметить и при просмотре данных Вебвизора:

Переходы с левых сайтов

Посмотрите в Я.Метрике статистику по переходам с сайтов за период один месяц или более. Обратите особое внимание на источники, процент отказов с которых значительно превышает ваш среднестатистический показатель – это может быть рефспам:

Вот далеко неполный список сайтов, определенно рассылающих рефспам:
iskalko.ru
ilovevitaly.com + поддомены
ilovevitaly.ru + поддомены
o-o-8-o-o.ru
o-o-6-o-o.ru
buttons-for-website.com
semalt.semalt.com
cenoval.ru
priceg.com
cenokos.ru

Почти у половины наших пациентов среди источников переходов был обнаружен хотя бы один из этих сайтов.

Как бороться с рефспамом

Фильтры в Я.Метрике

1. Настройка фильтра по домену
Настроить фильтры можно на странице редактирования счетчика. Подробнее о том, как это сделать, описано здесь:

Увы, метод исключает только подмешивание чужой статистики в счетчик (популярные страницы и вебвизор), но не сайты-источники.

2. Жесткая фильтрация ботов

На той же странице можно включить жесткую фильтрацию ботов (по умолчанию стоит средняя):

Этот способ тоже имеет погрешность, так как не все рефспамеры идентифицируются Яндексом как боты. Нам, например, этот способ не очень помог.

2. Отсечение ботов с помощью .htaccess

Исключение доступа по реффереру:
RewriteEngine on
RewriteCond %{HTTP_REFERER} cenoval\.ru [NC,OR]
RewriteCond %{HTTP_REFERER} cenokos\.ru [NC,OR]
RewriteCond %{HTTP_REFERER} ilovevitaly\.ru
RewriteRule ^.*$ – [F]

Запрет доступа по IP:
Order allow,deny
Allow from all
Deny from 78.110.60.230
Deny from 217.23.

К сожалению, не существует универсального метода, который бы защитил сайт от всех рефспамеров сразу. Если сегодня вы избавитесь от одного спамера, завтра вместо него может появиться еще два новых. Поэтому советую регулярно проверять статистику и обновлять свой черный список.

Если ваш сайт уже пессимизирован за накрутку ПФ (то есть в ответе Платона упоминается эмуляция действий пользователей поисковой системы), и вы обнаружили в статистике рефспам, обязательно напишите об этом в Яндекс. Вероятность снятия санкций в таком случае не велика, но все таки есть.

UPD 11.12.2014: За длинный список рефспам-доменов, который приводится ниже, большое спасибо Alchemis. Уже по одному названию этих сайтов видно, что их делали “реальные пацаны”: