Cloudflare – компания, предоставляющая услуги CDN (по простому — сеть доставки контента), защиту от DDoS-атак, серверы DNS и др.
Принцип работы CDN системы понятен и мы решили поэкспериментировать, насколько быстрее будет загружаться наш сайт при использовании такой системы и что нам это вообще даст, как повлияет на SEO. Выбор пал на Cloudflare. Домен припарковали, скорость сайта заметно улучшилась и дальше началось самое интересное.
Просадка сайта после его парковки на Cloudflare
Как только мы запустили сайт через Cloudfalre, влияние на ранжирование в Google было замечено практически сразу. Сначала подумали, что в плюс сработало (на графике виден рост от 23.03 после парковки сайта на Cloudflare), типа сайт быстрее же стал, PageSpeed insights показатели заметно выросли, обрадовались.
Но после 30-го марта, сайт начал проседать, затем, 27 апреля вообще конкретно рухнул (можно сказать, примерно так же, как начал расти после 16 марта).
Долго думали (или недолго), что нам со всем этим делать, почему просадка продолжается в течение уже почти двух месяцев. Предположили, что может просадка из-за Cloudflare, т.к. с сайтом глобально в тот момент только это делали.
Начали копать, на нескольких зарубежных сайтах нашли информацию с описанием похожей проблемы. Приведу ссылку на один из них.
Решили действовать кардинально — вернуть сайт на хостинг, где он был ранее. В общем, 20 мая уходим с Cloudflare и сайт начинает работать с Google Cloud.
И как вы думаете, что произошло с ранжированием?😊
— Именно, через несколько дней позиции резко выросли и не проседали, как это было в начале мая.
Мы продолжаем наблюдать за ситуацией, т.к. необходимо на 100% убедиться, что проблема была в Cloudflare, а в чем конкретно, давайте попробуем разобраться вместе.
Возможные причины просадки сайта после парковки сайта на Cloudflare
- Смена исходного IP, т.е. сайт теперь работает через IP адреса Cloudflare
- Постоянная смена IP адреса сайта в зависимости от региона обращения к сайту
- Использование одних и тех же IP для списка других сайтов, которые могут оказаться спамными
- Возможно — смена имен серверов (NS) домена, но найти что-то стоящее на эту тему не удалось, поэтому это повод для эксперимента.
- Неправильная настройка Cloudflare (может мы сами накосячили)
- 5xx ошибка при попытке входа на сайт и как следствие — малая длина клика, возвращение в выдачу и переход на другой сайт
Так же, сам Cloudflare рассматривает несколько заблуждений относительно его влияния на SEO. Вариант «Расположение сервера влияет на рейтинг сайта», упомянутый на странице по ссылке, можно рассматривать только с точки зрения скорости загрузки сайта. Т.е. если сервер физически находится далеко от целевой аудитории сайта, то скорость получения контента будет ниже и это может повлиять на ранжирование сайта. Но, во-первых — это все теория, а во-вторых — к тарифам Free, Pro и Business можно подключить надстройку Smart Routing (распределение трафика по оптимальному маршруту).
Итак, по порядку, что же может влиять на рейтинг сайта в Google при переходе на Cloudflare?
Смена исходного IP адреса сайта
Сразу прикладываю ссылку на статью, где говорится (со ссылкой на Джона Мюллера), что смена хостинга не влечет за собой снижение рейтинга сайта, а лишь приводит к временному замедлению сканирования, скорость которого затем восстанавливается.
Стоит отметить, что про изменение IP Джон Мюллер не говорит ни слова, но по логике, его смена происходит в том числе и при переезде на другой хостинг. Да и если я просто захотел перенести сайт на другой хост, что мне из-за этого рейтинг-то снижать? (Про ошибки при переносе не говорим). По сему будем считать, что вопрос закрыт.
Постоянная смена IP адреса сайта
Здесь теоретически. Постоянная смена IP адреса сайта вытекает из принципа работы CDN системы. Т.е. распределенная система серверов Cloudflare, каждая единица которой имеет свой IP адрес, и в зависимости от региона обращения к сайту пользователь будет подключен к ближайшему серверу (не будем учитывать условности вроде подключенной надстройки Smart Routing, а просто примем это как данность, дабы нас интересует влияние на ранжирование, а не тонкости настройки Cloudflare).
Дальше возникает вопрос: А Googlebot парсит сайт из разных точек или из одной? Все IP адреса Googlebot-а, которые приходилось вытягивать из логов сервера были из США, штат Калифорния, хотя теоретически, обращения к сайту должны быть и из региона пользователей сайта. Предположим, что Googlebot все-таки иногда приходит с разных точек и в итоге получает контент одного сайта с разных IP адресов, что может приводить только к замедлению сканирования сайта — это следует из предыдущего пункта.
Данный пункт считаю «притянутым за уши», но возможно у кого-то есть более веские аргументы в пользу него — пишите в комментарии.
Разные сайты на одном IP
Давнее утверждение о влиянии «соседей» на рейтинг сайта в Google, которое было очередной раз опровергнуто в далеком 2010 году. По ссылке приведена цитата Мэтта Каттса, смысл которой в том, что понижать рейтинг сайтов на одном IP не имеет смысла, т.к. соседи-спамеры, могут легко поменять IP адрес на другой.
Конечно, как и всегда, работники Google не утверждают ничего и не дают прямого ответа на конкретные вопросы. Поэтому я на всякий случай проверил всех соседей на IP и не увидел ничего криминального: пару интернет-магазинов одежды и обуви и сайт какого-то учебного заведения. Полагаю, что в моем случае негативного влияния соседей быть не могло.
Неправильно настроили Cloudflare
Что мы точно не правильно сделали — это настроили перегенерацию картинок на стороне Cloudflare без 301 редиректов, что привело к изменению всех URL картинок, т.е. Googlebot получал кучу 404 ответов, что в итоге привело к падению трафика с изображений (хотя честно говоря, трафик был несущественный). Возможно это одна из причин просадки видимости.
Так же была настроена минификация CSS и JS, т.е. URL адреса тоже изменились и на их переиндексацию нужно было больше времени, чтобы Google перерендерил все страницы сайта на своей стороне и понял, что с версткой все в порядке, а точнее, как минимум так же, как было ранее.
5xx ошибка при попытке входа на сайт
Как мы знаем, что при входе на сайт, который использует Cloudflare, бывают вот такие сообщения об ошибке 5xx, не знаем в чем могла быть причина, возможно, мы еще как-то накосячили с настройкой нашего сервака. Можно предположить, что пользователи, видя данное сообщение, возвращались в выдачу, ибо у них не было другого варианта. В таком случае, длина клика была малой или меньше, по сравнению с той, какой она была до парковки сайта на Cloudflare.
Высказываний на тему длины клика от работников Google найти не удалось, но возможным подтверждением длины клика как фактора ранжирования, можно считать зарегистрированный Google патент касательно поведенческих факторов, название которого переводится примерно так «Модификация поискового ранжирования на основе скрытой обратной связи от пользователей». Комментарии о патенте от Билла Славски можно почитать на gofishdigital.com
Наиболее вероятными причинами просадки сайта после его парковки на Cloudflare считаю 2 последних:
- Ошибки при парковке: не настроили редиректы для картинок и CSS, JS файлов
- Сокращение длины клика из-за 5xx ошибки, которую мог видеть пользователь
Выводы
Если кто-то решит использовать Cloudflare все перепроверьте, а именно:
- Меняются ли URL адреса картинок или CSS/JS-файлов и настройте редиректы, если меняются, чтобы поисковые боты не получили много 404 кодов ответа.
- Как только получите IP адрес от Cloudflare, проверьте, кто ваши «соседи», нет ли сайтов казино, порно или ссылочных помоек. Для проверки можно воспользоваться xseo.in или reverseip.domaintools.com
- Еще бы я на всякий случай проверил доступность сайта из разных стран и городов, в зависимости от того, где находится ваша аудитория.
