5 безобидных практик, которые могут подорвать ваш SEO

Покупка б/у домена, внедрение CDN, использование классов CSS Bootstrap, настройка robots.txt все это звучит безобидно, не правда ли? Но это может стать причиной того, что ваше SEO сдает позиции. Некоторые из этих элементов могут казаться обычным делом, но это реальные проблемы, которые не лучшим образом повлияли на некоторые проекты, с которыми мы сталкивались.

Ваш сайт уже помечали как спам? Это практически смертельный приговор для любого SEO, над которым вы когда-либо работали. Ваш сайт может даже не выдаваться в результатах поиска. Чтобы проверить, есть ли у вашего сайта проблемы, добавьте его адрес и все его варианты (например, e-planet.ru и www.nete-planet.ru) в Инструменты для веб-мастеров Google и посмотрите на вкладку Manual Actions.

Итак, какие же безобидные практики могут привести к тому, что Google посчитает ваш сайт чистым спамом?

Безобидная практика 1. Использование CSS для скрытия контента

Один из наших клиентов разработал сайт с большим количеством контента, предварительно внесенного в прототип сайта. Прежде чем запустить сайт, они применили класс CSS Bootstrap \"hide\" ко всему блоку контента, который они хотели оставить на потом. Это равнозначно использованию следующего кода:

Этот блок контента занимал около 70% кода страницы, и непреднамеренно содержал большое количество ключевых слов (образцов заголовков статей для блога, связанных с отраслью), и не содержал какого-либо механизма (ручного или автоматического) для того, чтобы сделать контент видимым для конечного пользователя. Уведомление \"спам\" довольно быстро появилось во вкладке Manual Actions.

Запомните: Скрытие контента с помощью CSS стоит использовать, только если этот контент планируется сделать видимым, либо в результате какого-либо действия пользователя, либо за счет использования автоматического триггера. Если это не планируется, комментируйте код или полностью его удалите.

Безобидная практика 2. Покупка доменного имени б/у

Еще один сайт нашего клиента был помечен как спам с самого начала, как только его добавили в Инструменты для веб-мастеров Google. Как такое могло произойти?

Вспомните свою бывшую со всем ее багажом и драмами. Здесь происходит почти то же самое. Этот клиент купил доменное имя, которое когда-то использовалось для спама, и вероятно, было помечено как спам . Так как это ручное действие, его автоматически не удалили после смены владельца.

Это более распространенная ошибка, чем вам кажется.Здесь решение одно - проверить, не использовался ли старый домен для спама, с помощью Wayback Machine, потом подать запрос о пересмотре с пояснениями, и быть очень вежливым.

Запомните: Проводите комплексную оценку доменного имени, которое вы покупаете. Если вы подозреваете, что может возникнуть подобная проблема, добавьте домены в Инструменты для веб-мастеров Google, чтобы ее решить перед запуском своего сайта.

Неправильное использование CDN может свести на нет всю вашу работу над SEO

Вы подумываете об использовании CDN для развертывания своего AJAX-сайта или приложения? Один наш клиент тоже так сделал они использовали методы AJAX jQuery и AWS CloudFront и внести большое количество микро-конфигураций. Им это стоило более 3 месяцев низких показателей в поисковых запросах Google.

Есть три способа представлять страницы ботам поисковых движков: скрытый фрагмент, предварительный анализ и Javascript. Нижеописанные практики связанны именно с ними.

Безобидная практика 3. Отсутствие передачи строк запросов

Метод скрытого фрагмента для представления контента ботам поисковых движков выглядит следующим образом:

Хэш-строка, которая следует за скрытым фрагментом, представляет собой состояния приложения AJAX. В идеале, каждая динамическая страница, загруженная в AJAX, должна иметь соответствующее состояние приложения AJAX. В Google есть полный набор выписанных спецификаций.

Чтобы воспользоваться этой схемой сбора данных AJAX, веб-мастера должны включить следующую строку в код каждой страницы:

Стандартные настройки CDN могут включать отсутствие отправки строк запросов для повышения эффективности кэширования. К сожалению, это также означает, что если вы используете эту схему сбора данных AJAX, CDN не передает часть трансформированного URL ?\escaped_fragment\ в Google, и ваш AJAX не будет проанализирован.

Запомните: Если на вашем сайте используется схема сбора данных AJAX \escaped_fragment\ , убедитесь, что CDN отправляет строки запросов.

Безобидная практика 4. Отсутствие передачи строки агента пользователя

Предварительный анализ зависит от проверки строк пользовательских агентов в заголовках HTTP для определения, отслеживает ли бот поискового движка страницу, чтобы потом подавать статичную страницу таким образом, чтобы те браузеры, которые не могут нормально рендерить Javascript, могли все равно получить контент. Стандартный вариант использовать prerender.io, в котором используется PhantomJS / CasperJS / ZombieJS.

Как выглядит строка пользовательского агента? В Google это выглядит примерно так:

Стандартные настройки CDN могут не включать передачу этой строки пользовательского агента в заголовок. Это может сделать ваши попытки предварительного рендеринга практически бесполезными, так как сервер может даже не знать, что поисковой бот пытается получить доступ к вашему сайту, а потому не покажет предварительно отрендеренную страницу.

Запомните: Если вы используете контент, форматируемый с помощью Javascript, убедитесь, что CDN передает строки пользовательского агента.

Безобидная практика 5. Запрет всего в API URL

Robots.txt может стать вашим самым страшным ночным кошмаром

Он может стать вашим самым страшным ночным кошмаром, потому что он выглядит настолько безобидно, что вы можете даже не подумать, что проблема в нем. Это подлая штука. Один из наших клиентов пытался с этим бороться целый месяц, пока не обратился за помощью.

У этого клиента было 2 URL www.example.com и api.example.com, где API подавал AJAX, направляющий URL. При этом на api.example.com в robots.txt было следующее:

Правила запрета в основном используются для того, чтобы не давать поисковым движкам индексировать отдельные части сайта.

Включение правила запретить все может казаться допустимым для API, так как вы наверняка не ожидаете, что Google будет индексировать или представлять данные из API. Однако, при использовании в сочетании со страницами AJAX, GoogleBot неспособен анализировать страницы, так как это не дает ему доступ к отдельным URL, направляющим AJAX.

В результате все страницы с AJAX не загружаются для Googlebot, а потому ничего не индексируется.