Как обнаружить дубли на сайте и избавиться от них

дубли страниц на сайте

Дубли — это страницы-близнецы на одном и том же сайте, но с различными URL-адресами. Они есть практически на любом сайте, но их появление происходит отнюдь не по желанию его владельца.

Дубли не такая уж безобидная вещь, ведь поисковики их не любят и считают контент этих страниц неуникальным. Помимо этого, поисковая система может затрудняться при выборе самой релевантной определенному запросу страницы и проиндексировать копию, а не оригинальную страницу. Также многочисленные дубли свидетельствуют о том, что сайт либо заброшен, либо намеренно раздут.

Дубли могут быть четкими (полными) или нечеткими (частичными). Четкие (полные) дубли — это страницы-клоны, но с различными адресами. Нечеткие, или частичные, дубли — это очень похожие страницы, несущественно отличающиеся по наполнению. Обоих типов дублей нужно остерегаться, при обнаружении уничтожать и оберегать свой сайт от их возникновения.

Основных причин появления дублей несколько — это либо неверно настроенные перенаправления с одного URL на другой, либо неверно настроенная CMS (система управления контентом).

Типы дублей страницы:

  • печатная версия страницы;
  • отсутствующие перенаправления (редиректы);
  • фрагмент оригинальной страницы на странице пагинации;
  • фрагмент оригинальной страницы на странице меток (тегов);
  • оригинальная страница в архиве (архиве статей).

Лучший способ найти дубли на вашем сайте — проанализировать цитаты из текстов основных видов страниц сайта при помощи расширенных поисковиков браузеров «Яндекс» и Google.

Нужно просмотреть не все страницы, а лишь их основные типы: главную страницу, контактные данные, страницы категории и вида товара. Обнаружение поисковиком вместо одной нескольких страниц с подобным контентом означает, что вам удалось найти дубли.

Затем установите происхождение этих страниц и удалите страницы-клоны. Для анализа страниц сайта желательно использовать несколько поисковиков, так как итог проверки может оказаться разным.

Как убрать дубли с сайта?

Найдя дубликаты страниц на своем сайте, необходимо удалить копии, образовавшиеся на сайте автоматически, а не созданные вручную.

Обнаружив страницы с www и без www, нужно настроить постоянное перенаправление с одних страниц на другие. Выясните, какие ссылки проставлены на сайт, применив понятие главного зеркала. Для этого используйте CMS или файл конфигурации сервера.

Неполные (нечеткие) дубли и закрытые от индексации дубли можно нейтрализовать при помощи тега canonical.

С дублями, содержащими в URL одинаковую строку, поможет справиться файл robots.txt, управляющий индексацией.

Вывод

Если вы — владелец сайта, но не обладаете временем и желанием вникать во все тонкости управления сайтом, то доверьте эту работу профессионалам.

Комментарии закрыты.