Всем известно, что наполнение сайта уникальным контентом способствует его продвижению. В свою очередь появление дублей страниц может привести к тому, что в поисковой выдаче сайт может потерять свои позиции. Объясняется это тем, что при индексировании дублированных страниц поисковой системе необходимы дополнительные ресурсы. Поэтому лучше всего заняться написанием материалов, а не копировать информацию с других сайтов. Особенно плохо копирование материалов сказывается на продвижении веб-сайтов, которые появились совсем недавно. Поисковая система просто не в состоянии определить первоисточник, поэтому по умолчанию предпочтение отдаётся более "старому" сайту. В результате дублированный контент, размещённый на более молодом ресурсе, займёт более низкие позиции.
Понятно, что уникальный контент - главное условие поискового продвижения сайтов. Но вышесказанное говорит о том, что даже уникальная статья не избавляет владельца сайта от проблемы, возникающей в связи с дублированием контента. Потому что материалы могут не только копироваться, но и дублироваться в рамках одного веб-ресурса.
Дубли могут появиться внутри сайта из-за навигационных или рекламных блоков. При этом запрет их индексации не всегда может быть оптимальным решением. Например, в случае перелинковки веб-страниц закрытие от индексации будет мешать. В этом случае решение может быть одно - создание объёмного контента на сайте.
Другим источником дублей становятся RSS-ленты, служебные страницы, создаваемые различными CMS дубли контента. Эта проблема решается путём запрета в файле robots.txt некоторых типов страниц. Например, если сайт сделан на Wordpress, то можно воспользоваться специальным плагином, который называется All in One SEO Pack. С помощью этого плагина можно настроить различные мета-теги, который необходимы для продвижения сайта, а также вписать тег Canonical в заголовок страницы, что позволит перенаправить поисковик на основную страницу и запретить индексирование дублированных страниц.
Ещё одним не очень-то приятным моментом в дублировании может стать размещение адреса сайта в контекстной рекламе. В рекламных объявлениях могут использоваться доменные имена, которые начинаются с WWW или без WWW. К сожалению, поисковые роботы могут решить, что это два разных сайта. Так владельцы сайтов могут очень долго продвигать два разных ресурса вместо одного, вкладывая в эту непростую работу в два раза больше усилий и финансов.
Чтобы этого не произошло, необходимо позаботиться о правильном оформлении файла .htaccess, в котором прописывается специальный код, склеивающий два домена в один. Точно также нужно оформить файл robots.txt специально для поисковой системы Яндекс, указав главный вариант.
Работа по устранению дублирования контента в результате приведёт к тому, что поисковое продвижение сайта будет максимально эффективным.