Dubrowsky
Хроники одного дупла
Блогово  →  SEO  → 

Письмо в Яндекс про дубли страниц и клоакинг

10 Апреля 2013 года

Продолжаем разговор про дубли, начатый в предыдущем посте. Написал по-быстрому письмо Платонам по поводу своего гипотетического решения проблемы дублей, и вот оно перед вами.

Напомню, в случае, когда CMS определила страницу как не-каноническую, я предлагаю отдавать поисковикам 301 редирект на канонический адрес, ориентируясь на метод HEAD (вполне законно) либо на User-Agent (не вполне законно), а всем остальным клиентам (включая поисковики, которые не удалось определить как поисковики) - отдавать 200 заголовок, но с добавлениемв секцию head.

Поскольку Платоны не всегда отвечают на письма (почти всегда отвечают, но мало ли), а возможности посмотреть историю обращений в фидбэк нету, сохраняю письмо на память.

Здравствуйте, Платон!

Я работаю в компании NetCat, мы делаем одну из самых популярных коробочных CMS в рунете.

Некоторые пользователи указывают нам на проблему с возможным возникновением дублей страниц в индексе из-за того, что при добавлении произвольных параметров к URL отдаются одинаковые страницы с 200 заголовком.

Буду благодарен, если ответите на некоторые вопросы.

1. Существует ли в принципе такая проблема и надо ли специально ее решать на уровне CMS?

2. Делает ли робот Яндекса HEAD-запрос перед скачиванием документа, или сразу запрашивает документ методом GET?

3. Если HEAD-запрос не делается, допустимо ли следующее поведение системы для не-канонических страниц:
- роботу отдавать 301 заголовок и перенаправление на каноническую страницу
- пользователю показывать страницу с 200 заголовком и добавление

Использование клоакинга в этом случае позволит экономить трафик и не заставлять робота скачивать и разбирать заведомые дубли. С другой стороны не пострадают счетчики статистики, использующие get-параметры в качестве меток (utm_source и т.д.).

Заранее благодарен.

И напоследок - о хипстерах, давненько мы их не вспоминали. Как известно, хипстеры - не только думающая молодежь, но и слушающая. То есть все прямо меломаны, меломан на меломане. И очень часто они слушают музыку в личном авто. В связи с этим я хочу провести исследование, чтобы узнать, какова средняя стоимость сабвуфера, установленного в среднестатистическом Mini Cooper среднестатистического пользователя lookatme. Если вы попадаете в это множество, отпишитесь в камментах, плиз.

Камменты

Вячеслав04.08.2014, 11:04#
Спасибо за информацию!

Написать коммент: памятка постеру

 

Крутые посты wtf??? →

15.03.2012 · 21 каммент · рейтинг 8.94
02.10.2012 · 90 камментов · рейтинг 7.83
16.05.2007 · 31 каммент · рейтинг 7.82
02.03.2012 · 12 камментов · рейтинг 6.74
03.04.2012 · 11 камментов · рейтинг 6.5

Последне камменты

21.05.2017  Vadim GukОбработка кликов и цели в Яндекс.Метрике, улучшенный вариант: Большое спасибо за решение задачи.
20.05.2017  ДмитрийТестовое задание для PHP-программиста (Junior): А джуны ещё нужны у вас в компании?
18.04.2017  ДубрОбработка кликов и цели в Яндекс.Метрике, улучшенный вариант: Вячеслав, блин, я там скобку потерял =) Обновил, ...
17.04.2017  Вячеславтам же: вот http://www.totalat.ru/service/remont-akpp-bmw/
17.04.2017  Вячеславтам же: Вашу версию вставил. Даже alert проверочный вывод...

Статсы