Dubrowsky
Хроники одного дупла
Блогово  →  SEO  → 

Письмо в Яндекс про дубли страниц и клоакинг

10 Апреля 2013 года

Продолжаем разговор про дубли, начатый в предыдущем посте. Написал по-быстрому письмо Платонам по поводу своего гипотетического решения проблемы дублей, и вот оно перед вами.

Напомню, в случае, когда CMS определила страницу как не-каноническую, я предлагаю отдавать поисковикам 301 редирект на канонический адрес, ориентируясь на метод HEAD (вполне законно) либо на User-Agent (не вполне законно), а всем остальным клиентам (включая поисковики, которые не удалось определить как поисковики) - отдавать 200 заголовок, но с добавлениемв секцию head.

Поскольку Платоны не всегда отвечают на письма (почти всегда отвечают, но мало ли), а возможности посмотреть историю обращений в фидбэк нету, сохраняю письмо на память.

Здравствуйте, Платон!

Я работаю в компании NetCat, мы делаем одну из самых популярных коробочных CMS в рунете.

Некоторые пользователи указывают нам на проблему с возможным возникновением дублей страниц в индексе из-за того, что при добавлении произвольных параметров к URL отдаются одинаковые страницы с 200 заголовком.

Буду благодарен, если ответите на некоторые вопросы.

1. Существует ли в принципе такая проблема и надо ли специально ее решать на уровне CMS?

2. Делает ли робот Яндекса HEAD-запрос перед скачиванием документа, или сразу запрашивает документ методом GET?

3. Если HEAD-запрос не делается, допустимо ли следующее поведение системы для не-канонических страниц:
- роботу отдавать 301 заголовок и перенаправление на каноническую страницу
- пользователю показывать страницу с 200 заголовком и добавление

Использование клоакинга в этом случае позволит экономить трафик и не заставлять робота скачивать и разбирать заведомые дубли. С другой стороны не пострадают счетчики статистики, использующие get-параметры в качестве меток (utm_source и т.д.).

Заранее благодарен.

И напоследок - о хипстерах, давненько мы их не вспоминали. Как известно, хипстеры - не только думающая молодежь, но и слушающая. То есть все прямо меломаны, меломан на меломане. И очень часто они слушают музыку в личном авто. В связи с этим я хочу провести исследование, чтобы узнать, какова средняя стоимость сабвуфера, установленного в среднестатистическом Mini Cooper среднестатистического пользователя lookatme. Если вы попадаете в это множество, отпишитесь в камментах, плиз.

Камменты

Вячеслав04.08.2014, 11:04#
Спасибо за информацию!

Написать коммент: памятка постеру

 

Крутые посты wtf??? →

14.07.2017 · 1 каммент · рейтинг 9.15
15.03.2012 · 21 каммент · рейтинг 8.8
02.03.2012 · 12 камментов · рейтинг 6.63
03.04.2012 · 11 камментов · рейтинг 6.4
05.02.2008 · 18 камментов · рейтинг 6.13

Последне камменты

22.07.2017  СергейПочему не работает form.submit(): Также столкнулся с неработающим .submit() при отпр...
20.07.2017  СергейСвязь: Здравствуйте. Хочу предложить Вам тройной обмен п...
17.07.2017  Илья АрхипкинСколько журналистов в России?: Мне рассказывали как журналисты освещали акцию в К...
21.05.2017  Vadim GukОбработка кликов и цели в Яндекс.Метрике, улучшенный вариант: Большое спасибо за решение задачи.
20.05.2017  ДмитрийТестовое задание для PHP-программиста (Junior): А джуны ещё нужны у вас в компании?

Статсы