Dubrowsky
Хроники одного дупла
Блогово  →  SEO  → 

Узнать, по какому поисковому запросу пришли из Google

01 Апреля 2012 года

Я тут в очередной раз колдую с анализом рефереров, точнее с вычленением из них поисковых запросов. Чего зачем и как - напишу на следующей неделе, а пока - о проблеме с гуглом, с которой столкнулся в процессе.

Что случилось-то?

Дело в том, что для переходов с гугла вычленить поисковую фразу получается не всегда. Собственно, проблема не новая, но как-то я пропустил. Если кто тоже пропустил - рассказываю )

В октябре прошлого (2011) года, якобы в рамках кампании по эс-эс-эль-изации всего и вся, Google перестал передавать конечным сайтам полноценный реферер (то есть адрес страницы, на которой кликнули по твоей ссылке) в открытом виде.

Почему "якобы"?

Объясняю. Согласно RFC-2616 (повествующему о протоколе HTTP/1.1), при переходе со страницы, полученной по защищенному соединению, поле REFERER может передаваться только если страница, куда пользователь ушел, тоже передается по https.

Однако, гугл при клике на сайт в выдаче сначала гонит юзера на страницу google.com/url?... (возможно, для подсчета кликов), и только оттуда - на конечный сайт. Промежуточная страница - не зашифрована (т.е. передается по протоколу http, а не https, независимо от того, была ли зашифрована страница с выдачей), и имеет параметр ?q=, куда записывается поисковая фраза. Или не записывается, если выдача шифровалась - тогда параметр остается пустым.

То есть, отсутствие ключевика в реферере нельзя объяснить техническим ограничением https - оно только совпало по времени (ну и по сути), но является отдельным, самостоятельным решением - гугл мог шифровать выдачу, и при этом передавать ключевик, или наоборот, прекратить передачу кивурдов без внедрения https на выдаче.

Зачем это нужно?

Нужно, чтобы обезопасить пользовательские данные (история поисковых запросов - довольно чувствительные данные, так-то!). Например, если некий гуглоюзер ищет мусс для сильной фиксации волос - это не очень страшно, а вот если он уточнил, на каком месте собирается фиксировать волосы - пожалуй, ему бы не захотелось, чтоб его с таким запросом кто-то мог идентифицировать :)

Кого это затрагивает?

Шифрование серпа по умолчанию включено для всех залогиненных пользователей гугла. Незалогиненные при желании тоже могут искать на https://google.com (но вряд ли делают это). Сначала обещали, что изменения коснутся только google.com, но на данный момент как мнимум для google.ru мы видим ту же картину.

Какие последствия?

Очевидные - нельзя получать запросы для части трафика с гугла. Сначала поговаривали, что это гугл пытается монополизировать своим гугль.аналитиксом рынок систем статистики, но быстро заметили, что сам аналитикс тоже стал показывать "not provided" для некоторых переходов. Разумеется, другие системы статистики, а также парсилки логов и проч., получить кивурды аналогично не могут.

Какой процент рефереров приходит с пустым парметром ?q - ясно, зависит от тематики (читай - от концентрации гигков/фриков с основным ящиком на gmail.com в вашей теме). В статистике liveinternet.ru отчет "по поисковым фразам" для гугла содержит графу "не определена", по глобальной ру-статистике для среза Google туда попало 4.7% переходов.

Есть ли альтернативы?

В качестве некоторой компенсации Google предлагает возможность раз в месяц поулчать тысячу наиболее популярных запросов для сайта из гугловой панели вебмастера. Но мы понимаем, что это совсем не то :)

Камменты

Николай Дубровскийон самый01.04.2012, 22:41#
Ну и да, старая тема на Серче с комментариями юзера m@xim из ливинтернета по сабжу.
Konstantin Ermakov02.04.2012, 10:51#
Вообще, альтернатива более богата, чем сказано в посте. Во-первых, в Webmaster Tools можно выбирать кастомный интервал, но, да, не длиннее последнего месяца. Однако, если связать Webmaster tools с аккаунтом в Аналитиксе, в последнем будет сохраняться ежедневная статистика как по кейвордам, так и по лэндинг пейдж за всё время синхронизации. А для гинекологов к Webmaster tools есть API, через который кейворды можно забирать в свои эксели или в какие-нибудь другие инструменты.
Николай Дубровскийон самый02.04.2012, 11:34#
Костя, привет :)

Это все равно не позволяет нам а) выделить и изучить отдельную сессию юзера, пришедшего с поиска, и б) подстроить под него контент каким-нибудь хитрым способом.

Кстати, в аналитиксе после привязки сайта к webmaster tools никаких изменений не заметил - в отчете "Источники / Поиск / Бесплатный / Ключевое слово" все равно висит "(not provided)", привязывал 3 дня назад. Еще подождать надо, или я не там ищу? :)
test17.03.2013, 16:27#
>>от концентрации гигков/фриков

Каких ещё гиков? Если человек настроил под себя браузер, то это - нормально. А вот если он пользуется готовой говносборочкой от яндекса или гугла с настройками по-дефолту, то это не человек, а животное, и имя ему - хомяк. А ещё, существует крупный корпоративный сегмент и госсектор. А у них, в подавляющем большинстве случаев имеются корпоративные политики безопасности, которые предполагают наличие в т.ч. и специальным образом сконфигурированного браузера. Кроме того, зачастую имеются и фильтры на выходном прокси/роутере, которые в автоматическом режиме режут рефереры, кукисы, скрипты и говнофлеш. Таким образом, дорогие вебмастера, сделав мега-офигительный (с вашей точки зрения) сайт, вы даже и не подозреваете, что нормальный корпоративный пользователь (а зачастую именно они и совершают большинство покупок промышленного и производственного назначения в интернете) даже не смогут на ваш сайт зайти. Так что советую не выпендриваться, а делать легкие сайты и применять только стандартизированные решения.
Шум23.08.2013, 13:22#
Хороший у вас блог(это не спам))))
Только после переключения в версию без цензуры все ругательства выделились красным, и теперь я читаю только их))) Не нужно так делать.

По теме. Я так и не понял - можно получать стату с гугла если сделать сайту сертификат?
Возможность перехватывать рефер дает возможность создавать легитимные супер дорвеи - обратите внимание на сайт которые занимает первое место
https://www.google.com/search?q=%D0%9E%D0%B4%D0%BD%D0%BE%D0%BF%D0%BE%D0%BB%D1%8B%D0%B9+%D0%B1%D1%80%D0%B0%D0%BA+%D0%B2+%D1%81%D1%88%D0%B0+%D0%B3%D1%80%D0%B8%D0%BD+%D0%BA%D0%B0%D1%80%D1%82%D0%B0&oq=%D0%9E%D0%B4%D0%BD%D0%BE%D0%BF%D0%BE%D0%BB%D1%8B%D0%B9+%D0%B1%D1%80%D0%B0%D0%BA+%D0%B2+%D1%81%D1%88%D0%B0+%D0%B3%D1%80%D0%B8%D0%BD+%D0%BA%D0%B0%D1%80%D1%82%D0%B0&aqs=chrome..69i57&sourceid=chrome&ie=UTF-8
Яндекс Острова23.08.2013, 17:25#
Прошу прощения, моя ссылка сломала вам верстку.
Дуброн самый23.08.2013, 17:41#
Яндекс Острова, верстку пофиксил :)

Не уверен, что перечисление кивурдов из статы на странице - это полностью законный метод, но да, многие так делают.

Про сертификат - не знаю, надо искать. На вскидку на SO человеку с похожей задачей пишут:

If you've got no control over the referring site you are out of luck.

Написать коммент: памятка постеру

 

Крутые посты wtf??? →

16.05.2007 · 31 каммент · рейтинг 7.62
02.03.2012 · 12 камментов · рейтинг 6.41
03.04.2012 · 11 камментов · рейтинг 6.18
19.02.2008 · 106 камментов · рейтинг 5.85
19.07.2012 · 9 камментов · рейтинг 5.74

Поисковый спам

Последне камменты

18.11.2017  JohnКак закрыть окно Skype / свернуть нафиг в трэй: Спасибо, добрый человек! Неимоверно раздражало.
10.11.2017  NikПочему не работает form.submit(): Автор, спасибо за статью 5-летней давности. Подари...
27.10.2017  ДенисОбработка кликов и цели в Яндекс.Метрике, улучшенный вариант: Блин. А для не в зуб ногой - можно код целиком выл...
17.10.2017  ДубрDenwer - настройка алиасов (ServerAlias): Ахуенно не это, ахуенно то что кто-то пользуется Д...
29.09.2017  Maxтам же: Спасибо, чувак! Это ахуенно, оно заработало!!!

Статсы