Что случилось-то?
Дело в том, что для переходов с гугла вычленить поисковую фразу получается не всегда. Собственно, проблема не новая, но как-то я пропустил. Если кто тоже пропустил - рассказываю )
В октябре прошлого (2011) года, якобы в рамках кампании по эс-эс-эль-изации всего и вся, Google перестал передавать конечным сайтам полноценный реферер (то есть адрес страницы, на которой кликнули по твоей ссылке) в открытом виде.
Почему "якобы"?
Объясняю. Согласно RFC-2616 (повествующему о протоколе HTTP/1.1), при переходе со страницы, полученной по защищенному соединению, поле REFERER может передаваться только если страница, куда пользователь ушел, тоже передается по https.
Однако, гугл при клике на сайт в выдаче сначала гонит юзера на страницу google.com/url?... (возможно, для подсчета кликов), и только оттуда - на конечный сайт. Промежуточная страница - не зашифрована (т.е. передается по протоколу http, а не https, независимо от того, была ли зашифрована страница с выдачей), и имеет параметр ?q=, куда записывается поисковая фраза. Или не записывается, если выдача шифровалась - тогда параметр остается пустым.
То есть, отсутствие ключевика в реферере нельзя объяснить техническим ограничением https - оно только совпало по времени (ну и по сути), но является отдельным, самостоятельным решением - гугл мог шифровать выдачу, и при этом передавать ключевик, или наоборот, прекратить передачу кивурдов без внедрения https на выдаче.
Зачем это нужно?
Нужно, чтобы обезопасить пользовательские данные (история поисковых запросов - довольно чувствительные данные, так-то!). Например, если некий гуглоюзер ищет мусс для сильной фиксации волос - это не очень страшно, а вот если он уточнил, на каком месте собирается фиксировать волосы - пожалуй, ему бы не захотелось, чтоб его с таким запросом кто-то мог идентифицировать :)
Кого это затрагивает?
Шифрование серпа по умолчанию включено для всех залогиненных пользователей гугла. Незалогиненные при желании тоже могут искать на https://google.com (но вряд ли делают это). Сначала обещали, что изменения коснутся только google.com, но на данный момент как мнимум для google.ru мы видим ту же картину.
Какие последствия?
Очевидные - нельзя получать запросы для части трафика с гугла. Сначала поговаривали, что это гугл пытается монополизировать своим гугль.аналитиксом рынок систем статистики, но быстро заметили, что сам аналитикс тоже стал показывать "not provided" для некоторых переходов. Разумеется, другие системы статистики, а также парсилки логов и проч., получить кивурды аналогично не могут.
Какой процент рефереров приходит с пустым парметром ?q - ясно, зависит от тематики (читай - от концентрации гигков/фриков с основным ящиком на gmail.com в вашей теме). В статистике liveinternet.ru отчет "по поисковым фразам" для гугла содержит графу "не определена", по глобальной ру-статистике для среза Google туда попало 4.7% переходов.
Есть ли альтернативы?
В качестве некоторой компенсации Google предлагает возможность раз в месяц поулчать тысячу наиболее популярных запросов для сайта из гугловой панели вебмастера. Но мы понимаем, что это совсем не то :)
