google.com/goto: Google's anti-scraping update
Google Search теперь перенаправляет пользователей через промежуточный URL вида google.com/goto?url=... вместо прямого указания целевой ссылки в HTML. При клике браузер получает редирект на реальную страницу, а параметр url содержит закодированную ссылку, которую невозможно расшифровать офлайн — это не base64, а внутренняя ссылка на запись в индексе Google. Чтобы получить конечный URL, нужно выполнить HEAD-запрос к /goto и извлечь значение заголовка Location, не следуя редиректу. Это отличается от старого формата google.com/url?q=..., где целевая ссылка была видна в строке запроса.
Изменение направлено против автоматизированного сбора результатов поиска, особенно AI-сканеров и SEO-инструментов, которые ранее могли извлекать тысячи URL из HTML без дополнительных запросов к Google. Теперь для получения каждой ссылки требуется отдельный запрос к goto, что увеличивает нагрузку, создаёт шум в логах и позволяет Google отслеживать подозрительную активность. Это часть стратегии по усложнению скрейпинга наряду с удалением параметра &num=100 и ужесточением систем BotGuard и SearchGuard. В условиях выхода из системы или приватного режима (по состоянию на конец августа 2026 г.) формат goto стал доминирующим в SERP.
Компания Autom обновила свой пайплайн обработки результатов Google Search: теперь их API автоматически выполняет HEAD-запрос к google.com/goto, читает заголовок Location и возвращает конечный URL в тех же полях, что и раньше, без необходимости менять интеграцию у клиентов. Они продолжают мониторить возможные изменения формата и готовы адаптироваться. Для тех, кому нужен доступ к актуальным данным SERP несмотря на защиту Google, предлагается бесплатный tier в 1000 запросов через их API.