Googlebot Уповільнився після 19 вересня: Наслідки Вимкнення SXG Cloudflare

Зниження швидкості сканування Googlebot: наслідки відключення Signed Exchanges Cloudflare

Різке падіння інтенсивності сканування веб-сайтів роботом Googlebot, зафіксоване багатьма адміністраторами після 19 вересня, пов'язане з достроковим припиненням підтримки технології Signed Exchanges (SXG) з боку Cloudflare та уповільненою реакцією серверів. Це виявляє потенційні вразливості в інфраструктурі сучасного інтернету та підкреслює критичну важливість швидкодії серверів для оптимізації пошукової видачі.

Аналіз проблеми

Спочатку, спостерігаючи суттєве зниження кількості запитів на сканування (Crawl Requests) та обсягів переданих даних (Data Transfer) у Google Search Console, веб-майстри розпочали активний пошук причин. Дискусія з Джоном Мюллером (@JohnMu), провідним аналітиком трендів для веб-майстрів Google, прояснила ситуацію:

• Дострокове вимкнення SXG: Головною причиною стало передчасне припинення підтримки Cloudflare для Signed Exchanges (SXG). Ця технологія, орієнтована на підвищення продуктивності та безпеки, забезпечує попереднє завантаження сторінок і прискорює їх відображення, зокрема з кешу Google. Неочікуване відключення її підтримки спричинило збої в механізмі, на який розраховували багато веб-ресурсів для оптимізації взаємодії з Googlebot.
• Повільна відповідь серверів: Одночасно, затримки у відповіді серверів, що обслуговують постраждалі сайти, посилили негативний ефект. Googlebot оптимізує свою роботу, віддаючи перевагу швидким ресурсам, і затримки в обробці запитів безпосередньо впливають на схильність робота повертатися на сайт.

"Це, разом із уповільненою реакцією серверів, вплинуло на краулінг і передачу даних."

Ці фактори разом призвели до того, що Googlebot скоротив інтенсивність сканування, оскільки система Google прагне до максимальної ефективності, мінімізуючи навантаження на сервери веб-сайтів і власні ресурси. Графіки, надані учасниками обговорення, чітко демонструють спад активності після 19 вересня, підтверджуючи синхронність проблеми.

Історичний контекст та паралелі

Поточна ситуація нагадує попередні дискусії щодо впливу Cloudflare на SEO, які мали місце близько 2016 року. Тоді говорили про можливий негативний вплив Cloudflare через спільне використання IP-адрес різними - часто сумнівними - сайтами, що могло інтерпретуватись пошуковими системами як «негативний сигнал». Однак згодом це занепокоєння згасло, бо великі та авторитетні ресурси активно впроваджували Cloudflare, продовжуючи успішно ранжуватися в пошуковій видачі.

Нині питання полягає не стільки в самій CDN, скільки в специфічних аспектах її інтеграції та використанні певних технологій, таких як SXG, у поєднанні з загальною продуктивністю веб-сервера.

Рекомендації та заходи Google

Згідно з документацією Google Search Central, Google застосовує складні алгоритми для визначення оптимальної частоти сканування, намагаючись максимізувати охоплення сторінок без надмірного навантаження на сервери. Різке збільшення частоти сканування може бути викликане неефективною конфігурацією URL або проблемами зі структурою сайту.

У випадку, якщо сайт зазнає надмірного навантаження через сканування Googlebot, Google пропонує кілька кроків:

1. Аналіз логів сервера: Варто звернутись до хостинг-провайдера і вивчити логи доступу до сервера для ідентифікації джерел трафіку.
2. Оптимізація сканування: Потрібно переглянути рекомендації Google щодо підвищення ефективності сканування та керування індексацією фасетної навігації.
3. Екстрене зниження частоти сканування: У критичних випадках, для тимчасового скорочення сканування (на кілька годин чи днів), можна повертати HTTP-статуси 500, 503 або 429 замість 200 на запити робота. Цей підхід, проте, може мати більш негативний вплив на індексацію, якщо застосовувати його тривалий час.
4. Спеціальний запит до Google: Якщо повернення помилок неможливе, можна надіслати запит до Google через Search Console з проханням знизити частоту сканування до прийнятного рівня.

Висновки для веб-майстрів

Цей інцидент слугує важливим нагадуванням для веб-майстрів:

• Перевірка налаштувань Cloudflare: Якщо ваш сайт працює через Cloudflare, особливо в контексті підтримки SXG, слід перевірити актуальні параметри та їх відповідність рекомендаціям Google.
• Моніторинг Search Console: Регулярний контроль Crawl Requests та Data Transfer у Google Search Console є критично важливим для раннього виявлення подібних проблем.
• Швидкодія сервера: Забезпечення високої швидкості відповіді сервера залишається фундаментальним фактором для ефективної взаємодії з пошуковими роботами та підтримки позицій у видачі.
• Диверсифікація технологій: Надмірна залежність від однієї технології чи провайдера може нести ризики. Оцінка альтернативних рішень та готовність до швидкого реагування на зміни є ключовими.

Ситуація з падінням швидкості сканування Googlebot після 19 вересня ясно демонструє взаємозалежність між вибором інфраструктурних рішень, продуктивністю серверів та успішністю сайту в пошуковій видачі. Оперативна комунікація між постачальниками послуг (наприклад, Cloudflare) та веб-майстрами є надзвичайно важливою для запобігання подібним збоям у майбутньому.