Screaming Frog и Gemini API: Революция во Внутренней Перелинковке

Использование векторных эмбеддингов для оптимизации внутренней перелинковки с помощью Screaming Frog и Gemini API

Лондон, 9 октября 2025 года - В последних версиях (начиная с 22.0) популярный SEO-инструмент Screaming Frog получил возможность работать с API искусственного интеллекта (ИИ) и векторными эмбеддингами. Это нововведение дает шанс оценивать семантическую близость страниц для выявления потенциальных точек внутренней перелинковки, представляя собой ощутимый скачок по сравнению с традиционными методами, основанными на ручных предположениях.

Семантическая близость и её роль в SEO

Эмбеддинги переводят тексты страниц в многомерные числовые векторы. Сравнивая такие векторы, можно определить степень содержательной схожести между ресурсами: чем ближе векторы, тем сильнее семантическое родство. Этот подход открывает новые возможности для масштабного анализа сайтов, позволяя находить тематически связанные, но пока не связанные ссылками страницы. Это упрощает построение контентных кластеров, повышает релевантность и распределение «ссылочного веса» (link equity).

Помимо улучшения перелинковки, семантический анализ помогает обнаруживать дублирующие или конкурирующие по теме страницы, а также выявлять материалы с низкой степенью связности в общем контентном ландшафте сайта.

Техническая конфигурация процесса в Screaming Frog

Для того чтобы воспользоваться этой функцией, следует выполнить несколько настроек:

• Включить сохранение HTML-кода (Store HTML и Store Rendered HTML) в разделе Configuration - Spider - Extraction.
• Активировать опцию эмбеддингов (Enable Embedding functionality) и семантической схожести (Enable Semantic Similarity) в Configuration - Content - Embeddings.
• Задать порог семантической схожести (Semantic Similarity Threshold), например, 0.8, что позволяет находить связанные, но не дублирующие друг друга страницы, по словам Криса Лонга, сооснователя Nectiv.
• Подключить Gemini API через Configuration - API Access - AI и добавить параметр Extract Semantic Embeddings from Page в Prompt Configuration.
• После завершения краулинга и анализа Crawl Analysis, сведения о семантической схожести (Semantic Similarity) появятся во вкладке Duplicate Details для каждой проверяемой страницы, показывая similarity score.

Link Score: внутренний авторитет страниц

Параллельно с семантической схожестью Screaming Frog предоставляет показатель Link Score, отражающий относительную важность страницы в структуре сайта на основе внутренних ссылок. По сути, это программный аналог PageRank для отдельного веб-ресурса.

Изначально Google применял алгоритм PageRank, присваивая страницам числовой рейтинг важности в зависимости от количества и качества входящих ссылок. Несмотря на то, что публичный PageRank был снят в 2016 году, его концепция остаётся фундаментальной для понимания внутренней перелинковки.

Современный Link Score в Screaming Frog масштабируется по логарифмической шкале от 0 до 100. Чем выше значение, тем «весомее» считается страница с точки зрения внутренней сети ссылок. Высокие показатели обычно наблюдаются у главной страницы или у тех ресурсов, на которые ссылаются из большинства разделов сайта (например, из навигационного меню).

Механизм расчёта Link Score

Вычисление Link Score состоит из нескольких этапов:

1. Отбор страниц-кандидатов (внутренних, без редиректов и не закрытых каноникалом).
2. Присвоение каждой странице начального веса: 1/n, где n - количество подходящих URL.
3. Итеративное моделирование «ссылочного потока», при котором каждая страница передаёт часть своего веса исходящим ссылкам, деля его поровну.
4. Применение формулы: ((1 - D) / n) + (D * общая оценка ссылок), где D - коэффициент затухания, установленный в Screaming Frog как 0.85.
5. Перевод полученных относительных показателей в диапазон от 0 до 100.

Практическое применение Link Score

Link Score полезен для:

• Выявления изолированных страниц (orphan pages): страниц с нулевым Link Score, не получающих внутренних входящих ссылок, что требует их интеграции в общую структуру.
• Оптимизации страниц с низким Link Score: если ключевые для бизнеса страницы имеют слабый балл, следует увеличить количество внутренних ссылок на них.
• Коррекции «перегруженных» второстепенных страниц: такие разделы, как «Контакты» или «Политика конфиденциальности», часто получают искусственно высокий Link Score за счёт ссылок из футера/меню. В этом случае можно перераспределять вес в пользу приоритетных ресурсов, а иногда применять атрибут nofollow.
• Сокращения глубины вложенности: уменьшение «кликовой» глубины для ценного контента путём улучшения внутренней перелинковки.

Вызовы и перспективы

Интеграция ИИ в Screaming Frog, по словам Криса Лонга, пока остаётся «относительно неиспользованной» возможностью. Разные модели ИИ могут выдавать различные результаты семантической схожести, как отмечает Martin Jeffrey. Сергея Безбородова из Nectiv отмечает ограничения для неанглоязычных и каталожных сайтов, а также необходимость учитывать уже существующие ссылки. Он подчёркивает, что для масштабных проектов полноценное внедрение требует тщательной настройки и «не может быть волшебной кнопкой AI». Antoine G. высказывает сомнения относительно порога 0.8, указывая, что семантическая схожесть не всегда равна «ценности ссылки», и подчеркивает важность поиска комплементарного контента, а не просто похожего.

Тем не менее, данная функция представляет собой мощный инструмент для SEO-специалистов, позволяя автоматизировать и углубить анализ структуры сайта, выходя за пределы простого сравнения ключевых слов. Она прокладывает путь к более эффективной и осмысленной внутренней перелинковке, что в конечном итоге повышает видимость и позиции сайтов в поисковых системах.