Crawl budget (бюджет обхода, лимит краулинга) — это максимальное количество страниц сайта, которые поисковый робот готов обойти и обработать за определённый временной интервал. Чаще всего метрика рассматривается в разрезе суток, хотя технически Яндекс-бот работает непрерывно и не сбрасывает счётчик в полночь. Понятие принципиально важно для крупных ресурсов с десятками тысяч URL: если краулер исчерпывает выделенный лимит раньше, чем обойдёт все страницы, часть контента остаётся вне индексации в Яндексе на неопределённый срок.
Бюджет обхода складывается из двух составляющих. Crawl rate limit — верхняя планка запросов в секунду, которую робот готов направить к серверу без риска его перегрузить. Этот параметр зависит от скорости ответа хоста: быстрый сервер получает более высокий лимит, медленный — ограничивается автоматически. Crawl demand — фактическая потребность алгоритма в обходе конкретных URL: насколько часто на них ссылаются, как давно они обновлялись и какие поведенческие сигналы генерируют. Страницы с высоким CTR в Яндексе, активным трафиком и частыми обновлениями получают приоритет при следующем обходе. Результирующий бюджет — пересечение технической пропускной способности сервера и алгоритмического «интереса» к конкретным страницам.
В Яндексе 2026 бюджет обхода регулируется на нескольких уровнях. Основной инструмент мониторинга — Яндекс.Вебмастер: раздел «Индексирование → Статистика обходов» показывает количество посещённых страниц за 7 и 30 дней, распределение кодов ответов (200, 301, 404, 5xx) и равномерность краулинга во времени. Аномальный рост 404 или 5xx ошибок — прямой сигнал к снижению crawl rate.
Типичные бенчмарки (оценочные, на основе практики рынка):
| Тип сайта | Страниц/сутки | |---|---| | Молодой сайт (< 6 мес., < 1000 стр.) | 50–300 | | Устоявшийся ресурс (1–3 года, до 50 000 стр.) | 500–5 000 | | Крупный авторитетный портал (> 100 000 стр.) | 10 000–100 000+ |
Ключевые факторы, повышающие crawl demand в алгоритмах Яндекса:
Яндекс не публикует официальную методику расчёта crawl budget, поэтому приведённые цифры — агрегация данных из серверных логов и практики SEO-специалистов. Бюджет не статичен: он пересчитывается динамически по мере изменения технических характеристик сайта и его поведенческой репутации в глазах алгоритма.
Оптимизация crawl budget строится по пяти направлениям.
1. Аудит паразитных URL. Начинают с краулинга сайта (Screaming Frog, Netpeak Spider) для выявления страниц, расходующих бюджет без отдачи: дублей, тонкого контента, параметрических URL, страниц пагинации, результатов внутреннего поиска. Параллельно анализируют серверные логи — строки с User-Agent YandexBot показывают реальную картину краулинга.
2. Закрытие мусорных URL. Фильтры, сортировки, UTM-параметры, сессионные ID закрывают через Disallow в robots.txt или тег <meta name="robots" content="noindex">. Это высвобождает бюджет для приоритетных страниц с высокой релевантностью под коммерческие и информационные запросы.
3. Оптимизация внутренней перелинковки. Чем больше внутренних ссылок ведёт на страницу, тем выше её crawl priority. Страницы категорий и карточек должны получать ссылки из навигационных элементов, хлебных крошек и тематических блоков. Осиротевшие страницы (orphan pages) — первые кандидаты на исключение или на добавление перелинковки.
4. Настройка XML Sitemap. Актуальная карта сайта с корректным тегом <lastmod> помогает роботу понять, какие URL изменились с последнего обхода, и направить туда ресурсы в первую очередь. Включайте в Sitemap только канонические URL с кодом ответа 200.
5. Скорость сервера. TTFB < 200 мс — базовый ориентир для комфортного краулинга. Улучшение времени ответа напрямую расширяет crawl rate limit. Мониторьте показатели в Яндекс.Вебмастере и через серверные логи.
Crawl budget напрямую определяет, какие страницы участвуют в ранжировании Яндекса, а какие остаются невидимыми для алгоритма. Страница, не попавшая в индекс, не получает органического трафика и не накапливает никаких поведенческих сигналов — она попросту не существует с точки зрения поисковой системы.
Для работы с поведенческими факторами бюджет обхода имеет двойное значение. Во-первых, только проиндексированные страницы можно «прокачивать» поведенческими сигналами: кликами из SERP Яндекса, временем на сайте, глубиной просмотра. Именно с такими страницами работает x10seo — непроиндексированный URL не попадает в выдачу и не участвует ни в каком сценарии улучшения ПФ. Во-вторых, регулярные пользовательские визиты на страницу повышают её crawl demand: Яндекс фиксирует спрос и начинает обходить URL чаще, быстрее фиксируя обновления.
Особенно критична оптимизация бюджета для интернет-магазинов и агрегаторов, где постоянно меняются цены и наличие. Если карточка товара краулится раз в неделю, а цена изменилась вчера — в выдаче отображаются устаревшие данные. Это повышает Bounce Rate (отказы) и ухудшает поведенческую картину сайта в целом, что создаёт негативный каскадный эффект на позиции.
Грамотное управление crawl budget снижает нагрузку на сервер в период активного краулинга, косвенно улучшая пользовательский опыт и метрики скорости, которые Яндекс учитывает через Core Web Vitals. Таким образом, работа с бюджетом обхода — одновременно техническое SEO и вклад в loyalty signal сайта.
Crawl budget неразрывно связан с индексацией в Яндексе: именно бюджет определяет скорость, с которой новые или обновлённые страницы попадают в поиск и начинают приносить трафик. Контролировать прогресс удобнее всего через Яндекс.Вебмастер — инструмент отображает динамику обходов и позволяет запросить переобход конкретного URL через «Проверку URL».
Опосредованно бюджет обхода связан с поведенческими метриками: временем на сайте, глубиной просмотра, Bounce Rate (отказами) и Return rate. Страницы с сильными ПФ-сигналами получают более высокий crawl demand, создавая положительную обратную связь: хорошие поведенческие метрики → частый обход → актуальный индекс → стабильные позиции по коммерческим и информационным запросам.