Настройка страниц пагинации для SEO

В справках Яндекса и Google есть относительно подробные советы на этот счет, да и, казалось бы, тема разобрана уже миллион раз. Так почему это важно?

1. Рекомендации в справках поисковых систем несколько отличаются. 
2. Неправильная пагинация – все еще одна из самых распространенных ошибок, исправив которую часто можно улучшить ранжирование сайта в целом. 

О чем вообще речь? 

Пагинация – навигационный элемент, делящий контент страницы (список товаров, иногда – текст статьи) на блоки (страницы). Позволяет загружать страницу быстрее, в целом делает сайт удобнее для конечного пользователя. 

Как реализовать? 

1. Нумерация. Контент делится на блоки, каждый из которых имеет свой порядковый номер. При большом количестве страниц показывается несколько первых и последняя, а промежуточные скрываются. 

Такой вариант пагинации используется в подавляющем большинстве интернет-магазинов.

Иногда встречаются примеры с разделением по алфавиту, что, по сути, является той же самой нумерацией. Часто такое можно встретить в онлайн-словарях, чуть реже – на медицинских сайтах.

URL страницы в таком случае выглядит примерно следующим образом: 

site.ru/catalog/category/?page=2 

site.ru/catalog/category/page/2 

site.ru/catalog/category/page2 

site.ru/illness/alphabet/b 

2. Кнопка «Показать еще». В таком случае нет возможности перейти к определенному блоку (странице пагинации), контент по клику на кнопку загружается последовательно.  

URL страницы здесь формируется аналогично примерам выше либо не изменяется совсем – загрузка контента производится с помощью JS-скриптов.  

3. Бесконечная лента. Частный случай кнопки «Показать еще». При достижении пользователем конца страницы ее контент подгружается автоматически. 

Окей, а что с ними может быть не так? 

Как правило, никак не оптимизированные страницы пагинации являются источниками следующих проблем: 

1. Дублирование контента (метатеги, текст категории, прочие элементы). Поисковые роботы могут принять такие страницы за дубли, большое количество которых негативно скажется на ранжировании сайта в целом. 
2. Неправильное определение релевантной страницы в выдаче (следует из предыдущего пункта). Если есть несколько практически одинаковых страниц, то как поиску определять релевантную? 

   В итоге вместо основной страницы категории, на которой, как правило, магазины выводят свои самые лучшие или маржинальные товары, пользователи будут попадать условно на 8-ю страницу пагинации. 

Хорошо, а что на этот счет говорят поисковые системы? 

Вариант Google 

В предыдущей версии рекомендаций Google предлагал указать в качестве канонической страницу категории со всеми товарами (например, страницу вида site.ru/catalog/category?view=all). Сделать это предлагалось несколькими способами: 

Такой вариант, очевидно, не очень подходил магазинам с обширным ассортиментом. Страницы со всеми товарами категории создавали бы большую нагрузку на сервер и при этом никем, кроме поисковых роботов, не использовались. 

Однако в конце сентября 2021 года обновились рекомендации, и в новых версиях предложены следующие варианты оптимизации:

• для каждой страницы пагинации делать уникальный URL и открывать для индексации поисковыми ботами; 
• для каждой страницы использовать собственный URL в качестве канонического. 

Нелишним будет напомнить, что с 2019 года Google перестал поддерживать атрибуты rel = next/prev тега < link >, которые раньше использовались для разметки пагинации, и их внедрение никак не скажется ни на ранжировании сайта, ни на его сканировании поисковыми роботами. 

Яндекс же и вовсе никогда не поддерживал эти атрибуты и игнорировал их при индексировании страницы. 

Вариант Яндекса 

В блоге Яндекс.Вебмастера предлагается закрывать страницы пагинации через тег canonical, ссылаясь со всех страниц пагинации на основную категорию.  

Все бы ничего, но эта рекомендация от 2015 года, и новых материалов на эту тему нигде нет. Задаем вопрос в поддержку Яндекс.Вебмастера, изменилось ли что-то за прошедшие 6 лет, и получаем немного размытый ответ: 

Резюмируем позицию Яндекса: 

• не рекомендуется закрывать полностью (через robots.txt или метатег); 
• дальше на ваше усмотрение: хотите – открывайте для поиска, хотите – ссылайтесь со всех на первую, нам все равно. 

Здесь важно отметить, что рекомендации Яндекса и Google сходятся в одном – страницы пагинации должны быть доступны для обхода поисковыми ботами.  

Что в итоге-то делать? 

Есть несколько способов решения этой задачи, причем нельзя однозначно выделить какой-то правильный. Многое зависит от конкретной тематики, сайта, CMS, технических возможностей и затраченных усилий. Поэтому рассмотрим несколько распространенных вариантов, и в конце я опишу правильный, на мой взгляд, способ оптимизации страниц пагинации.   

TL;DR: страницы пагинации должны быть открыты для сканирования поисковыми ботами и находиться в индексе.  

Закрыть от индексации полностью 

Многие SEO-специалисты решают проблему кардинально и полностью закрывают страницы пагинации от индексации. Это можно реализовать несколькими способами: 

• Через robots.txt. Добавляем в файл директиву Disallow: */page/ или Disallow: /*page= (не забудьте, что если в robots.txt у вас прописано несколько User-Agent, то добавить директиву нужно для каждого). 
• Через метатег. В блок < head > страницы пагинации нужно разместить код < meta name="robots" content="noindex" / >. 
• Через серверные заголовки. Для страниц пагинации добавляем HTTP-заголовок X-Robots-Tag со значением noindex. 

Да, есть расхождение с рекомендациями поисковых систем, но при ограниченных ресурсах это самый простой вариант, хотя и со своими недостатками:

• При большом количестве страниц увеличивается риск неиндексации тех из них, ссылки на которые есть только на страницах пагинации (например, карточки товаров).
• Ухудшается внутренняя перелинковка между страницами сайта.
• Поиск видит не все товары сайта, в то время как количество и разнообразие ассортиментной матрицы – один из коммерческих факторов ранжирования. 

Когда после сканирования сайта любым краулером (Netpeak Spider, Screaming Frog и т. д.) все важные для вас товары/страницы имеют внутренние ссылки не с пагинации, это рабочий вариант, особенно если у вас небольшой или монобрендовый интернет-магазин. 

Поставить canonical на первую страницу категории 

Другой вариант – поступить по рекомендации Яндекса и поставить canonical на первую страницу категории. То есть для страниц вида site.ru/catalog/category/?page=n в качестве канонической указывается site.ru/catalog/category/.  

Атрибут canonical не запрещает сканирование страниц ботам, но вместе с тем указывает, что в поисковой выдаче следует отображать именно страницу категории. И все бы хорошо, но с 2019 года Яндекс считает canonical рекомендацией, а не строгим правилом. В результате страницы пагинации многих сайтов стали попадать в индекс, что вызвало недоумение у многих веб-мастеров. 

Открыть пагинацию для поиска 

На мой взгляд, оптимальный вариант на данный момент – придерживаться рекомендаций Google. То есть мы убираем все ограничивающие сканирования правила (если они есть) и для каждой страницы пагинации указываем в качестве канонической ее же.  

Дополнительно можно сделать некоторые доработки, что позволит минимизировать появление страниц в поисковой выдаче по пользовательским запросам и даст один интересный побочный эффект, но об этом ниже. 

Однако прежде чем открывать страницы пагинации для поиска, следует убедиться, что выполнена базовая оптимизация пагинации, а именно:

• Текст категории не выводится на второй и следующих страницах (очень частая ошибка). 
• Теговые блоки, блоки перелинковки, дополнительные блоки преимуществ/отзывов/карты проезда и так далее не выводятся на пагинации. 

Этого уже будет достаточно, чтобы открыть страницы пагинации для поиска. Страница категории за счет всех дополнительных блоков будет считаться более оптимизированной и, как следствие, станет основной в выдаче по группе запросов.  

Однако можно пойти дальше и еще больше доработать: 

• Деоптимизировать шаблон для страниц пагинации. О чем речь? Предположим, ваш тайтл составлен по всем канонам и правилам, содержит синонимы и «хвосты» запросов и выглядит как-то так: «Купить холодильники и морозильные камеры в интернет-магазине в Москве, низкие цены, отзывы владельцев». Деоптимизируем его, оставив только основной запрос: «Купить холодильники в Москве». 
• Уникализировать title и description – указать текущую страницу: «Купить холодильники в Москве – страница 2». 
• Уникализировать хлебную крошку, добавив туда текущую страницу. То есть приводим ее к такому виду: Главная → Каталог → Категория → Страница 2.
• Уникализировать заголовок H1, добавив туда текущую страницу: «Холодильники – страница 2».

Проделанные манипуляции приводят к следующим результатам: 

1. Пагинация открыта для сканирования, все по заветам поисковых систем. 
2. Пагинация будет попадать в индекс – она имеет уникальные метатеги и отличающийся от первой страницы набор товаров на ней. 
3. Более релевантной будет основная страница категории за счет лучшей проработки метатегов и дополнительных блоков страницы (пользовательские и коммерческие факторы). 
4. Улучшается внутренняя перелинковка и индексация глубоко вложенных товаров/страниц. 

И дополнительный бонус: в таком варианте значительно проще диагностировать постраничные текстовые фильтры. 

Если страница категории попадает под фильтр, релевантной становится одна из ее страниц пагинации.  

В варианте с полностью закрытой пагинацией видимость категории просто уменьшилась бы на 10–30 позиций без смены релевантной. Диагностировать фильтр было бы значительно сложнее – нужно было прибегать к помощи дополнительных сервисов («Арсенкин», «Пиксель Тулс» и т. д.) или делать это на глаз, сравнивая свой контент с контентом конкурентов из топа выдачи.  

Подходит ли такая схема для всех магазинов? В целом да, однако наибольшую эффективность она показывает на сайтах со множеством категорий, для которых проверка переоптимизации с помощью платных сервисов может обойтись в значительную сумму, в то время как позиции и релевантные страницы отслеживаются (отслеживаются же, да?) относительно регулярно.

Есть ли у этой схемы недостатки? Да, вот они: 

• Нужно больше вовлеченности SEO-специалиста: внедрение, проверка корректности индексации, отслеживание смены релевантных страниц. 
• Требуется больше часов работы технических специалистов для внедрения. 
• В момент первой индексации пагинации может сильно вырасти нагрузка на сервер. 

Поэтому, повторюсь, схема хорошо подходит для средних и крупных интернет-магазинов, где за SEO сайта отвечает отдельный человек или агентство. Для маленьких магазинов, которые редко могут это себе позволить, выходом будет полностью закрыть пагинацию. Почти в 99% случаев это никак не скажется на сайте. 

Как делать точно НЕ нужно 

1. Закрывать пагинацию для сканирования через robots.txt или метатег robots и при этом делать канонической первую страницу категории. Это взаимоисключающие шаги: поиск не «увидит» основную страницу, так как указывает на нее запрещенная для индексации и обхода страница. 
2. Оптимизировать страницы пагинации под низкочастотные запросы. Когда у вас есть категория с холодильниками, вторая страница пагинации оптимизирована под запрос «красный холодильник», третья – под «холодильник с верхней морозилкой» и т. д. Для этого придуманы система тегирования и SEO-фильтры.  
3. Оптимизировать страницы пагинации под геозависимые запросы. Частный случай предыдущего пункта, когда категория – это «Холодильники в Москве», вторая страница – «Холодильники в Химках» и т. д. Используйте папки, поддомены или продвижение в рамках одного домена и привязку через справочники. 

Заключение 

И помните, что в SEO не бывает ничего абсолютного. Очень многое зависит от тематики, CMS, ресурсов и т. д. Описанный способ работы с пагинацией может отлично подходить мне, но совершенно не подходить вашим сайтам. Делитесь в комментариях, как в таком случае поступаете вы.