Карта сайта и канонические теги выполняют для ИИ-краулеров ту же задачу, что и для поисковых систем: они сообщают краулеру, какие URL существуют и какая версия является “настоящей”, когда один и тот же контент доступен по нескольким адресам. Ошибка здесь незаметно дробит вашу видимость между дублирующимися URL вместо того, чтобы концентрировать её на странице, которую вы действительно хотите цитировать.
Почему это важно для AEO. ИИ-краулеры используют карту сайта так же, как поисковые системы: как основной список для обнаружения страниц. Устаревшая карта сайта (без новых страниц, со ссылками на 404) или дублирующиеся URL с разными каноническими адресами дробят авторитет, который должен был достаться одной странице.
Как это сделать
- Убедитесь, что /sitemap.xml существует, отдаёт статус 200 и упомянут в robots.txt.
- Проверьте, что карта сайта пересобирается автоматически при публикации (большинство фреймворков и CMS делают это по умолчанию), а не является устаревшим файлом, который поддерживают вручную.
- Добавьте самоссылающийся тег <link rel="canonical"> на каждую страницу, особенно на те, что доступны по нескольким URL (со слэшем в конце или без, с UTM-метками, по http и https).
- Удаляйте старые страницы или отдавайте для них 410, вместо того чтобы оставлять в карте сайта устаревшие тонкие дубликаты.
Как проверить. Откройте sitemap.xml, выборочно проверьте 5 URL на статус 200 и убедитесь, что канонический тег на каждой странице совпадает с адресом, который вы действительно хотите индексировать.
Пример
<link rel="canonical" href="https://yourdomain.com/pricing" />