# AI-краулеры перечислены явно и получают те же правила, что и остальные боты:
# весь каталог, блог и инфостраницы открыты, закрыты только служебные страницы.
# Структурированная сводка сайта для AI-ассистентов: https://molecmag.ru/llms.txt
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot
User-agent: Applebot-Extended
User-agent: Amazonbot
User-agent: Meta-ExternalAgent
User-agent: YandexBot
User-agent: *
Disallow: /*route=account/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /admin
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*search
Disallow: /cart
Disallow: /checkout
Disallow: /login
Disallow: /logout
Disallow: /register
Disallow: /account
Disallow: /api/
# Реферальные ссылки креаторов: /r/<code> — редирект на обычную страницу,
# а ?ref= витрина срезает 302-редиректом. В индексе им делать нечего, а
# обход роботом накручивал бы креатору переходы.
Disallow: /r/
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
Clean-param: tracking
Clean-param: ref

Sitemap: https://molecmag.ru/sitemap.xml