Host: v-avto.ru
Sitemap: https://v-avto.ru/sitemap.xml

User-agent: *
Allow: /

Disallow: /admin
Disallow: /login
Disallow: /reg
Disallow: /restore
Disallow: /basket
Disallow: /orders
Disallow: /user
Disallow: /favorites
Disallow: /prices
Disallow: /search

Clean-param: sort&availability&brand&page /catalogs/

User-agent: AhrefsBot
Disallow: /


# === Блокировка ИИ-парсеров (Сборщиков данных для обучения нейросетей) ===
User-agent: Amazonbot
User-agent: Amzn-SearchBot
User-agent: ChatGPT-User
User-agent: GPTBot
User-agent: Google-Extended
User-agent: Anthropic-AI
User-agent: Claude-Web
User-agent: ClaudeBot
User-agent: Applebot-Extended
User-agent: PerplexityBot
User-agent: CohereBot
User-agent: YouBot
User-agent: Omgili
User-agent: Omgilibot
Disallow: /

# === Блокировка SEO-сервисов и парсеров (Анализ ссылок, сбор контента и цен) ===
User-agent: AhrefsBot
User-agent: MJ12bot
User-agent: Rogerbot
User-agent: SemrushBot
User-agent: SemrushBot-SA
User-agent: DotBot
User-agent: MegaIndex.ru
User-agent: BLEXBot
User-agent: SerpstatBot
User-agent: SpyFu
User-agent: LinkUpBot
User-agent: MooseBot
User-agent: BubbleBot
User-agent: Buck
Disallow: /

# === Блокировка агрессивных сканеров и плохих ботов ===
User-agent: PetalBot
User-agent: Barkrowler
User-agent: SeznamBot
User-agent: CCBot
User-agent: CensysInspect
User-agent: NetSystemsResearch
User-agent: AlphaBot
Disallow: /