# Поисковые роботы
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: YandexBot
Allow: /
# Clean-param — Яндекс склеит дубли с маркетинговыми и трекинговыми параметрами
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content
Clean-param: yclid&gclid&fbclid&ymclid&_openstat
Clean-param: ref&from&source
# Cache-bust параметры от app-update-manager (детект новой версии фронта).
# Bing склеит через canonical (PageSeo), Яндекс — через эту директиву.
Clean-param: _refresh&_t

User-agent: Twitterbot
Allow: /

User-agent: facebookexternalhit
Allow: /

# AI / LLM краулеры — явно разрешаем индексацию для попадания в обучающие данные
# и для цитирования в Perplexity / ChatGPT / Gemini / Claude.
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

# Claude 2026-07: Anthropic разделил роботов на три роли —
# ClaudeBot (обучение), Claude-User (fetch по запросу пользователя в чате),
# Claude-SearchBot (поисковая индексация для Claude Search).
User-agent: Claude-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Applebot
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: Amazonbot
Allow: /

User-agent: CCBot
Allow: /

User-agent: cohere-ai
Allow: /

User-agent: Meta-ExternalAgent
Allow: /

User-agent: Bytespider
Allow: /

User-agent: DuckAssistBot
Allow: /

User-agent: YandexGPT
Allow: /

User-agent: YandexAdditional
Allow: /

User-agent: YandexAdditionalBot
Allow: /

User-agent: MistralAI-User
Allow: /

User-agent: *
Allow: /
Disallow: /admin
Disallow: /admin/
Disallow: /auth
Disallow: /auth/
Disallow: /reset-password
Disallow: /unsubscribe
# Tracking / cache-bust параметры — предотвращают дубли в Google
# (Яндекс склеивает через Clean-param выше).
Disallow: /*?ref=
Disallow: /*?utm_
Disallow: /*?_refresh=
Disallow: /*?_t=


Sitemap: https://sinapps.tech/sitemap.xml
# Динамический sitemap через EF (api.sinapps.tech/functions/v1/sitemap-articles) удалён:
# Supabase EF gateway принудительно ставит Content-Type: text/plain, из-за чего
# Яндекс.Вебмастер помечал его «с ошибками». Статический sitemap.xml уже включает
# все опубликованные статьи (см. scripts/generate-sitemap.ts → articles_public_preview).