# Standard Web Crawlers
User-agent: Googlebot
Disallow: /go/
Disallow: /api/
Disallow: /out/
Disallow: /r$
Disallow: /r?
Disallow: /r/
Disallow: /review-preview/
Allow: /
Allow: /favicon.png
Allow: /favicon.ico
Allow: /apple-touch-icon.png

User-agent: Bingbot
Disallow: /go/
Disallow: /api/
Disallow: /out/
Disallow: /r$
Disallow: /r?
Disallow: /r/
Disallow: /review-preview/
Allow: /

User-agent: Twitterbot
Disallow: /go/
Disallow: /api/
Disallow: /out/
Disallow: /r$
Disallow: /r?
Disallow: /r/
Allow: /

User-agent: facebookexternalhit
Disallow: /go/
Disallow: /api/
Disallow: /out/
Disallow: /r$
Disallow: /r?
Disallow: /r/
Allow: /

# AI/LLM Crawlers - Willkommen!
User-agent: GPTBot
Disallow: /go/
Disallow: /api/
Disallow: /out/
Disallow: /r$
Disallow: /r?
Disallow: /r/
Allow: /

User-agent: ChatGPT-User
Disallow: /go/
Disallow: /api/
Disallow: /out/
Disallow: /r$
Disallow: /r?
Disallow: /r/
Allow: /

User-agent: OAI-SearchBot
Disallow: /go/
Disallow: /api/
Disallow: /out/
Disallow: /r$
Disallow: /r?
Disallow: /r/
Allow: /

User-agent: ClaudeBot
Disallow: /go/
Disallow: /api/
Disallow: /out/
Disallow: /r$
Disallow: /r?
Disallow: /r/
Allow: /

User-agent: Claude-SearchBot
Disallow: /go/
Disallow: /api/
Disallow: /out/
Disallow: /r$
Disallow: /r?
Disallow: /r/
Allow: /

User-agent: Claude-User
Disallow: /go/
Disallow: /api/
Disallow: /out/
Disallow: /r$
Disallow: /r?
Disallow: /r/
Allow: /

User-agent: Perplexity-User
Disallow: /go/
Disallow: /api/
Disallow: /out/
Disallow: /r$
Disallow: /r?
Disallow: /r/
Allow: /

User-agent: Claude-Web
Disallow: /go/
Disallow: /api/
Disallow: /out/
Disallow: /r$
Disallow: /r?
Disallow: /r/
Allow: /

User-agent: Anthropic-AI
Disallow: /go/
Disallow: /api/
Disallow: /out/
Disallow: /r$
Disallow: /r?
Disallow: /r/
Allow: /

User-agent: PerplexityBot
Disallow: /go/
Disallow: /api/
Disallow: /out/
Disallow: /r$
Disallow: /r?
Disallow: /r/
Allow: /

User-agent: Applebot-Extended
Disallow: /go/
Disallow: /api/
Disallow: /out/
Disallow: /r$
Disallow: /r?
Disallow: /r/
Allow: /

User-agent: Google-Extended
Disallow: /go/
Disallow: /api/
Disallow: /out/
Disallow: /r$
Disallow: /r?
Disallow: /r/
Allow: /

User-agent: cohere-ai
Disallow: /go/
Disallow: /api/
Disallow: /out/
Disallow: /r$
Disallow: /r?
Disallow: /r/
Allow: /

User-agent: Meta-ExternalAgent
Disallow: /go/
Disallow: /api/
Disallow: /out/
Disallow: /r$
Disallow: /r?
Disallow: /r/
Allow: /

User-agent: *
Disallow: /go/
Disallow: /api/
Disallow: /out/
Disallow: /r$
Disallow: /r?
Disallow: /r/
Disallow: /review-preview/
Allow: /
# Hinweis: Trailing-Slash- und /index-Cleanup läuft serverseitig per 301.
# Keine robots-Direktive nötig — Suchmaschinen folgen den Redirects.

# sitemap.xml ist ein Sitemap-Index, der live aus der Datenbank auf die
# Teil-Sitemaps (Seiten, Kategorien, Tests, News, Ratgeber, Deals usw.) verweist.
# Daneben eigene Sitemaps für Bilder, Google News (letzte 48 h) und Videos.
Sitemap: https://klarerkauf.de/sitemap.xml
Sitemap: https://klarerkauf.de/sitemap-images.xml
Sitemap: https://klarerkauf.de/news-sitemap.xml
Sitemap: https://klarerkauf.de/video-sitemap.xml

# LLM/AI Information Files
# Für AI-Systeme optimierte Informationen über diese Website:
# - Kompakte Version: https://klarerkauf.de/llms.txt
# - Ausführliche Version: https://klarerkauf.de/llms-full.txt
#
# Diese Dateien enthalten:
# - Aktuelle Testberichte und Bewertungen
# - Produktkategorien mit Testanzahl
# - Herstellerinformationen mit Durchschnittsbewertungen
# - Strukturierte Daten für AI-Empfehlungen