# --- Crawler SEO commerciali: bloccati ---
# Non portano un solo visitatore (nessuno cerca contenuti "su Semrush" o "su Ahrefs":
# sono strumenti di analisi, non motori di ricerca) ma generano un carico enorme.
# Misurato il 30 ago 2026: SemrushBot da solo 63.426 richieste in un giorno, contro
# qualche decina di visite umane, su una macchina che ad agosto e' andata in OOM
# sette volte. Di quelle richieste, 21.426 erano redirect 301 sui vecchi slug dei
# tag consolidati: ricrawl a vuoto, pagato da noi in CPU e RAM.
# I motori di ricerca veri restano pienamente ammessi dal gruppo * piu' sotto.
User-agent: SemrushBot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: DataForSeoBot
Disallow: /

# --- Tutti gli altri, motori di ricerca inclusi ---
User-agent: *
Allow: /
Disallow: /admin
Disallow: /login
Disallow: /register
Disallow: /account
Disallow: /dashboard
Disallow: /search
Disallow: /img

Sitemap: https://maialine.it/sitemap.xml