SchemaStatsBot
SchemaStatsBot
Il crawler del validatore Schema.org su Schema Stats. Scarica solo gli URL inviati esplicitamente da un visitatore.
Cosa fa
SchemaStatsBot scarica una singola pagina quando un utente usa il validatore o lo strumento di confronto. Estrae JSON-LD, Microdata e RDFa per mostrare i dati strutturati insieme alle statistiche d'uso Schema.org. Non viene usato per indicizzare siti ne per esplorarli in autonomia.
Perché è un bot responsabile
- Parte solo dopo che una persona invia un URL nel validatore — mai in modo autonomo sul web.
- Controlla robots.txt prima di ogni richiesta e si ferma se le tue regole vietano SchemaStatsBot.
- Usa uno User-Agent chiaro e stabile che rimanda a questa pagina.
- Le richieste sono limitate (rate limit, timeout, dimensione massima, nessun accesso a reti private).
User-Agent
Usa questa stringa per identificare il crawler in log, regole WAF o robots.txt:
SchemaStatsBot/1.0 (+https://schemastats.com/bot)
Come bloccarlo
Puoi vietare SchemaStatsBot su tutto o parte del sito. Se bloccato, il validatore mostrerà un messaggio robots.txt invece di scaricare la pagina.
Esempio robots.txt
User-agent: SchemaStatsBot Disallow: /