Mostra robots.txt salvati

Questo visualizzatore ti permette di tenere sotto controllo tutti i file robots.txt scaricati nella sessione di esplorazione corrente.

List of robots.txt files

La tabella elenca tutti i file robots.txt salvati per la sessione di esplorazione corrente.
L'accesso ai bot per ogni dominio principale e ogni sottodominio coinvolto (ossia ogni "Autorità") è regolato dal proprio file robots.txt; file robots.txt mancanti sono salvati come richieste HTTP 404 "Not Found", che stando al protocollo significano che per i bot non ci sono restrizioni all'esplorazione del dominio/sottodominio.
Altri codici di stato HTTP sono considerati come errori e pertanto vietano ai bot di esplorare le risorse del dominio/sottodominio.
Cliccando su una riga della tabella il relativo file robots.txt sarà selezionato e il suo contenuto mostrato nel visualizzatore.

Icona

La colonna icona fornisce un'indicazione sullo stato del file robots.txt.
Le icone usate sono:

• Il file robots.txt è stato scaricato con successo.
  I crawler si suppone obbediscaono alle sue direttive nell'accedere alle risorse del sito.
• Il file robots.txt non è presente per il dominio/sottodominio ("Autorità") corrente.
  Un file robots.txt mancante è uno stato valido, significa non sono poste limitazioni di accesso gli spider.
• Nel cercare di scaricare il file si è verificato un codice di stato HTTP inatteso.
  Secondo il protocollo, ciò dovrebbe inibire ai crawler l'accesso alle risorse del dominio/sottodominio ("Autorità").

Autorità

Il dominio principale o il sottodominio dove il file robots.txt è stato trovato.
L'accesso da parte di bot a ogni autorità è regolato dal file robots.txt che questa contiene.

Autorità

Il dominio principale o il sottodominio selezionato, dove il file robots.txt è stato trovato.
L'accesso da parte di bot alle risorse dell'autorità è regolato dal file robots.txt in essa contenuto.

Data Download

La data in cui il file robots.txt è stato scaricato.

Codice di Stato

Descrizione del codice di risposta HTTP ricevuto dal web server in seguito alla richiesta del file robots.txt.

Visualizzatore

Mostra il testo estratto dal file robots.txt selezionato.