Come configurare robots.txt per il tuo sito web
Un file robots.txt può essere utilizzato per consentire o impedire a diversi bot di visitare un sito. Indica a un motore di ricerca di specificare un modo per interagire con l’indicizzazione dei contenuti del tuo sito web.
In un file robots.txt, si utilizzano le seguenti sintassi:
User-agent: *” indica che è applicabile a tutti i robot.
“Disallow: /” indica al robot di non visitare nessuna pagina del sito.
Allow: / indicherà a robots.txt di controllare tutto il contenuto.
Disallow: /sample-directory/ disabiliterà il robot dal visitare la directory elencata.
Disallow: /private_file.html bloccherà una pagina specifica
Disallow: /images/example.jpg bloccherà immagini specifiche
Disallow: /*.gif$ bloccherà l’accesso al tipo di file .gif, qui possono essere aggiunti altri tipi di estensioni simili.
Nel tuo ultimo file robots.txt, puoi specificare la regola della mappa del sito. Se lo desideri, ad esempio, http://www.example.com/sitemap.xml.gz
Questo articolo di supporto spiegherà come puoi implementare un file robots.txt sul tuo server Cloudways.
Come configurare robots.txt per il tuo sito web
Passo 1: Accedi al Server tramite SSH
Una volta connesso a SSH/SFTP, puoi caricare il tuo file robots.txt esistente sul tuo public_html della tua cartella dell’applicazione.
Passo 2: Crea un file robots.txt
Se il file robots.txt non viene caricato o non è presente in quella posizione, puoi creare un nuovo file robots.txt nella webroot della tua directory dell’applicazione digitando il seguente comando:
touch robots.txt
Adesso apri il file digitando il comando iv e inserisci i dati come descritto nella schermata seguente.
vi robots.txt
Puoi modificare i dati inseriti secondo necessità e salvare il file, premendo Esc e poi digitando:
:wq
Aggiunta di un file robots.txt tramite SFTP
Puoi anche utilizzare un editor di testo compatibile con windows, come Notepad per creare un file robots.txt e poi caricarlo sul public_html della tua cartella dell’applicazione.
Questo è tutto! Ecco come configurare robots.txt per il tuo sito web
A cura del team EasyCloud
