{"id":31157,"date":"2023-06-12T12:01:52","date_gmt":"2023-06-12T12:01:52","guid":{"rendered":"https:\/\/seo.london\/?p=31157"},"modified":"2023-06-29T16:47:23","modified_gmt":"2023-06-29T16:47:23","slug":"come-bloccare-i-bot-con-il-robots-txt","status":"publish","type":"post","link":"https:\/\/seo.london\/it\/come-bloccare-i-bot-con-il-robots-txt\/","title":{"rendered":"Come bloccare i bot con Robots.txt?"},"content":{"rendered":"<p class=\"wp-block-paragraph\">Per un osservatore non informato, un robot che si aggira per il vostro sito web potrebbe sembrare qualcosa uscito da un film di fantascienza. Che ci crediate o no, \u00e8 lontano dalla finzione e pi\u00f9 vicino alla realt\u00e0 di quanto possiate pensare! Per chiunque si trovi a navigare nel terreno della propriet\u00e0 e della manutenzione di siti web, capire come i bot interagiscono con i nostri spazi online \u00e8 fondamentale. Altrettanto essenziale \u00e8 avere la capacit\u00e0 di regolare questa interazione. Questa esigenza ci introduce a un pratico strumento: <a href=\"https:\/\/seo.london\/it\/come-utilizzare-il-file-robots-txt-nel-seo\/\">robot<\/a>.txt. In questa versione completa <a href=\"https:\/\/seo.london\/it\/what-is-cornerstone-contenuto\/\">guida<\/a>, decodificheremo <a href=\"https:\/\/seo.london\/it\/link-building-come-cosa-fare-non-fare\/\">cosa<\/a> \"Come bloccare i bot robots txt\" e perch\u00e9 \u00e8 importante nell'era digitale di oggi.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"h-what-is-a-robots-txt-file\"><span class=\"ez-toc-section\" id=\"what-is-a-robotstxt-file\"><\/span>Che cos'\u00e8 un file Robots.txt?<span class=\"ez-toc-section-end\"><\/span><\/h2><div id=\"ez-toc-container\" class=\"ez-toc-v2_0_69_1 counter-hierarchy ez-toc-counter ez-toc-grey ez-toc-container-direction\">\n<div class=\"ez-toc-title-container\">\n<p class=\"ez-toc-title\" style=\"cursor:inherit\">Tabella dei contenuti<\/p>\n<span class=\"ez-toc-title-toggle\"><a href=\"#\" class=\"ez-toc-pull-right ez-toc-btn ez-toc-btn-xs ez-toc-btn-default ez-toc-toggle\" aria-label=\"Allinea la tabella dei contenuti\"><span class=\"ez-toc-js-icon-con\"><span class=\"\"><span class=\"eztoc-hide\" style=\"display:none;\">Toggle<\/span><span class=\"ez-toc-icon-toggle-span\"><svg style=\"fill: #000000;color:#000000\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" class=\"list-377408\" width=\"20px\" height=\"20px\" viewbox=\"0 0 24 24\" fill=\"none\"><path d=\"M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z\" fill=\"currentColor\"><\/path><\/svg><svg style=\"fill: #000000;color:#000000\" class=\"arrow-unsorted-368013\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"10px\" height=\"10px\" viewbox=\"0 0 24 24\" version=\"1.2\" baseprofile=\"tiny\"><path d=\"M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z\"\/><\/svg><\/span><\/span><\/span><\/a><\/span><\/div>\n<nav><ul class='ez-toc-list ez-toc-list-level-1 eztoc-toggle-hide-by-default' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/seo.london\/it\/come-bloccare-i-bot-con-il-robots-txt\/#what-is-a-robotstxt-file\" title=\"Che cos&#039;\u00e8 un file Robots.txt?\">Che cos'\u00e8 un file Robots.txt?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-2\" href=\"https:\/\/seo.london\/it\/come-bloccare-i-bot-con-il-robots-txt\/#technical-robotstxt-syntax\" title=\"Sintassi tecnica del file Robots.txt\">Sintassi tecnica del file Robots.txt<\/a><ul class='ez-toc-list-level-3' ><li class='ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-3\" href=\"https:\/\/seo.london\/it\/come-bloccare-i-bot-con-il-robots-txt\/#pattern-matching\" title=\"Corrispondenza dei modelli\">Corrispondenza dei modelli<\/a><\/li><\/ul><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-4\" href=\"https:\/\/seo.london\/it\/come-bloccare-i-bot-con-il-robots-txt\/#checking-if-you-have-a-robotstxt-file\" title=\"Controllare se si dispone di un file robots.txt\">Controllare se si dispone di un file robots.txt<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-5\" href=\"https:\/\/seo.london\/it\/come-bloccare-i-bot-con-il-robots-txt\/#how-to-create-a-robotstxt-file\" title=\"Come creare un file Robots.txt\">Come creare un file Robots.txt<\/a><ul class='ez-toc-list-level-3' ><li class='ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-6\" href=\"https:\/\/seo.london\/it\/come-bloccare-i-bot-con-il-robots-txt\/#understanding-the-components-of-robotstxt\" title=\"Comprendere i componenti del file Robots.txt\">Comprendere i componenti del file Robots.txt<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-7\" href=\"https:\/\/seo.london\/it\/come-bloccare-i-bot-con-il-robots-txt\/#fresh-file-generation\" title=\"Generazione di file freschi\">Generazione di file freschi<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-8\" href=\"https:\/\/seo.london\/it\/come-bloccare-i-bot-con-il-robots-txt\/#uploading-your-file\" title=\"Caricamento del file\">Caricamento del file<\/a><\/li><\/ul><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-9\" href=\"https:\/\/seo.london\/it\/come-bloccare-i-bot-con-il-robots-txt\/#blocking-specific-bots-and-filesfolders\" title=\"Blocco di bot e file\/cartelle specifici\">Blocco di bot e file\/cartelle specifici<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-10\" href=\"https:\/\/seo.london\/it\/come-bloccare-i-bot-con-il-robots-txt\/#robotstxt-vs-meta-robots-vs-x-robots\" title=\"Robots.txt vs Meta Robots vs X-Robots\">Robots.txt vs Meta Robots vs X-Robots<\/a><ul class='ez-toc-list-level-3' ><li class='ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-11\" href=\"https:\/\/seo.london\/it\/come-bloccare-i-bot-con-il-robots-txt\/#the-robotstxt-file\" title=\"Il file Robots.txt\">Il file Robots.txt<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-12\" href=\"https:\/\/seo.london\/it\/come-bloccare-i-bot-con-il-robots-txt\/#what-are-meta-robots-tags\" title=\"Cosa sono i tag Meta Robots?\">Cosa sono i tag Meta Robots?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-13\" href=\"https:\/\/seo.london\/it\/come-bloccare-i-bot-con-il-robots-txt\/#how-do-x-robots-tags-work\" title=\"Come funzionano i tag X-Robots?\">Come funzionano i tag X-Robots?<\/a><\/li><\/ul><\/li><\/ul><\/nav><\/div>\n\n\n\n\n<p class=\"wp-block-paragraph\">Il file robots.txt \u00e8 essenzialmente il guardiano del vostro sito web. Permette di controllare <a href=\"https:\/\/seo.london\/it\/what-is-cornerstone-contenuto\/\">che<\/a> Le parti del vostro sito sono disponibili per l'esplorazione da parte dei bot, come ad esempio il sito di Google. <a href=\"https:\/\/seo.london\/it\/come-effettuare-una-ricerca-avanzata-in-google\/\">cerca<\/a> e quali dovrebbero essere vietati. Funzionando come parte del Robot Exclusion Standard (uno standard non ufficiale utilizzato dai siti), istruisce i robot web sulle azioni consentite quando visitano il vostro sito web.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Questo umile file di testo dice molto sulle vostre preferenze di accessibilit\u00e0 alle pagine. Avete directory o pagine particolari che volete tenere lontane dagli occhi indiscreti dei robot? Il file robots.txt \u00e8 la soluzione giusta! Il suo contenuto stabilisce in modo semplice le direttive - istruzioni specifiche fornite ai web crawler - che consentono di gestire in modo pi\u00f9 efficace l'accesso al sito. Grazie a questa capacit\u00e0 di gestione, \u00e8 possibile garantire una corretta presentazione del sito. <a href=\"https:\/\/seo.london\/it\/servizi-seo-di-content-marketing\/\">contenuto<\/a> Le ricerche sono pi\u00f9 facili e allo stesso tempo proteggono le aree sensibili da un'esposizione accidentale.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">In definitiva, imparare a circoscrivere porzioni della nostra rete cibernetica <a href=\"https:\/\/seo.london\/it\/come-ottenere-piu-domini-di-riferimento\/\">domini<\/a> In questo modo, noi webmaster siamo in grado di gestire meglio la presenza e l'influenza dei bot all'interno delle nostre piattaforme, e questo \u00e8 il motivo per cui ci concentriamo oggi.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"h-technical-robots-txt-syntax\"><span class=\"ez-toc-section\" id=\"technical-robotstxt-syntax\"><\/span>Sintassi tecnica del file Robots.txt<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">La sintassi di un file robots.txt \u00e8 essenzialmente la lingua e la grammatica di un file robots.txt. <a href=\"https:\/\/seo.london\/it\/formato-e-struttura-dellarticolo\/\">struttura<\/a> utilizzato per creare le sue direttive. \u00c8 fondamentale capire come sfruttare correttamente questa sintassi possa aiutare a imparare a bloccare i bot usando il robots txt.<\/p>\n\n\n\n<ol class=\"wp-block-list\" type=\"1\" start=\"1\">\n<li><strong>User-agent:<\/strong> La direttiva user-agent indica il tipo di bot con cui si vuole comunicare, come ad esempio Googlebot per Google o BingBot per <a href=\"https:\/\/seo.london\/it\/il-sito-non-e-indicizzato-nella-ricerca-di-bings\/\">Bing<\/a>. Iniziare il set di direttive con \"User-agent: *\" implica che tutti i web crawler debbano seguire queste istruzioni.<\/li>\n\n\n\n<li><strong>Disallow:<\/strong> Questa direttiva invia un messaggio diretto: evitare il percorso descritto subito dopo. Ad esempio, se si scrive \"Disallow: \/images\/\", si sta istruendo qualsiasi bot che lo legge a non <a href=\"https:\/\/seo.london\/it\/jetoctopus\/\">strisciare<\/a> il tuo sito web <a href=\"https:\/\/seo.london\/it\/google-non-indicizza-le-immagini\/\">immagini<\/a> directory.<\/li>\n\n\n\n<li><strong>Consentite:<\/strong> Al contrario di disallow, all'interno delle directory \"non consentite\", un'istruzione allow concede il permesso di accesso a determinate sottodirectory o file.<\/li>\n<\/ol>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"h-pattern-matching\"><span class=\"ez-toc-section\" id=\"pattern-matching\"><\/span>Corrispondenza dei modelli<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Un elemento intricato ma potente della sintassi del file robots.txt \u00e8 il pattern-matching. Oltre a specificare direttamente i percorsi, il pattern-matching consente di articolare istruzioni complesse su come bloccare i bot in un file robots txt tramite semplici simboli.<\/p>\n\n\n\n<ol class=\"wp-block-list\" type=\"1\" start=\"1\">\n<li>Quando si impara la corrispondenza dei pattern, ci si concentra principalmente su due caratteri essenziali: '*' (asterisco) e '$' (segno del dollaro). L'asterisco funge da carattere jolly, mentre il segno del dollaro simboleggia la fine di un URL.<\/li>\n\n\n\n<li>L'uso di un asterisco all'interno di un'istruzione di disconoscimento indica qualsiasi sequenza di stringhe ivi presente. Ad esempio, \"Disallow: \/esempio\" impedir\u00e0 ai web crawler di accedere a qualsiasi pagina del vostro sito web in cui l'URL contenga \"esempio\".<\/li>\n\n\n\n<li>Al contrario, aggiungendo \"$\" alla fine dei diversi termini si specifica che solo <a href=\"https:\/\/seo.london\/it\/urli-seo-friendly\/\">URL<\/a> che si concludono in questo modo sono vietati <a href=\"https:\/\/seo.london\/it\/qual-e-la-differenza-tra-crawling-e-indicizzazione-nel-settore-seo\/\">strisciando<\/a> da parte dei bot. Un avviso che recita \"Disallow: \/*esempio$\" limita l'accesso solo alle pagine il cui URL termina esattamente con \"esempio\".<\/li>\n<\/ol>\n\n\n\n<p class=\"wp-block-paragraph\">Ricordate per\u00f2 che non tutti gli spider capiscono o seguono questi schemi - in particolare molti di quelli orientati allo spam - quindi tenetene conto mentre costruite le direttive e discernete i modi efficienti per bloccare i bot usando i file robots txt in modo efficace.\"\"\"\"<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">La gestione del file robots.txt pu\u00f2 sembrare scoraggiante, ma \u00e8 un processo relativamente semplice. Questo piccolo ma essenziale documento si trova in una posizione precisa: la directory principale del vostro sito web.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">La cosa fondamentale da ricordare \u00e8 che questo semplice file di testo deve essere facilmente individuabile dai crawler. La \"radice\" o la directory pi\u00f9 in alto \u00e8 in genere quella in cui i bot dei motori di ricerca vanno per primi. <a href=\"https:\/\/seo.london\/it\/le-landing-page-sono-dannose-per-la-seo\/\">atterraggio<\/a> sul vostro <a href=\"https:\/\/seo.london\/it\/pro-e-contro-del-dominio-exact-match\/\">dominio<\/a>. Pertanto, l'inserimento del file robots.txt fornisce istruzioni immediate e chiare su quali parti del sito devono essere accessibili.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Chi non ha familiarit\u00e0 con il linguaggio del web potrebbe chiedersi cosa si intenda esattamente quando si parla di directory \"radice\". In sostanza, la directory principale del vostro sito web \u00e8 simile a un tronco d'albero da cui si dipartono tutte le altre directory: costituisce la spina dorsale della vostra presenza online. Ad esempio, se l'URL del vostro sito web \u00e8 www.example.com, la radice sar\u00e0 \/ (lo slash dopo .com). Pertanto, www.example.com\/robots.txt indica il suo posto all'interno della directory principale.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Al contrario, posizionarlo sotto un altro <a href=\"https:\/\/seo.london\/it\/blog-su-sottodominio-o-sottodirectory\/\">sottodirectory<\/a> come \/blog\/robots.txt non avr\u00e0 l'effetto desiderato, poich\u00e9 i bot non si prenderanno il disturbo di cercare cos\u00ec a fondo nel vostro sito prima di ottenere istruzioni.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">In particolare, un posizionamento non corretto potrebbe portare a un crawling e a un'indicizzazione inefficienti, due fattori fondamentali per <a href=\"https:\/\/seo.london\/it\/\">SEO<\/a> perch\u00e9 i motori di ricerca non sapranno dove \u00e8 permesso o vietato esplorare prontamente quando arriveranno alla \"porta di casa\".<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Assicuratevi quindi di avere ben chiaro il posizionamento quando cercate di capire come bloccare i bot usando i file robots txt in modo efficiente. Il posizionamento gioca davvero un ruolo fondamentale in questa impostazione tecnica SEO.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Nel comprendere l'importanza e il funzionamento dei file robots.txt, rimane una domanda pertinente: perch\u00e9 \u00e8 necessario un file robots.txt?<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">In primo luogo, un file robots.txt fornisce indicazioni ai crawler web su come interagire con il vostro sito web. Quando i motori di ricerca si avvicinano al vostro sito per indicizzarlo, entrano in gioco le istruzioni contenute nel file robots.txt. Esse guidano i bot di ricerca come Googlebot o Bingbot di Bing nei loro percorsi di navigazione attraverso il vostro dominio.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">In secondo luogo, un file robots.txt \u00e8 essenziale per gestire l'accesso a sezioni private del vostro sito che sono sensibili o in fase di sviluppo. \u00c8 possibile istruire in modo specifico i bot da <a href=\"https:\/\/seo.london\/it\/come-far-si-che-google-indicizzi-il-vostro-sito-piu-velocemente\/\">indicizzazione<\/a> tali contenuti. In questo modo si garantisce che le aree indesiderate rimangano non indicizzate e non visibili al pubblico attraverso le pagine dei risultati dei motori di ricerca (SERP).<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Inoltre, sul web esistono innumerevoli bot di crawling, sia buoni che maligni. Se si stabilisce chi pu\u00f2 effettuare il crawling di cosa sul proprio sito attraverso specifici comandi \"User-agent\" nel file robots.txt, si mantengono alti gli standard di protezione contro potenziali minacce che visitano il sito con il pretesto di un'innocente attivit\u00e0 di crawling.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Infine, senza le restrizioni fornite da un file Robots txt, alcuni bot potrebbero sovraccaricare i server con richieste che portano a un rallentamento degli utenti. <a href=\"https:\/\/seo.london\/it\/cosa-sono-i-segnali-di-esperienza-della-pagina\/\">esperienza<\/a> o attacchi DDoS (Distributed Denial of Service). Si tratta quindi di uno strumento importante per garantire un'ottima <a href=\"https:\/\/seo.london\/it\/rendering-lato-server-vs-lato-client\/\">server<\/a> <a href=\"https:\/\/seo.london\/it\/base-di-conoscenza\/come-monitorare-le-prestazioni-seo\/\">performance<\/a>.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Mentre iniziate a familiarizzare con la strutturazione del vostro file Robots txt pi\u00f9 avanti in questo articolo, ricordate questo concetto chiave: Il controllo sulle interazioni dei crawler con il vostro sito web \u00e8 il motivo per cui un file Robots txt specifico \u00e8 fondamentale per proteggere e ottimizzare la presenza online di qualsiasi dominio.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"h-checking-if-you-have-a-robots-txt-file\"><span class=\"ez-toc-section\" id=\"checking-if-you-have-a-robotstxt-file\"><\/span>Controllare se si dispone di un file robots.txt<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Vediamo ora come verificare se il vostro sito web ha gi\u00e0 un file \"robots.txt\". In genere, questo file si trova nella directory principale del sito.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Per verificarne la presenza, vi consiglio i seguenti semplici passaggi:<\/p>\n\n\n\n<ol class=\"wp-block-list\" type=\"1\" start=\"1\">\n<li>Aprite il vostro browser web preferito.<\/li>\n\n\n\n<li>Nel <a href=\"https:\/\/seo.london\/it\/what-is-cornerstone-contenuto\/\">indirizzo<\/a> bar al <a href=\"https:\/\/seo.london\/it\/agenzia-seo-londra\/\">top<\/a>Digitare yoursitename.com\/robots.txt; sostituire \"yoursitename.com\" con il nome di dominio effettivo.<\/li>\n<\/ol>\n\n\n\n<p class=\"wp-block-paragraph\">Sullo schermo dovrebbe essere visualizzato il contenuto di questo file \"robots.txt\", poco appariscente ma influente, se esiste sul vostro sito. Al contrario, un messaggio di errore simile a \"pagina 404 non trovata\" o \"file non trovato\" indicherebbe che al momento non esiste alcun file robots.txt.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Ricordate che l'implementazione corretta di un \"come bloccare i bot robots txt <a href=\"https:\/\/seo.london\/it\/strategia-seo-londra\/\">strategia<\/a> influisce in modo significativo sull'ottimizzazione per i motori di ricerca (SEO). Pertanto, \u00e8 fondamentale rimanere informati sul fatto che ne abbiate uno o meno.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">In sintesi (anche se non \u00e8 obbligatorio), la comprensione e il corretto utilizzo di un file \"robots.txt\" sono parte integrante della gestione di siti web di successo. Se dopo aver eseguito questi passaggi per verificarne l'esistenza non siete ancora sicuri, chiedete consiglio a un esperto, perch\u00e9 potrebbe trattarsi di una questione informatica pi\u00f9 avanzata. <a href=\"https:\/\/seo.london\/it\/come-si-usa-il-knowledge-graph-di-google\/\">conoscenza<\/a> di quanto previsto.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Ricordate inoltre che l'assenza di \"robots.txt\" non \u00e8 necessariamente dannosa: significa semplicemente che i bot dei motori di ricerca hanno accesso illimitato a tutte le aree del vostro sito. Un controllo significativo su tale accesso diventa possibile una volta compreso \"come bloccare il robots.txt\" in modo efficace sui nostri siti!<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"h-how-to-create-a-robots-txt-file\"><span class=\"ez-toc-section\" id=\"how-to-create-a-robotstxt-file\"><\/span>Come creare un file Robots.txt<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">La creazione di un file robots.txt \u00e8 un passo essenziale per gestire l'interazione dei bot dei motori di ricerca con il vostro sito web. Vediamo come crearlo.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"h-understanding-the-components-of-robots-txt\"><span class=\"ez-toc-section\" id=\"understanding-the-components-of-robotstxt\"><\/span>Comprendere i componenti del file Robots.txt<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Un tipico file robots.txt contiene due componenti principali, tra cui le direttive User-agent e Disallow. L'User-agent si riferisce allo specifico web crawler, come Googlebot o Bingbot, a cui si vogliono indirizzare le istruzioni. D'altra parte, la direttiva Disallow elenca le pagine o le directory che non si vuole che certi bot effettuino il crawling. Per esempio:<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">User-agent: * Disallow: \/privato\/<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">In questo caso, a tutti i bot ('*' sta per tutti) viene impedito di accedere a qualsiasi cosa si trovi nella directory 'private'.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"h-fresh-file-generation\"><span class=\"ez-toc-section\" id=\"fresh-file-generation\"><\/span>Generazione di file freschi<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Passiamo ora alla generazione di questo codice. Avrete bisogno di un editor di testo semplice: Notepad andr\u00e0 benissimo. Gli elaboratori di testo come Microsoft Word non sono adatti a questo compito, a causa della loro tendenza a inserire caratteri di formattazione extra.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Per iniziare, create un nuovo documento e salvatelo come \"robots.txt\". Tenete presente che qui conta la maiuscola: assicuratevi che tutto sia in minuscolo. Successivamente, si procede alla creazione della sintassi in base alle sezioni che si intende bloccare. Ricordate che ogni regola deve stare sulla propria riga:<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">User-agent: * Disallow: \/<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Questa regola impedisce a tutti i bot di accedere a qualsiasi parte del sito (indicata con \"\/\"). Usatela con cautela!<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Il <a href=\"https:\/\/seo.london\/it\/cosa-sono-le-meta-parole-chiave\/\">parola chiave<\/a> Qui c'\u00e8 la specificit\u00e0; quando si impara a bloccare i bot i moduli robots txt sono strumenti versatili che consentono un controllo preciso sulle azioni dei bot.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"h-uploading-your-file\"><span class=\"ez-toc-section\" id=\"uploading-your-file\"><\/span>Caricamento del file<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Una volta creato, caricare il file robots.txt nella cartella principale del sito tramite FTP (File Transfer Protocol). In genere si trova nella stessa posizione delle cartelle wp-admin, wp-content e wp-includes.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Dopo aver completato con successo questi passaggi, gli utenti possono individuare il file Robots.txt aggiungendo \"\/robots.txt\" dopo il dominio principale, ad esempio www.example.com\/robots.txt. Ora avete imparato a creare un file robots.txt!<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Ricordate per\u00f2 che, sebbene sia efficace per indirizzare i crawler onesti, la cortesia impone solo la conformit\u00e0; i bot distruttivi pi\u00f9 scaltri possono scegliere di ignorarli del tutto.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Con queste nozioni ben salde sotto la cintura, tenete presente che la manutenzione \u00e8 necessaria: il monitoraggio periodico garantisce un'efficacia costante, quindi dedicatevi a ispezioni regolari. Buona codifica!<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"h-blocking-specific-bots-and-files-folders\"><span class=\"ez-toc-section\" id=\"blocking-specific-bots-and-filesfolders\"><\/span>Blocco di bot e file\/cartelle specifici<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Quando si approfondisce l'argomento - come bloccare i bot robots txt - \u00e8 importante capire che questo compito non riguarda sempre la limitazione di tutti i crawler. Spesso \u00e8 possibile che si voglia specificare solo alcuni bot indesiderati o limitare l'accesso solo a determinati file e directory. In questi scenari sfumati, una maggiore conoscenza della gestione del file robots.txt pu\u00f2 fare la differenza.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">L'unit\u00e0 nella diversit\u00e0 \u00e8 una tattica molto diffusa e utilizzata da vari servizi online. Diversi tipi di web crawler sono in circolazione nel mondo. <a href=\"https:\/\/seo.london\/it\/seo-per-le-aziende-it\/\">internet<\/a> con comportamenti e capacit\u00e0 diverse. Mentre alcuni spider sono fondamentali per l'indicizzazione dei contenuti, come Googlebot, altri, come i bot di spam, potrebbero danneggiare le prestazioni del vostro sito.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Questi bot meno costruttivi possono essere bloccati in due modi: in modo stretto o ampio. L'approccio ristretto implica il blocco di un bot specifico dall'intero sito web, mentre quello pi\u00f9 ampio prevede il blocco di ogni bot da una particolare cartella o file.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Prima di procedere, vediamo come specificare un user-agent (cio\u00e8 un bot) all'interno del file robots.txt. Ogni regola di questo documento deve iniziare specificando l'\"User-agent\", seguito da due punti (:), e poi delineando il nome dell'agente. Lasciare un asterisco (*) implica che qualsiasi bot visiti la pagina. Si pu\u00f2 invece scegliere di digitare nomi particolari per alcuni bot.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Seguono le direttive \"Disallow\" o \"Allow\", che indicano le azioni consentite per gli utenti-agenti identificati in aree specifiche del vostro sito web.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Ricordate che l'importanza non sta solo nel sapere come bloccare i bot txt, ma anche perch\u00e9, concentrandosi sia sulla prevenzione dello spreco di risorse che sulla protezione da attivit\u00e0 dannose da parte di agenti compromessi.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Per completare il discorso sulle specifiche di blocco, ricordate che l'affidabilit\u00e0 gioca un ruolo importante quando ci si affida al rispetto di queste regole: i motori di ricerca tradizionali in genere si attengono rigorosamente; sfortunatamente, gli scraper-bot meno noti raramente si attengono correttamente. Non affidatevi solo al robots.txt se state cercando di proteggere i dati sensibili!<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"h-robots-txt-vs-meta-robots-vs-x-robots\"><span class=\"ez-toc-section\" id=\"robotstxt-vs-meta-robots-vs-x-robots\"><\/span>Robots.txt vs Meta Robots vs X-Robots<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Sapere come bloccare i bot con il robots txt \u00e8 fondamentale, ma non \u00e8 l'unico metodo per controllare il comportamento dei bot sul vostro sito web. Esistono anche <a href=\"https:\/\/seo.london\/it\/meta-description-tag-title-h1-sulla-pagina-dei-contatti\/\">meta<\/a> I tag robots e x-robots sono altri due mezzi efficaci per fornire ai bot online istruzioni sul vostro sito. Se vi state chiedendo quale utilizzare o che cosa distingue gli uni dagli altri, lasciate che ve lo spieghi.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"h-the-robots-txt-file\"><span class=\"ez-toc-section\" id=\"the-robotstxt-file\"><\/span>Il file Robots.txt<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Come abbiamo gi\u00e0 detto, il file robots.txt \u00e8 la guida principale del webmaster per indirizzare i motori di ricerca verso o lontano da parti specifiche di un sito web. Questo piccolo file di testo si trova a livello della directory principale e di solito fornisce direttive generali per tutti gli user-agent bot, a meno che non ne vengano indicati di specifici.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">In sostanza, il file robots.txt dice ai bot: \"Queste aree sono off-limits\". Tuttavia, \u00e8 bene sapere che non tutti gli spider rispettano queste regole.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"h-what-are-meta-robots-tags\"><span class=\"ez-toc-section\" id=\"what-are-meta-robots-tags\"><\/span>Cosa sono i tag Meta Robots?<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">I tag Meta Robot offrono un controllo pi\u00f9 granulare rispetto ai tag <a href=\"https:\/\/seo.london\/it\/seo-globale\/\">ampio<\/a> linee guida fornite da un file robots.txt. Questi attributi HTML istruiscono i bot dei motori di ricerca sull'indicizzazione di singole pagine piuttosto che di intere directory o siti. Indicano ai motori di ricerca se indicizzare una pagina (\"noindex\"), seguire i suoi link (\"nofollow\"), \"none\" (che implica il noindex e il nofollow). <a href=\"https:\/\/seo.london\/it\/devo-usare-lattributo-nofollow-per-i-link-interni\/\">nofollow<\/a>) tra gli altri comandi. I meta-tag robot comunicano direttamente con i crawler dei motori di ricerca, pagina per pagina, offrendo una vera versatilit\u00e0 nella gestione del comportamento dei crawler.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"h-how-do-x-robots-tags-work\"><span class=\"ez-toc-section\" id=\"how-do-x-robots-tags-work\"><\/span>Come funzionano i tag X-Robots?<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">I tag x-robots condividono alcune somiglianze con i tag meta robots, in quanto forniscono anch'essi istruzioni dettagliate a livello di pagina. Tuttavia, a differenza delle loro controparti che appaiono all'interno dei documenti HTML, i tag x-robot si trovano all'interno di <a href=\"https:\/\/seo.london\/it\/che-cose-il-contenuto-misto\/\">HTTP<\/a> intestazioni.  In particolare, questo posizionamento consente loro di funzionare anche per i file non HTML, come i PDF o le immagini. Come i tag meta-robot, tuttavia, le azioni dei tag x-robot vanno da \"noindex\", \"nofollow\" o anche \"nosnippet\", tra gli altri.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Quindi, mentre imparare a bloccare i bot utilizzando il robots txt \u00e8 una conoscenza preziosa per qualsiasi webmaster, comprendere i punti di forza e le applicazioni dei meta-robots e degli x-robots fornisce un insieme di strumenti ancora pi\u00f9 ampio quando si tratta di curare il rapporto del sito con i web crawler.<\/p>","protected":false},"excerpt":{"rendered":"<p>Per un osservatore non informato, un robot che si aggira per il vostro sito web potrebbe sembrare qualcosa uscito da un film di fantascienza. Che ci crediate o no, \u00e8 lontano dalla finzione e pi\u00f9 vicino alla realt\u00e0 di quanto possiate pensare! Per chiunque si trovi a navigare nel terreno della propriet\u00e0 e della manutenzione di siti web, capire come i bot interagiscono con i nostri spazi online \u00e8 fondamentale. [...]<\/p>","protected":false},"author":6,"featured_media":31181,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[14],"tags":[],"class_list":["post-31157","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-seo"],"acf":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO Premium plugin v20.9 (Yoast SEO v26.4) - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>How to Block Bots with Robots.txt? - SEO.London<\/title>\n<meta name=\"description\" content=\"A robots.txt file is essentially the gatekeeper of your website. It allows you to control which parts of your site are available for bot exploration\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/seo.london\/it\/come-bloccare-i-bot-con-il-robots-txt\/\" \/>\n<meta property=\"og:locale\" content=\"it_IT\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"How to Block Bots with Robots.txt?\" \/>\n<meta property=\"og:description\" content=\"For an uninformed observer, a robot wandering around your website might seem like something out of a sci-fi movie. Believe it or not, it&#039;s far from\" \/>\n<meta property=\"og:url\" content=\"https:\/\/seo.london\/it\/come-bloccare-i-bot-con-il-robots-txt\/\" \/>\n<meta property=\"og:site_name\" content=\"SEO.London\" \/>\n<meta property=\"article:published_time\" content=\"2023-06-12T12:01:52+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2023-06-29T16:47:23+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/seo.london\/wp-content\/uploads\/2023\/06\/How-to-Block-Bots-with-Robots.png\" \/>\n\t<meta property=\"og:image:width\" content=\"800\" \/>\n\t<meta property=\"og:image:height\" content=\"449\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"Lukasz Zelezny\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Scritto da\" \/>\n\t<meta name=\"twitter:data1\" content=\"Lukasz Zelezny\" \/>\n\t<meta name=\"twitter:label2\" content=\"Tempo di lettura stimato\" \/>\n\t<meta name=\"twitter:data2\" content=\"11 minuti\" \/>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"Come bloccare i bot con Robots.txt? - SEO.London","description":"Un file robots.txt \u00e8 essenzialmente il guardiano del vostro sito web. Permette di controllare quali parti del sito sono disponibili per l'esplorazione da parte dei bot.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/seo.london\/it\/come-bloccare-i-bot-con-il-robots-txt\/","og_locale":"it_IT","og_type":"article","og_title":"How to Block Bots with Robots.txt?","og_description":"For an uninformed observer, a robot wandering around your website might seem like something out of a sci-fi movie. Believe it or not, it's far from","og_url":"https:\/\/seo.london\/it\/come-bloccare-i-bot-con-il-robots-txt\/","og_site_name":"SEO.London","article_published_time":"2023-06-12T12:01:52+00:00","article_modified_time":"2023-06-29T16:47:23+00:00","og_image":[{"width":800,"height":449,"url":"https:\/\/seo.london\/wp-content\/uploads\/2023\/06\/How-to-Block-Bots-with-Robots.png","type":"image\/png"}],"author":"Lukasz Zelezny","twitter_card":"summary_large_image","twitter_misc":{"Scritto da":"Lukasz Zelezny","Tempo di lettura stimato":"11 minuti"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/seo.london\/fi\/how-to-block-bots-with-robots-txt\/","url":"https:\/\/seo.london\/how-to-block-bots-with-robots-txt\/","name":"Come bloccare i bot con Robots.txt? - SEO.London","isPartOf":{"@id":"https:\/\/seo.london\/fi\/#website"},"primaryImageOfPage":{"@id":"https:\/\/seo.london\/how-to-block-bots-with-robots-txt\/#primaryimage"},"image":{"@id":"https:\/\/seo.london\/how-to-block-bots-with-robots-txt\/#primaryimage"},"thumbnailUrl":"https:\/\/seo.london\/wp-content\/uploads\/2023\/06\/How-to-Block-Bots-with-Robots.png","datePublished":"2023-06-12T12:01:52+00:00","dateModified":"2023-06-29T16:47:23+00:00","author":{"@id":"https:\/\/seo.london\/fi\/#\/schema\/person\/a87f13cbf62c630a697ac094314f9e25"},"description":"Un file robots.txt \u00e8 essenzialmente il guardiano del vostro sito web. Permette di controllare quali parti del sito sono disponibili per l'esplorazione da parte dei bot.","breadcrumb":{"@id":"https:\/\/seo.london\/how-to-block-bots-with-robots-txt\/#breadcrumb"},"inLanguage":"it-IT","potentialAction":[{"@type":"ReadAction","target":["https:\/\/seo.london\/how-to-block-bots-with-robots-txt\/"]}]},{"@type":"ImageObject","inLanguage":"it-IT","@id":"https:\/\/seo.london\/how-to-block-bots-with-robots-txt\/#primaryimage","url":"https:\/\/seo.london\/wp-content\/uploads\/2023\/06\/How-to-Block-Bots-with-Robots.png","contentUrl":"https:\/\/seo.london\/wp-content\/uploads\/2023\/06\/How-to-Block-Bots-with-Robots.png","width":800,"height":449,"caption":"How to Block Bots with Robots.txt"},{"@type":"BreadcrumbList","@id":"https:\/\/seo.london\/how-to-block-bots-with-robots-txt\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/seo.london\/fr\/"},{"@type":"ListItem","position":2,"name":"How to Block Bots with Robots.txt?"}]},{"@type":"WebSite","@id":"https:\/\/seo.london\/fi\/#website","url":"https:\/\/seo.london\/fi\/","name":"SEO.London","description":"Consulente ed esperto SEO a Londra, Regno Unito - Lukasz Zelezny","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/seo.london\/fi\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"it-IT"},{"@type":"Person","@id":"https:\/\/seo.london\/fi\/#\/schema\/person\/a87f13cbf62c630a697ac094314f9e25","name":"Lukasz Zelezny","image":{"@type":"ImageObject","inLanguage":"it-IT","@id":"https:\/\/seo.london\/fi\/#\/schema\/person\/image\/","url":"https:\/\/secure.gravatar.com\/avatar\/55d18e132c3d0d63f7cd047da2d2a7f805a3392a84a615be5d6dca867281758e?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/55d18e132c3d0d63f7cd047da2d2a7f805a3392a84a615be5d6dca867281758e?s=96&d=mm&r=g","caption":"Lukasz Zelezny"},"description":"#1 Consulente SEO che vive a Londra e che ha lavorato con aziende come Zoopla, uSwitch, Mashable, Thomson Reuters e molte altre. Assumi Lukasz Zelezny (MCIM, F IDM)","url":"https:\/\/seo.london\/it\/author\/lukasz-zelezny\/"}]}},"_links":{"self":[{"href":"https:\/\/seo.london\/it\/wp-json\/wp\/v2\/posts\/31157","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/seo.london\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/seo.london\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/seo.london\/it\/wp-json\/wp\/v2\/users\/6"}],"replies":[{"embeddable":true,"href":"https:\/\/seo.london\/it\/wp-json\/wp\/v2\/comments?post=31157"}],"version-history":[{"count":0,"href":"https:\/\/seo.london\/it\/wp-json\/wp\/v2\/posts\/31157\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/seo.london\/it\/wp-json\/wp\/v2\/media\/31181"}],"wp:attachment":[{"href":"https:\/\/seo.london\/it\/wp-json\/wp\/v2\/media?parent=31157"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/seo.london\/it\/wp-json\/wp\/v2\/categories?post=31157"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/seo.london\/it\/wp-json\/wp\/v2\/tags?post=31157"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}