{"id":31157,"date":"2023-06-12T12:01:52","date_gmt":"2023-06-12T12:01:52","guid":{"rendered":"https:\/\/seo.london\/?p=31157"},"modified":"2023-06-29T16:47:23","modified_gmt":"2023-06-29T16:47:23","slug":"miten-estaa-botit-robots-txtlla","status":"publish","type":"post","link":"https:\/\/seo.london\/fi\/miten-estaa-botit-robots-txtlla\/","title":{"rendered":"Kuinka est\u00e4\u00e4 botit Robots.txt:ll\u00e4?"},"content":{"rendered":"<p>Asiasta tiet\u00e4m\u00e4tt\u00f6m\u00e4n tarkkailijan silmiss\u00e4 sivustollasi vaeltava robotti saattaa vaikuttaa scifi-elokuvalta. Usko tai \u00e4l\u00e4, se on kaukana fiktiosta ja l\u00e4hemp\u00e4n\u00e4 todellisuutta kuin luuletkaan! Kaikille, jotka liikkuvat verkkosivustojen omistamisen ja yll\u00e4pidon maastossa, on ratkaisevan t\u00e4rke\u00e4\u00e4 ymm\u00e4rt\u00e4\u00e4, miten robotit ovat vuorovaikutuksessa verkkotilojemme kanssa. Yht\u00e4 olennaista on kyky s\u00e4\u00e4dell\u00e4 t\u00e4t\u00e4 vuorovaikutusta. T\u00e4m\u00e4 tarve esittelee meille k\u00e4tev\u00e4n ty\u00f6kalun: <a href=\"https:\/\/seo.london\/fi\/miten-kayttaa-robots-txt-tiedoston-seo\/\">robotit<\/a>.txt. T\u00e4ss\u00e4 kattavassa <a href=\"https:\/\/seo.london\/fi\/oppia-seo\/\">opas<\/a>, me puramme <a href=\"https:\/\/seo.london\/fi\/linkin-rakentaminen-miten-mita-tehda-donts\/\">mit\u00e4<\/a> \"miten est\u00e4\u00e4 bots robots txt\" tarkoittaa ja miksi sill\u00e4 on merkityst\u00e4 nykyp\u00e4iv\u00e4n digitaalisella aikakaudella.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"h-what-is-a-robots-txt-file\"><span class=\"ez-toc-section\" id=\"what-is-a-robotstxt-file\"><\/span>Mik\u00e4 on Robots.txt-tiedosto?<span class=\"ez-toc-section-end\"><\/span><\/h2><div id=\"ez-toc-container\" class=\"ez-toc-v2_0_69_1 counter-hierarchy ez-toc-counter ez-toc-grey ez-toc-container-direction\">\n<div class=\"ez-toc-title-container\">\n<p class=\"ez-toc-title\" style=\"cursor:inherit\">Sis\u00e4llysluettelo<\/p>\n<span class=\"ez-toc-title-toggle\"><a href=\"#\" class=\"ez-toc-pull-right ez-toc-btn ez-toc-btn-xs ez-toc-btn-default ez-toc-toggle\" aria-label=\"Sis\u00e4llysluettelon vaihtaminen\"><span class=\"ez-toc-js-icon-con\"><span class=\"\"><span class=\"eztoc-hide\" style=\"display:none;\">Toggle<\/span><span class=\"ez-toc-icon-toggle-span\"><svg style=\"fill: #000000;color:#000000\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" class=\"list-377408\" width=\"20px\" height=\"20px\" viewbox=\"0 0 24 24\" fill=\"none\"><path d=\"M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z\" fill=\"currentColor\"><\/path><\/svg><svg style=\"fill: #000000;color:#000000\" class=\"arrow-unsorted-368013\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"10px\" height=\"10px\" viewbox=\"0 0 24 24\" version=\"1.2\" baseprofile=\"tiny\"><path d=\"M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z\"\/><\/svg><\/span><\/span><\/span><\/a><\/span><\/div>\n<nav><ul class='ez-toc-list ez-toc-list-level-1 eztoc-toggle-hide-by-default' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/seo.london\/fi\/miten-estaa-botit-robots-txtlla\/#what-is-a-robotstxt-file\" title=\"Mik\u00e4 on Robots.txt-tiedosto?\">Mik\u00e4 on Robots.txt-tiedosto?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-2\" href=\"https:\/\/seo.london\/fi\/miten-estaa-botit-robots-txtlla\/#technical-robotstxt-syntax\" title=\"Tekninen Robots.txt-syntaksi\">Tekninen Robots.txt-syntaksi<\/a><ul class='ez-toc-list-level-3' ><li class='ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-3\" href=\"https:\/\/seo.london\/fi\/miten-estaa-botit-robots-txtlla\/#pattern-matching\" title=\"Pattern-Matching\">Pattern-Matching<\/a><\/li><\/ul><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-4\" href=\"https:\/\/seo.london\/fi\/miten-estaa-botit-robots-txtlla\/#checking-if-you-have-a-robotstxt-file\" title=\"Tarkistetaan, onko sinulla robots.txt-tiedosto\">Tarkistetaan, onko sinulla robots.txt-tiedosto<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-5\" href=\"https:\/\/seo.london\/fi\/miten-estaa-botit-robots-txtlla\/#how-to-create-a-robotstxt-file\" title=\"Robots.txt-tiedoston luominen\">Robots.txt-tiedoston luominen<\/a><ul class='ez-toc-list-level-3' ><li class='ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-6\" href=\"https:\/\/seo.london\/fi\/miten-estaa-botit-robots-txtlla\/#understanding-the-components-of-robotstxt\" title=\"Robots.txt-tiedoston osien ymm\u00e4rt\u00e4minen\">Robots.txt-tiedoston osien ymm\u00e4rt\u00e4minen<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-7\" href=\"https:\/\/seo.london\/fi\/miten-estaa-botit-robots-txtlla\/#fresh-file-generation\" title=\"Tuoreen tiedoston tuottaminen\">Tuoreen tiedoston tuottaminen<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-8\" href=\"https:\/\/seo.london\/fi\/miten-estaa-botit-robots-txtlla\/#uploading-your-file\" title=\"Tiedoston lataaminen\">Tiedoston lataaminen<\/a><\/li><\/ul><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-9\" href=\"https:\/\/seo.london\/fi\/miten-estaa-botit-robots-txtlla\/#blocking-specific-bots-and-filesfolders\" title=\"Tiettyjen bottien ja tiedostojen\/kansioiden est\u00e4minen\">Tiettyjen bottien ja tiedostojen\/kansioiden est\u00e4minen<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-10\" href=\"https:\/\/seo.london\/fi\/miten-estaa-botit-robots-txtlla\/#robotstxt-vs-meta-robots-vs-x-robots\" title=\"Robots.txt vs. Meta Robots vs. X-Robotit\">Robots.txt vs. Meta Robots vs. X-Robotit<\/a><ul class='ez-toc-list-level-3' ><li class='ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-11\" href=\"https:\/\/seo.london\/fi\/miten-estaa-botit-robots-txtlla\/#the-robotstxt-file\" title=\"Robots.txt-tiedosto\">Robots.txt-tiedosto<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-12\" href=\"https:\/\/seo.london\/fi\/miten-estaa-botit-robots-txtlla\/#what-are-meta-robots-tags\" title=\"Mit\u00e4 ovat Meta Robots-tunnisteet?\">Mit\u00e4 ovat Meta Robots-tunnisteet?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-13\" href=\"https:\/\/seo.london\/fi\/miten-estaa-botit-robots-txtlla\/#how-do-x-robots-tags-work\" title=\"Miten X-Robots-tunnisteet toimivat?\">Miten X-Robots-tunnisteet toimivat?<\/a><\/li><\/ul><\/li><\/ul><\/nav><\/div>\n\n\n\n\n<p>Robots.txt-tiedosto on k\u00e4yt\u00e4nn\u00f6ss\u00e4 verkkosivustosi portinvartija. Sen avulla voit hallita <a href=\"https:\/\/seo.london\/fi\/escort-seo-palvelu\/\">joka<\/a> sivustosi osat ovat saatavilla bottien tutkimista varten - kuten Googlen <a href=\"https:\/\/seo.london\/fi\/miten-tehda-laajennettu-haku-google\/\">haku<\/a> moottorin h\u00e4m\u00e4h\u00e4kit - ja joiden pit\u00e4isi olla kiellettyj\u00e4. Se toimii osana Robot Exclusion Standard -standardia (ep\u00e4virallinen sivustojen k\u00e4ytt\u00e4m\u00e4 standardi) ja neuvoo web-robotteja niiden sallituissa toimissa, kun ne vierailevat verkkosivustollasi.<\/p>\n\n\n\n<p>T\u00e4m\u00e4 vaatimaton tekstitiedosto kertoo paljon sivujen saavutettavuusasetuksistasi. Onko sinulla tiettyj\u00e4 hakemistoja tai sivuja, jotka haluat pit\u00e4\u00e4 poissa uteliailta robottisilmilt\u00e4? Robots.txt-tiedosto on sinulle avuksi! Sen sis\u00e4ll\u00f6ss\u00e4 m\u00e4\u00e4ritell\u00e4\u00e4n suoraviivaisesti direktiivej\u00e4 - erityisi\u00e4 ohjeita, jotka annetaan indeksoijille - ja jotka auttavat hallitsemaan sivustojen p\u00e4\u00e4sy\u00e4 tehokkaammin. T\u00e4m\u00e4 kekseli\u00e4isyys tekee asianmukaisen esittelyn varmistamisesta <a href=\"https:\/\/seo.london\/fi\/sisallon-markkinointi-seo-palvelut\/\">sis\u00e4lt\u00f6<\/a> etsinn\u00e4t helpommin ja suojaa samalla arkaluonteisia alueita vahingossa tapahtuvalta altistumiselta.<\/p>\n\n\n\n<p>Viime k\u00e4dess\u00e4, kun opimme erist\u00e4m\u00e4\u00e4n tietoverkkojemme osia - <a href=\"https:\/\/seo.london\/fi\/miten-saada-enemman-viittaavia-verkkotunnuksia\/\">verkkotunnukset<\/a> antaa meille verkkomestareille tarkat valmiudet navigoida paremmin bottien l\u00e4sn\u00e4oloa ja vaikutusvaltaa alustojemme arvokkailla alueilla - siksi keskitymme t\u00e4h\u00e4n t\u00e4n\u00e4\u00e4n.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"h-technical-robots-txt-syntax\"><span class=\"ez-toc-section\" id=\"technical-robotstxt-syntax\"><\/span>Tekninen Robots.txt-syntaksi<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p>Robots.txt-tiedoston syntaksi on p\u00e4\u00e4asiassa kieli ja kieliopillinen <a href=\"https:\/\/seo.london\/fi\/artikkelin-muoto-ja-rakenne\/\">rakenne<\/a> jota k\u00e4ytet\u00e4\u00e4n sen direktiivien luomiseen. On t\u00e4rke\u00e4\u00e4 ymm\u00e4rt\u00e4\u00e4, miten t\u00e4m\u00e4n syntaksin oikeaoppinen hy\u00f6dynt\u00e4minen voi auttaa oppimaan, miten botit voidaan est\u00e4\u00e4 robots txt:n avulla.<\/p>\n\n\n\n<ol class=\"wp-block-list\" type=\"1\" start=\"1\">\n<li><strong>K\u00e4ytt\u00e4j\u00e4agentti:<\/strong> K\u00e4ytt\u00e4j\u00e4agentti-direktiivi ilmaisee, mink\u00e4 tyyppisen botin kanssa haluat kommunikoida, esimerkiksi Googlebot Googlen tai BingBot BingBot:n kanssa. <a href=\"https:\/\/seo.london\/fi\/sivusto-ei-ole-indeksoitu-bings-haku\/\">Bing<\/a>. Aloitetaan direktiivisarja sanalla \"User-agent: *\" tarkoittaa, ett\u00e4 kaikkien indeksoijien tulisi noudattaa n\u00e4it\u00e4 ohjeita.<\/li>\n\n\n\n<li><strong>Poista:<\/strong> T\u00e4m\u00e4 direktiivi l\u00e4hett\u00e4\u00e4 suoraviivaisen viestin - v\u00e4lt\u00e4 v\u00e4litt\u00f6m\u00e4sti sen j\u00e4lkeen kuvattua polkua. Jos esimerkiksi kirjoitat: \"Disallow: \/images\/\", annat ohjeen, ett\u00e4 mik\u00e4\u00e4n robotti ei saa lukea sit\u00e4. <a href=\"https:\/\/seo.london\/fi\/jetoctopus\/\">ry\u00f6mi<\/a> sivustosi <a href=\"https:\/\/seo.london\/fi\/google-ei-indeksointi-kuvia\/\">kuvat<\/a> hakemisto.<\/li>\n\n\n\n<li><strong>Sallikaa:<\/strong> K\u00e4\u00e4nteinen disallow-k\u00e4yt\u00e4nt\u00f6: kiellettyjen hakemistojen sis\u00e4ll\u00e4 allow-lauseke antaa k\u00e4ytt\u00f6oikeuden takaisin tietyille alihakemistoille tai tiedostoille.<\/li>\n<\/ol>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"h-pattern-matching\"><span class=\"ez-toc-section\" id=\"pattern-matching\"><\/span>Pattern-Matching<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<p>Yksi robots.txt-tiedoston syntaksin monimutkainen mutta tehokas elementti on kuvioiden t\u00e4sm\u00e4ytys. Sen lis\u00e4ksi, ett\u00e4 voit m\u00e4\u00e4ritt\u00e4\u00e4 polkuja suoraan, kuvioiden t\u00e4sm\u00e4ytyksen avulla voit yksinkertaisten symbolien avulla antaa monimutkaisia ohjeita siit\u00e4, miten botit estet\u00e4\u00e4n robots txt -tiedostossa.<\/p>\n\n\n\n<ol class=\"wp-block-list\" type=\"1\" start=\"1\">\n<li>Keskity ensisijaisesti kahteen keskeiseen merkkiin, kun opettelet kuvioiden yhteensovittamista - '*' (t\u00e4hti) ja '$' (dollarimerkki). T\u00e4hti toimii jokerimerkkin\u00e4, kun taas dollarimerkki symboloi URL-osoitteen loppua.<\/li>\n\n\n\n<li>T\u00e4hden k\u00e4ytt\u00e4minen kieltolausekkeen sis\u00e4ll\u00e4 tarkoittaa mit\u00e4 tahansa siin\u00e4 esiintyv\u00e4\u00e4 merkkijonosarjaa. Esimerkiksi 'Disallow: \/example' est\u00e4\u00e4 indeksoijia p\u00e4\u00e4sem\u00e4st\u00e4 mille tahansa sivustosi sivulle, jonka URL-osoitteessa on 'example'.<\/li>\n\n\n\n<li>Sit\u00e4 vastoin lis\u00e4\u00e4m\u00e4ll\u00e4 \"$\" eri ehtojenne loppuun t\u00e4smennet\u00e4\u00e4n, ett\u00e4 ainoastaan <a href=\"https:\/\/seo.london\/fi\/seo-ystavallinen-urls\/\">URL-osoitteet<\/a> jotka p\u00e4\u00e4ttyv\u00e4t n\u00e4in, on kielletty <a href=\"https:\/\/seo.london\/fi\/mika-on-ero-indeksoinnin-ja-indeksoinnin-valilla-seossa\/\">indeksointi<\/a> botit. Ilmoitus, jossa lukee 'Disallow: \/*example$' rajoittaa p\u00e4\u00e4syn vain sivuille, joiden URL-osoite p\u00e4\u00e4ttyy t\u00e4sm\u00e4lleen 'example'.<\/li>\n<\/ol>\n\n\n\n<p>Muista kuitenkin, ett\u00e4 kaikki h\u00e4m\u00e4h\u00e4kit eiv\u00e4t ymm\u00e4rr\u00e4 tai noudata n\u00e4it\u00e4 malleja - erityisesti monet roskapostiin suuntautuneet - joten ota t\u00e4m\u00e4 huomioon rakentaessasi direktiivej\u00e4 ja harkitessasi tehokkaita tapoja est\u00e4\u00e4 botit k\u00e4ytt\u00e4m\u00e4ll\u00e4 robots txt -tiedostoja tehokkaasti.\"\"\"\"<\/p>\n\n\n\n<p>Robots.txt-tiedoston sijoittaminen voi tuntua pelottavalta, mutta voit olla varma, ett\u00e4 se on suhteellisen yksinkertainen prosessi. T\u00e4m\u00e4 pieni mutta t\u00e4rke\u00e4 asiakirja kuuluu yhteen paikkaan - verkkosivustosi juurihakemistoon.<\/p>\n\n\n\n<p>T\u00e4rkeint\u00e4 on muistaa, ett\u00e4 indeksoijien on l\u00f6ydett\u00e4v\u00e4 t\u00e4m\u00e4 yksinkertainen tekstitiedosto helposti. Hakukoneiden botit menev\u00e4t yleens\u00e4 hakemistoon \"root\" tai ylimp\u00e4\u00e4n hakemistoon. <a href=\"https:\/\/seo.london\/fi\/ovat-laskeutumissivut-huono-seo\/\">laskeutuminen<\/a> teid\u00e4n <a href=\"https:\/\/seo.london\/fi\/tasmalleen-vastaavan-verkkotunnuksen-edut-ja-haitat\/\">verkkotunnus<\/a>. N\u00e4in ollen robots.txt-tiedoston sijoittaminen t\u00e4h\u00e4n antaa v\u00e4litt\u00f6m\u00e4t ja selke\u00e4t ohjeet siit\u00e4, mihin sivuston osiin on p\u00e4\u00e4st\u00e4v\u00e4 k\u00e4siksi.<\/p>\n\n\n\n<p>Ne, jotka eiv\u00e4t ole perehtyneet verkkokieleen, saattavat ihmetell\u00e4, mit\u00e4 tarkalleen ottaen tarkoitamme, kun puhumme \"juurihakemistosta\". Pohjimmiltaan verkkosivustosi juurihakemisto on kuin puunrunko, josta kaikki muut hakemistot l\u00e4htev\u00e4t - se muodostaa verkkol\u00e4sn\u00e4olosi selk\u00e4rangan. Jos verkkosivustosi URL-osoite on esimerkiksi www.example.com, juurihakemisto on \/ (vinoviiva .com:n j\u00e4lkeen). N\u00e4in ollen www.example.com\/robots.txt osoittaa sen paikan juurihakemistossasi.<\/p>\n\n\n\n<p>Sit\u00e4 vastoin sen sijoittaminen toisen <a href=\"https:\/\/seo.london\/fi\/blogi-aliverkkotunnuksessa-tai-alihakemistossa\/\">alihakemisto<\/a> kuten \/blog\/robots.txt, ei ole toivottua vaikutusta, koska botit eiv\u00e4t vaivaudu etsim\u00e4\u00e4n sivustollesi niin pitk\u00e4lle ennen kuin saavat ohjeita.<\/p>\n\n\n\n<p>T\u00e4rkeint\u00e4 on, ett\u00e4 virheellinen paikannus voi johtaa tehottomaan indeksointiin ja indeksointiin - kaksi perustavaa laatua olevaa tekij\u00e4\u00e4 <a href=\"https:\/\/seo.london\/fi\/\">SEO<\/a> menestyst\u00e4 - koska hakukoneet eiv\u00e4t tied\u00e4, miss\u00e4 niiden on sallittua tai kielletty\u00e4 tutkia nopeasti, kun ne saapuvat \"kotiovellesi\".<\/p>\n\n\n\n<p>Varmista siis, ett\u00e4 sinulla on sijoittelu kunnossa, kun tarkastelet, kuinka est\u00e4\u00e4 botit tehokkaasti robots txt -tiedostojen avulla. Sijoitus on todella olennainen osa t\u00e4t\u00e4 teknist\u00e4 SEO:n kulmakiviasetusta.<\/p>\n\n\n\n<p>Kun ymm\u00e4rr\u00e4t robots.txt-tiedostojen merkityksen ja toiminnan, yksi asiaankuuluva kysymys on edelleen: miksi tarvitset robots.txt-tiedostoa?<\/p>\n\n\n\n<p>Ensinn\u00e4kin robots.txt-tiedosto antaa indeksoijille ohjeita siit\u00e4, miten heid\u00e4n tulisi toimia verkkosivustosi kanssa. Kun hakukoneet l\u00e4hestyv\u00e4t sivustoasi indeksoidakseen sen, n\u00e4m\u00e4 robots.txt-tiedoston ohjeet tulevat k\u00e4ytt\u00f6\u00f6n. Ne ohjaavat hakurobotteja, kuten Googlen Googlebotia tai Bingin Bingbotia, niiden navigointireitill\u00e4 verkkotunnuksesi l\u00e4pi.<\/p>\n\n\n\n<p>Toiseksi robots.txt-tiedosto on olennaisen t\u00e4rke\u00e4, jotta voit hallita p\u00e4\u00e4sy\u00e4 sivustosi yksityisiin osiin, jotka ovat arkaluontoisia tai kehitteill\u00e4. Voit erityisesti ohjeistaa botteja <a href=\"https:\/\/seo.london\/fi\/miten-saada-google-indeksoida-sivustosi-nopeammin\/\">indeksointi<\/a> t\u00e4llaista sis\u00e4lt\u00f6\u00e4. N\u00e4in varmistetaan, ett\u00e4 ei-toivotut alueet j\u00e4\u00e4v\u00e4t indeksoimatta ja pois yleis\u00f6n n\u00e4kyvist\u00e4 hakukoneiden tulossivuilta (SERP).<\/p>\n\n\n\n<p>Lis\u00e4ksi verkossa on lukemattomia indeksoivia botteja, sek\u00e4 hyvi\u00e4 ett\u00e4 pahantahtoisia. R\u00e4\u00e4t\u00e4l\u00f6im\u00e4ll\u00e4 robots.txt-tiedostossa olevien User-agent-komentojen avulla, kuka voi ry\u00f6mi\u00e4 sivustollasi mit\u00e4 tahansa, pid\u00e4t suojelunormit korkealla mahdollisia uhkia vastaan, jotka vierailevat sivustollasi viattoman ry\u00f6mint\u00e4toiminnan varjolla.<\/p>\n\n\n\n<p>Lopuksi, ilman Robots txt -tiedoston tarjoamia rajoituksia jotkin botit saattavat ylikuormittaa palvelimia ylikuormittamalla ne pyynn\u00f6ill\u00e4, mik\u00e4 johtaa k\u00e4ytt\u00e4j\u00e4n hidastumiseen. <a href=\"https:\/\/seo.london\/fi\/mita-ovat-sivukokemussignaalit\/\">kokemus<\/a> tai DDoS-hy\u00f6kk\u00e4ykset (Distributed Denial of Service). N\u00e4in ollen se on t\u00e4rke\u00e4 v\u00e4line optimaalisen suojan varmistamiseksi. <a href=\"https:\/\/seo.london\/fi\/palvelinpuolen-vs-asiakaspuolen-renderointi\/\">palvelin<\/a> <a href=\"https:\/\/seo.london\/fi\/tietopohja\/miten-seurata-seo-suorituskykya\/\">suorituskyky<\/a>.<\/p>\n\n\n\n<p>Kun alat tutustua oman Robots txt -tiedostosi rakenteeseen my\u00f6hemmin t\u00e4ss\u00e4 artikkelissa, muista t\u00e4m\u00e4 keskeinen k\u00e4site: Se, ett\u00e4 voit hallita indeksoijien vuorovaikutusta verkkosivustosi kanssa, m\u00e4\u00e4rittelee, miksi tietynlainen Robots txt-tiedosto on ratkaisevan t\u00e4rke\u00e4 mink\u00e4 tahansa verkkotunnuksen verkkol\u00e4sn\u00e4olon suojaamiseksi ja optimoimiseksi.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"h-checking-if-you-have-a-robots-txt-file\"><span class=\"ez-toc-section\" id=\"checking-if-you-have-a-robotstxt-file\"><\/span>Tarkistetaan, onko sinulla robots.txt-tiedosto<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p>Seuraavaksi kerrotaan, miten voit selvitt\u00e4\u00e4, onko verkkosivustollasi jo robots.txt-tiedosto. Yleens\u00e4 se sijaitsee sivustosi juurihakemistossa.<\/p>\n\n\n\n<p>Jos haluat tarkistaa sen l\u00e4sn\u00e4olon, suosittelen seuraavia yksinkertaisia toimia:<\/p>\n\n\n\n<ol class=\"wp-block-list\" type=\"1\" start=\"1\">\n<li>Avaa suosikkiselaimesi.<\/li>\n\n\n\n<li>Vuonna <a href=\"https:\/\/seo.london\/fi\/paikallinen-seo-ilman-fyysista-osoitetta\/\">osoite<\/a> baarissa <a href=\"https:\/\/seo.london\/fi\/seo-virasto-lontoo\/\">top<\/a>, kirjoita yoursitename.com\/robots.txt; korvaa \"yoursitename.com\" todellisella verkkotunnuksellasi.<\/li>\n<\/ol>\n\n\n\n<p>N\u00e4yt\u00f6ll\u00e4si pit\u00e4isi n\u00e4ky\u00e4 t\u00e4m\u00e4n vaatimattoman mutta vaikutusvaltaisen robots.txt-tiedoston sis\u00e4lt\u00f6, jos se on olemassa sivustollasi. Sit\u00e4 vastoin virheilmoitus, joka muistuttaa \"404-sivua ei l\u00f6ydy\" tai \"tiedostoa ei l\u00f6ydy\", on merkki siit\u00e4, ett\u00e4 robots.txt-tiedostoa ei t\u00e4ll\u00e4 hetkell\u00e4 ole olemassa.<\/p>\n\n\n\n<p>Muista, ett\u00e4 oikein toteuttamalla \"miten est\u00e4\u00e4 botit robotit txt <a href=\"https:\/\/seo.london\/fi\/seo-strategia-lontoo\/\">strategia<\/a> vaikuttaa merkitt\u00e4v\u00e4sti hakukoneoptimointiin (SEO). Siksi on t\u00e4rke\u00e4\u00e4 pysy\u00e4 ajan tasalla siit\u00e4, onko sinulla sellainen.<\/p>\n\n\n\n<p>Yhteenvetona voidaan todeta (vaikkakaan ei pakollisena), ett\u00e4 robots.txt-tiedoston ymm\u00e4rt\u00e4minen ja asianmukainen k\u00e4ytt\u00f6 on nyky\u00e4\u00e4n olennainen osa menestyksekk\u00e4iden verkkosivustojen hallintaa. Jos olet viel\u00e4 ep\u00e4varma n\u00e4iden vaiheiden j\u00e4lkeen, harkitse asiantuntijan neuvojen hankkimista, koska se saattaa edellytt\u00e4\u00e4 edistyneemp\u00e4\u00e4 tietotekniikkaa. <a href=\"https:\/\/seo.london\/fi\/miten-kaytan-google-knowledge-graphia\/\">Tieto<\/a> kuin odotettiin.<\/p>\n\n\n\n<p>Muista my\u00f6s, ett\u00e4 robots.txt-tiedoston puuttuminen ei v\u00e4ltt\u00e4m\u00e4tt\u00e4 ole haitallista - se merkitsee vain sit\u00e4, ett\u00e4 hakukoneiden botit p\u00e4\u00e4sev\u00e4t rajoittamattomasti sivustosi kaikille alueille. T\u00e4llaisen p\u00e4\u00e4syn j\u00e4rkev\u00e4 hallinta on mahdollista, kun ymm\u00e4rr\u00e4mme, miten est\u00e4mme bots robots txt -tekstin tehokkaasti sivustoillamme!<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"h-how-to-create-a-robots-txt-file\"><span class=\"ez-toc-section\" id=\"how-to-create-a-robotstxt-file\"><\/span>Robots.txt-tiedoston luominen<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p>Robots.txt-tiedoston luominen on olennainen vaihe hakukoneiden bottien vuorovaikutuksen hallinnassa verkkosivustosi kanssa. Tutustutaan tiedoston luomiseen.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"h-understanding-the-components-of-robots-txt\"><span class=\"ez-toc-section\" id=\"understanding-the-components-of-robotstxt\"><\/span>Robots.txt-tiedoston osien ymm\u00e4rt\u00e4minen<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<p>Tyypillinen robots.txt-tiedosto sis\u00e4lt\u00e4\u00e4 kaksi p\u00e4\u00e4komponenttia, kuten User-agent- ja Disallow-direktiivit. User-agent viittaa tiettyyn indeksoivaan ohjelmaan, kuten Googlebot tai Bingbot, jolle haluat ohjeidesi olevan suunnattu. Toisaalta Disallow-direktiiviss\u00e4 luetellaan sivut tai hakemistot, joita et halua tiettyjen bottien indeksoivan. Esimerkiksi:<\/p>\n\n\n\n<p>K\u00e4ytt\u00e4j\u00e4agentti: * Disallow: \/private\/<\/p>\n\n\n\n<p>T\u00e4ss\u00e4 tapauksessa kaikki botit ('*' tarkoittaa all) eiv\u00e4t p\u00e4\u00e4se k\u00e4siksi mihink\u00e4\u00e4n 'private'-hakemiston alla olevaan.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"h-fresh-file-generation\"><span class=\"ez-toc-section\" id=\"fresh-file-generation\"><\/span>Tuoreen tiedoston tuottaminen<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<p>Nyt t\u00e4m\u00e4n n\u00e4pp\u00e4r\u00e4n koodinp\u00e4tk\u00e4n luomiseen. Tarvitset tavallisen tekstieditorin - Notepad riitt\u00e4\u00e4 mainiosti. Microsoft Wordin kaltaiset tekstink\u00e4sittelyohjelmat eiv\u00e4t sovellu t\u00e4h\u00e4n teht\u00e4v\u00e4\u00e4n, koska niill\u00e4 on taipumus lis\u00e4t\u00e4 ylim\u00e4\u00e4r\u00e4isi\u00e4 muotoilumerkkej\u00e4.<\/p>\n\n\n\n<p>Luo aluksi uusi asiakirja ja tallenna se nimell\u00e4 \"robots.txt\". Muista, ett\u00e4 isoilla kirjaimilla on merkityst\u00e4 - varmista, ett\u00e4 kaikki kirjoitetaan pienill\u00e4 kirjaimilla. Seuraavaksi on vuorossa syntaksin muokkaaminen sen mukaan, mitk\u00e4 kohdat haluat est\u00e4\u00e4. Muista, ett\u00e4 jokaisen s\u00e4\u00e4nn\u00f6n tulee olla omalla rivill\u00e4\u00e4n:<\/p>\n\n\n\n<p>K\u00e4ytt\u00e4j\u00e4agentti: * Disallow: \/<\/p>\n\n\n\n<p>T\u00e4m\u00e4 s\u00e4\u00e4nt\u00f6 est\u00e4\u00e4 kaikkia botteja p\u00e4\u00e4sem\u00e4st\u00e4 mihin tahansa sivustosi osaan (merkitty kirjaimella '\/'). K\u00e4yt\u00e4 sit\u00e4 varoen!<\/p>\n\n\n\n<p>The <a href=\"https:\/\/seo.london\/fi\/mita-ovat-meta-avainsanat\/\">avainsana<\/a> T\u00e4ss\u00e4 on kyse spesifisyydest\u00e4; kun opitaan est\u00e4m\u00e4\u00e4n bottien toimintaa, robottien txt-moduulit ovat monipuolisia v\u00e4lineit\u00e4, joiden avulla bottien toimintaa voidaan hallita tarkasti.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"h-uploading-your-file\"><span class=\"ez-toc-section\" id=\"uploading-your-file\"><\/span>Tiedoston lataaminen<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<p>Kun robots.txt-tiedosto on luotu, lataa se sivustosi p\u00e4\u00e4kansioon FTP:n (File Transfer Protocol) avulla. Se sijaitsee yleens\u00e4 samassa paikassa kuin wp-admin-, wp-content- ja wp-includes-kansiot.<\/p>\n\n\n\n<p>Kun olet suorittanut n\u00e4m\u00e4 vaiheet onnistuneesti, k\u00e4ytt\u00e4j\u00e4t voivat etsi\u00e4 Robots.txt-tiedostosi liitt\u00e4m\u00e4ll\u00e4 \"\/robots.txt\" ensisijaisen verkkotunnuksen per\u00e4\u00e4n - esimerkiksi www.example.com\/robots.txt. Nyt hallitset robots.txt-tiedoston luomisen!<\/p>\n\n\n\n<p>Muista kuitenkin, ett\u00e4 vaikka rehellisten indeksoijien ohjaaminen on tehokasta, kohteliaisuus sanelee vain s\u00e4\u00e4nt\u00f6jen noudattamisen; viekkaammat tuhoisat botit voivat j\u00e4tt\u00e4\u00e4 ne kokonaan huomiotta.<\/p>\n\n\n\n<p>Kun t\u00e4m\u00e4 tieto on nyt turvallisesti vy\u00f6si alla, muista, ett\u00e4 huolto on v\u00e4ltt\u00e4m\u00e4t\u00f6nt\u00e4 - s\u00e4\u00e4nn\u00f6llinen seuranta takaa jatkuvan tehokkuuden, joten varaa aikaa s\u00e4\u00e4nn\u00f6llisiin tarkastuksiin. Hyv\u00e4\u00e4 koodausta!<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"h-blocking-specific-bots-and-files-folders\"><span class=\"ez-toc-section\" id=\"blocking-specific-bots-and-filesfolders\"><\/span>Tiettyjen bottien ja tiedostojen\/kansioiden est\u00e4minen<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p>Kun syvennyt\u00e4\u00e4n aiheeseen - miten est\u00e4\u00e4 bottien robotit txt, on t\u00e4rke\u00e4\u00e4 ymm\u00e4rt\u00e4\u00e4, ett\u00e4 t\u00e4ss\u00e4 teht\u00e4v\u00e4ss\u00e4 ei aina ole kyse kaikkien indeksoijien rajoittamisesta. Usein saatat haluta m\u00e4\u00e4ritt\u00e4\u00e4 vain tietyt ei-toivotut botit tai rajoittaa p\u00e4\u00e4sy\u00e4 vain tiettyihin tiedostoihin ja hakemistoihin. N\u00e4iss\u00e4 vivahteikkaissa tilanteissa robots.txt-tiedoston k\u00e4sittelyn hallinnan lis\u00e4\u00e4minen voi vaikuttaa ratkaisevasti.<\/p>\n\n\n\n<p>Moninaisuudessa yhten\u00e4isyys on laajalle levinnyt taktiikka, jota eri verkkopalvelut k\u00e4ytt\u00e4v\u00e4t. Erilaisia verkkokoodaajia liikkuu ymp\u00e4riins\u00e4 <a href=\"https:\/\/seo.london\/fi\/seo-it-yrityksille\/\">internet<\/a> joilla on erilainen k\u00e4ytt\u00e4ytyminen ja erilaiset ominaisuudet. Jotkin h\u00e4m\u00e4h\u00e4kit ovat elint\u00e4rkeit\u00e4 sis\u00e4ll\u00f6n indeksoinnissa, kuten Googlebot, kun taas toiset, kuten roskapostibotit, saattavat vahingoittaa sivustosi suorituskyky\u00e4.<\/p>\n\n\n\n<p>N\u00e4m\u00e4 v\u00e4hemm\u00e4n rakentavat botit voidaan est\u00e4\u00e4 kahdella tavalla: suppeasti tai laajasti. Kapea l\u00e4hestymistapa tarkoittaa tietyn botin est\u00e4mist\u00e4 koko verkkosivustolta, kun taas laajempi tarkoittaa jokaisen botin est\u00e4mist\u00e4 tietyst\u00e4 kansiosta tai tiedostosta.<\/p>\n\n\n\n<p>Ennen kuin jatkamme, selvitet\u00e4\u00e4n, miten voit m\u00e4\u00e4ritt\u00e4\u00e4 k\u00e4ytt\u00e4j\u00e4agentin (eli botin) robots.txt-tiedostossa. Jokainen s\u00e4\u00e4nt\u00f6 t\u00e4ss\u00e4 asiakirjassa on aloitettava m\u00e4\u00e4rittelem\u00e4ll\u00e4 \"User-agent\", jota seuraa kaksoispiste(:) ja sitten agentin nimi. T\u00e4hden (*) j\u00e4tt\u00e4minen viittaa mihin tahansa bottiin, joka vierailee sivulla. Sen sijaan voidaan kirjoittaa tiettyj\u00e4 nimi\u00e4 tietyille boteille.<\/p>\n\n\n\n<p>Seuraavaksi tulevat joko \"Disallow\"- tai \"Allow\"-direktiivit, jotka ohjaavat tunnistettujen k\u00e4ytt\u00e4j\u00e4agenttien sallittuja toimia verkkosivuston tietyill\u00e4 alueilla.<\/p>\n\n\n\n<p>Muista, ett\u00e4 t\u00e4rke\u00e4\u00e4 ei ole vain tiet\u00e4\u00e4, miten robotit robots txt -robotit estet\u00e4\u00e4n, vaan my\u00f6s miksi - keskityt\u00e4\u00e4n sek\u00e4 resurssien tuhlaamisen ehk\u00e4isemiseen ett\u00e4 suojautumiseen vaarantuneiden agenttien haitalliselta toiminnalta.<\/p>\n\n\n\n<p>T\u00e4ydenn\u00e4mme est\u00e4misen erityispiirteit\u00e4 koskevaa keskusteluamme muistamalla, ett\u00e4 luotettavuus on merkitt\u00e4v\u00e4ss\u00e4 asemassa, kun luotat n\u00e4iden s\u00e4\u00e4nt\u00f6jen noudattamiseen - valtavirran hakukoneet noudattavat niit\u00e4 yleens\u00e4 tiukasti; valitettavasti v\u00e4hemm\u00e4n tunnetut scraper-botit harvoin noudattavat niit\u00e4 kunnolla. \u00c4l\u00e4 luota pelkk\u00e4\u00e4n robots.txt-tiedostoon, jos yrit\u00e4t suojata arkaluonteisia tietoja!<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"h-robots-txt-vs-meta-robots-vs-x-robots\"><span class=\"ez-toc-section\" id=\"robotstxt-vs-meta-robots-vs-x-robots\"><\/span>Robots.txt vs. Meta Robots vs. X-Robotit<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p>Bottien est\u00e4minen robots txt -tekstill\u00e4 on t\u00e4rke\u00e4\u00e4, mutta se ei ole ainoa tapa hallita bottien k\u00e4ytt\u00e4ytymist\u00e4 verkkosivustollasi. On my\u00f6s olemassa <a href=\"https:\/\/seo.london\/fi\/meta-description-title-tag-h1-yhteystietosivulla\/\">meta<\/a> robots- ja x-robots-tunnisteet, jotka ovat kaksi muuta tehokasta keinoa antaa online-roboteille ohjeita sivustostasi. Jos mietit, kumpaa kannattaa k\u00e4ytt\u00e4\u00e4 tai mik\u00e4 erottaa ne toisistaan, selit\u00e4n sinulle.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"h-the-robots-txt-file\"><span class=\"ez-toc-section\" id=\"the-robotstxt-file\"><\/span>Robots.txt-tiedosto<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<p>Kuten olemme jo k\u00e4sitelleet, robots.txt-tiedosto toimii verkkosivujen yll\u00e4pit\u00e4j\u00e4n ensisijaisena ohjenuorana hakukoneiden ohjaamisessa verkkosivuston tiettyihin osiin tai pois niist\u00e4. T\u00e4m\u00e4 pieni tekstitiedosto sijaitsee juurihakemiston tasolla, ja siin\u00e4 annetaan yleens\u00e4 yleisi\u00e4 ohjeita kaikille k\u00e4ytt\u00e4j\u00e4agenttien boteille, ellei tiettyj\u00e4 boteja ole mainittu.<\/p>\n\n\n\n<p>Pohjimmiltaan robots.txt-tiedostossa sanotaan boteille: \"N\u00e4m\u00e4 alueet ovat kiellettyj\u00e4\". Huomaa kuitenkin, ett\u00e4 kaikki h\u00e4m\u00e4h\u00e4kit eiv\u00e4t noudata n\u00e4it\u00e4 s\u00e4\u00e4nt\u00f6j\u00e4.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"h-what-are-meta-robots-tags\"><span class=\"ez-toc-section\" id=\"what-are-meta-robots-tags\"><\/span>Mit\u00e4 ovat Meta Robots-tunnisteet?<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<p>Meta Robots -tunnisteet tarjoavat tarkemman hallinnan kuin Meta Robots -tunnisteet. <a href=\"https:\/\/seo.london\/fi\/globaali-seo\/\">laaja<\/a> robots.txt-tiedoston antamat ohjeet. N\u00e4m\u00e4 HTML-attribuutit ohjeistavat hakukoneiden botteja indeksoimaan yksitt\u00e4isi\u00e4 sivuja kokonaisten hakemistojen tai sivustojen sijasta. Ne kertovat hakukoneille, indeksoidaanko sivu (\"noindex\"), seurataanko sen linkkej\u00e4 (\"nofollow\"), \"none\" (mik\u00e4 tarkoittaa noindex ja <a href=\"https:\/\/seo.london\/fi\/pitaisiko-minun-kayttaa-nofollow-attribuuttia-sisaisille-linkeille\/\">nofollow<\/a>) muiden komentojen joukossa. Meta-robottitunnisteet kommunikoivat suoraan hakukoneiden indeksoijien kanssa sivukohtaisesti, mik\u00e4 tarjoaa todellista monipuolisuutta indeksoijien k\u00e4ytt\u00e4ytymisen hallinnassa.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"h-how-do-x-robots-tags-work\"><span class=\"ez-toc-section\" id=\"how-do-x-robots-tags-work\"><\/span>Miten X-Robots-tunnisteet toimivat?<span class=\"ez-toc-section-end\"><\/span><\/h3>\n\n\n\n<p>X-Robots-tunnisteilla on joitakin yht\u00e4l\u00e4isyyksi\u00e4 metarobots-tunnisteiden kanssa, sill\u00e4 my\u00f6s ne antavat yksityiskohtaisia ohjeita sivutasolla. Toisin kuin HTML-dokumenteissa esiintyv\u00e4t vastineensa, x-robots-tunnisteet ovat kuitenkin osoitteessa <a href=\"https:\/\/seo.london\/fi\/mita-on-sekoitettu-sisalto\/\">HTTP<\/a> otsikot.  T\u00e4m\u00e4 sijoitus mahdollistaa sen, ett\u00e4 ne toimivat my\u00f6s muissa kuin HTML-tiedostoissa, kuten PDF-tiedostoissa tai kuvissa. Kuten metarobottitunnisteet, my\u00f6s x-robottitunnisteen toiminnot vaihtelevat muun muassa \"noindex\", \"nofollow\" tai jopa \"nosnippet\".<\/p>\n\n\n\n<p>Vaikka robottien est\u00e4minen robots txt:n avulla onkin arvokasta tietoa jokaiselle webmasterille, meta-robottien ja x-robottien vahvuuksien ja sovellusten ymm\u00e4rt\u00e4minen tarjoaa viel\u00e4 laajemman ty\u00f6kalupakin, kun kuratoit sivustosi suhdetta indeksoijiin.<\/p>","protected":false},"excerpt":{"rendered":"<p>Asiasta tiet\u00e4m\u00e4tt\u00f6m\u00e4n tarkkailijan silmiss\u00e4 sivustollasi vaeltava robotti saattaa vaikuttaa scifi-elokuvalta. Usko tai \u00e4l\u00e4, se on kaukana fiktiosta ja l\u00e4hemp\u00e4n\u00e4 todellisuutta kuin luuletkaan! Kaikille, jotka liikkuvat verkkosivustojen omistamisen ja yll\u00e4pidon maastossa, on ratkaisevan t\u00e4rke\u00e4\u00e4 ymm\u00e4rt\u00e4\u00e4, miten robotit ovat vuorovaikutuksessa verkkotilojemme kanssa. [...]<\/p>","protected":false},"author":6,"featured_media":31181,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[14],"tags":[],"class_list":["post-31157","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-seo"],"acf":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO Premium plugin v20.9 (Yoast SEO v26.4) - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>How to Block Bots with Robots.txt? - SEO.London<\/title>\n<meta name=\"description\" content=\"A robots.txt file is essentially the gatekeeper of your website. It allows you to control which parts of your site are available for bot exploration\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/seo.london\/fi\/miten-estaa-botit-robots-txtlla\/\" \/>\n<meta property=\"og:locale\" content=\"fi_FI\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"How to Block Bots with Robots.txt?\" \/>\n<meta property=\"og:description\" content=\"For an uninformed observer, a robot wandering around your website might seem like something out of a sci-fi movie. Believe it or not, it&#039;s far from\" \/>\n<meta property=\"og:url\" content=\"https:\/\/seo.london\/fi\/miten-estaa-botit-robots-txtlla\/\" \/>\n<meta property=\"og:site_name\" content=\"SEO.London\" \/>\n<meta property=\"article:published_time\" content=\"2023-06-12T12:01:52+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2023-06-29T16:47:23+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/seo.london\/wp-content\/uploads\/2023\/06\/How-to-Block-Bots-with-Robots.png\" \/>\n\t<meta property=\"og:image:width\" content=\"800\" \/>\n\t<meta property=\"og:image:height\" content=\"449\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"Lukasz Zelezny\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Kirjoittanut\" \/>\n\t<meta name=\"twitter:data1\" content=\"Lukasz Zelezny\" \/>\n\t<meta name=\"twitter:label2\" content=\"Arvioitu lukuaika\" \/>\n\t<meta name=\"twitter:data2\" content=\"11 minuuttia\" \/>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"Kuinka est\u00e4\u00e4 botit Robots.txt:ll\u00e4? - SEO.London","description":"Robots.txt-tiedosto on k\u00e4yt\u00e4nn\u00f6ss\u00e4 verkkosivustosi portinvartija. Sen avulla voit valvoa, mitk\u00e4 sivuston osat ovat bottien tutkittavissa.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/seo.london\/fi\/miten-estaa-botit-robots-txtlla\/","og_locale":"fi_FI","og_type":"article","og_title":"How to Block Bots with Robots.txt?","og_description":"For an uninformed observer, a robot wandering around your website might seem like something out of a sci-fi movie. Believe it or not, it's far from","og_url":"https:\/\/seo.london\/fi\/miten-estaa-botit-robots-txtlla\/","og_site_name":"SEO.London","article_published_time":"2023-06-12T12:01:52+00:00","article_modified_time":"2023-06-29T16:47:23+00:00","og_image":[{"width":800,"height":449,"url":"https:\/\/seo.london\/wp-content\/uploads\/2023\/06\/How-to-Block-Bots-with-Robots.png","type":"image\/png"}],"author":"Lukasz Zelezny","twitter_card":"summary_large_image","twitter_misc":{"Kirjoittanut":"Lukasz Zelezny","Arvioitu lukuaika":"11 minuuttia"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/seo.london\/fi\/how-to-block-bots-with-robots-txt\/","url":"https:\/\/seo.london\/how-to-block-bots-with-robots-txt\/","name":"Kuinka est\u00e4\u00e4 botit Robots.txt:ll\u00e4? - SEO.London","isPartOf":{"@id":"https:\/\/seo.london\/fi\/#website"},"primaryImageOfPage":{"@id":"https:\/\/seo.london\/how-to-block-bots-with-robots-txt\/#primaryimage"},"image":{"@id":"https:\/\/seo.london\/how-to-block-bots-with-robots-txt\/#primaryimage"},"thumbnailUrl":"https:\/\/seo.london\/wp-content\/uploads\/2023\/06\/How-to-Block-Bots-with-Robots.png","datePublished":"2023-06-12T12:01:52+00:00","dateModified":"2023-06-29T16:47:23+00:00","author":{"@id":"https:\/\/seo.london\/fi\/#\/schema\/person\/a87f13cbf62c630a697ac094314f9e25"},"description":"Robots.txt-tiedosto on k\u00e4yt\u00e4nn\u00f6ss\u00e4 verkkosivustosi portinvartija. Sen avulla voit valvoa, mitk\u00e4 sivuston osat ovat bottien tutkittavissa.","breadcrumb":{"@id":"https:\/\/seo.london\/how-to-block-bots-with-robots-txt\/#breadcrumb"},"inLanguage":"fi","potentialAction":[{"@type":"ReadAction","target":["https:\/\/seo.london\/how-to-block-bots-with-robots-txt\/"]}]},{"@type":"ImageObject","inLanguage":"fi","@id":"https:\/\/seo.london\/how-to-block-bots-with-robots-txt\/#primaryimage","url":"https:\/\/seo.london\/wp-content\/uploads\/2023\/06\/How-to-Block-Bots-with-Robots.png","contentUrl":"https:\/\/seo.london\/wp-content\/uploads\/2023\/06\/How-to-Block-Bots-with-Robots.png","width":800,"height":449,"caption":"How to Block Bots with Robots.txt"},{"@type":"BreadcrumbList","@id":"https:\/\/seo.london\/how-to-block-bots-with-robots-txt\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/seo.london\/fr\/"},{"@type":"ListItem","position":2,"name":"How to Block Bots with Robots.txt?"}]},{"@type":"WebSite","@id":"https:\/\/seo.london\/fi\/#website","url":"https:\/\/seo.london\/fi\/","name":"SEO.London","description":"SEO-konsultti ja asiantuntijayritys Lontoossa, Yhdistyneess\u00e4 kuningaskunnassa - Lukasz Zelezny","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/seo.london\/fi\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"fi"},{"@type":"Person","@id":"https:\/\/seo.london\/fi\/#\/schema\/person\/a87f13cbf62c630a697ac094314f9e25","name":"Lukasz Zelezny","image":{"@type":"ImageObject","inLanguage":"fi","@id":"https:\/\/seo.london\/fi\/#\/schema\/person\/image\/","url":"https:\/\/secure.gravatar.com\/avatar\/55d18e132c3d0d63f7cd047da2d2a7f805a3392a84a615be5d6dca867281758e?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/55d18e132c3d0d63f7cd047da2d2a7f805a3392a84a615be5d6dca867281758e?s=96&d=mm&r=g","caption":"Lukasz Zelezny"},"description":"#1 Lontoossa asuva SEO-konsultti, joka ty\u00f6skenteli sellaisten yritysten kanssa kuin Zoopla, uSwitch, Mashable, Thomson Reuters ja monet muut. Palkkaa Lukasz Zelezny (MCIM, F IDM)","url":"https:\/\/seo.london\/fi\/author\/lukasz-zelezny\/"}]}},"_links":{"self":[{"href":"https:\/\/seo.london\/fi\/wp-json\/wp\/v2\/posts\/31157","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/seo.london\/fi\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/seo.london\/fi\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/seo.london\/fi\/wp-json\/wp\/v2\/users\/6"}],"replies":[{"embeddable":true,"href":"https:\/\/seo.london\/fi\/wp-json\/wp\/v2\/comments?post=31157"}],"version-history":[{"count":0,"href":"https:\/\/seo.london\/fi\/wp-json\/wp\/v2\/posts\/31157\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/seo.london\/fi\/wp-json\/wp\/v2\/media\/31181"}],"wp:attachment":[{"href":"https:\/\/seo.london\/fi\/wp-json\/wp\/v2\/media?parent=31157"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/seo.london\/fi\/wp-json\/wp\/v2\/categories?post=31157"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/seo.london\/fi\/wp-json\/wp\/v2\/tags?post=31157"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}