SEO için Robots txt Nasıl Kullanılır?

Burada, özellikle Google kullanıcı aracıları için dosya oluşturma konusunda bazı öneriler bulunmaktadır;

1) Dosya, Robotları Dışlama Standardına uygun olmalıdır.

2) Belirtilen tarayıcının bir sitenin belirli bir yoluna erişimine izin vermek veya engellemek için bir veya daha fazla kural içerebilir.

3) Bir web yöneticisi, her bir sözdiziminin ince davranışını anlamak için robots.txt dosyasının neredeyse tüm sözdizimine aşina olmalıdır.

4) Site birden fazla robots.txt dosyasına sahip olamaz.

5) Dosya hem alt alan adlarını (http://website.demo.com/robots.txt gibi veya (http://demo:8181/robots.txt) gibi standart olmayan herhangi bir bağlantı noktasını) destekler.

6) Web sitenizin kök klasörünü bilmiyorsanız veya bu klasöre erişiminiz yoksa, robots.txt dosyasını aynı klasörün içinde tutmak için web barındırma hizmeti sağlayıcısına ulaşmak en iyisidir. Web sitesi kök dizinine erişemiyorsanız, alternatif engelleme yöntemi olarak meta etiketleri kullanın.

7) Robots.txt dosyasına birden fazla grup yönergesi veya kuralı (her satırda bir tane olmak üzere) dahil edilebilir.

8) Yalnızca ASCII karakterlerini destekler.

9) Bir grup, kime uygulandığı (kullanıcı aracısı) ve bir aracının erişemediği/erişebildiği tüm dosya veya dizinlerin ne olduğu hakkında bilgi sağlar. Yönergeler yukarıdan aşağıya doğru işlenir. Bir web botu kendisini ayrı olarak belirtilebilen veya önce gelen yalnızca bir kural kümesiyle ilişkilendirir.

10) Varsayılan varsayıma göre bir bot "Disallow:" sözdizimi ile herhangi bir dizini veya sayfayı tarayabilir.

11) Dosyada kullanılan yönergeler büyük/küçük harfe duyarlıdır, örneğin Disallow: /one.xml ONE.xml için geçerli değildir.

12) Tamamı için geçerlidir aşağıdakilerden oluşan bir web sitesinin alan adı https veya http protokolü.

Genellikle, Bing ve Google'ın kullanıcı aracıları belirli bir yönerge grubunu kullanır, ancak varsayılan olarak, farklı arama motoru web botları yönergeleri farklı bir şekilde yorumladığından, ilk olarak eşleşen kurallar tercih edilir.

Ayrıca web yöneticilerine, arama motoru botlarının toplam tarama süresini azaltmak için robots.txt dosyalarında mümkün olduğunca crawl-delay sözdizimini kullanmaktan kaçınmaları önerilir.

Robots.txt Tester aracından yardım alabilirsiniz. Google'ın web yöneticisi konsolu Google'ın botunun, Arama'sından zaten engellediğiniz URL'yi tarayıp tarayamadığını kontrol etmek için. Ayrıca robots.txt dosyanızda varsa mantık hatalarını ve sözdizimi uyarısını da gösterebilir. Orada düzenleme yapabilir ve yeniden test edebilirsiniz.

Her şey yolunda gittiğinde, değişikliklerle başa çıkabilir ve web sitesi sunucunuzda bulunan ana dosyanızı güncelleyebilirsiniz. Benzer şekilde, web sitenizin robots.txt dosyasını okuduktan sonra arama motorunun tarama davranışını önceden kontrol etmek için farklı araçlar kullanabilirsiniz.

Ayrıca, web sitenizdeki robots.txt'nin nasıl performans gösterdiğini, web sitenizin sol bölümünde bulunan 'Tarama' bölümündeki 'Engellenen URL'ler; özelliğini kullanarak da kontrol edebilirsiniz. Google Web Yöneticisi Araçları. Bununla birlikte, robots.txt'nin güncel veya güncellenmiş sürümünü göstermeyebilir, ancak test amacıyla kullanılabilir.

Robots.txt dosyanızdaki her şeyin geçerli olup olmadığını ve dosyanın beklendiği gibi doğru şekilde çalışıp çalışmadığını herhangi bir araç kullanarak düzenli olarak kontrol etmeye çalışın! Bu arada, bir arama motorunun izin verilmeyen bir URL'yi robots.txt'den okuyarak tanımlaması ve dizinlemesini kaldırması günler hatta birkaç hafta sürebilir.

Tüm kural setlerini dosyaya dahil ettikten ve robots.txt ile adlandırdıktan sonra, dosyanın sunucudaki web sitesinin ana veya kök klasörüne kaydedilmesi gerekir. Kök düzeyindeki bir klasör, robots.txt'nin alan adınızın yanında görünmesine yardımcı olan bir "www" veya "htdocs" olabilir.

İstenmeyen yönergelerin dosyada belirtilmesinden kaçınarak robots.txt'nin makul bir boyutta tutulması her zaman önerilir. Bunun nedeni, Google'dan John Mueller'in yıllar önce Googlebot'un bir robot.txt dosyasının yalnızca ilk 500kB'lık kısmına erişeceği gerçeğini açıklamış olmasıdır. Devasa bir dosya, eksik bir kural olarak yorumlanabilecek bir satır oluşturmak için istenmeyen bir şekilde kesilebilir.

Web siteleri tarafından web robotları veya tarayıcıları ile iletişim kurmak için kullanılan Robots dışlama protokolü veya robots dışlama standardı olarak da bilinir. Arama motorları web sitelerini kategorize etmek için robotlarını kullanır.

Web yöneticileri robots.txt dosyalarını, web sitelerinin daha iyi indekslenmesi için bu tür robotlara talimat vermek veya onları yönlendirmek için kullanırlar. Web sitenizin herhangi bir alanına kullanıcı aracısı erişimini kontrol etmek istemiyorsanız robots.txt dosyasına ihtiyacınız yoktur. Robots.txt hakkında daha fazla bilgiyi Arama Motoru Botu Nasıl Oluşturulur?

Daha iyi arama motoru sıralamaları için, tarayıcılarının sitenize kolaylıkla ulaşmasına ve erişmesine izin vermek en iyi SEO uygulamasıdır. Web sitemiz genellikle beklentilerimizden çok daha fazla istenmeyen sayfadan oluşur ve arama motoru botları sitenizin her sayfasını taradığında kesinlikle daha fazla zaman tüketecek ve bu kesinlikle sitenizi olumsuz yönde etkileyecektir. sıralaması.

Google, taramak istediği veya tarayabileceği URL sayısına karar vermek için her web sitesinin tarama bütçesini (tarama hızı sınırı ve tarama talebi olmak üzere iki bölüme ayrılır) kullanır. Bu nedenle, bu tür botların veya kullanıcı aracılarının web sitenizin yalnızca en değerli içeriğine erişmesine ve dizine eklemesine yardımcı oluyorsanız robots.txt bir zorunluluktur!

Bir SEO, bir web sitesinde taranması gereken herhangi bir bölümün veya içeriğin engellenmesini asla istemez.

- Google gibi bir arama motorunun Googlebot-Image (görselleri aramak için) gibi birden fazla kullanıcı ajanı olabilir ve Googlebot (organik arama için). Aynı arama motoruna ait birçok kullanıcı aracı aynı kuralları takip edebilir, bu nedenle birçok web yöneticisi bu tarayıcıların her biri için yönergeler belirlemeyi atlar. Bir SEO, tarama davranışlarını daha iyi kontrol etmek için tek bir arama motoruna bağlı olsalar bile her bir tarayıcıya farklı talimatlardan bahsederek bundan yararlanabilir.

- Daha iyi bir SEO için, izin verilmeyen bağlantıların veya sayfaların takip edilmesi gereken başka bağlantılar içermemesi gerekir. Bu nedenle, engellenen sayfa bağlantı hedefine bağlantı eşitliği aktarmamalıdır veya başka bir engelleme mekanizması kullanmak daha iyidir. Ayrıca, arama motorları tarafından erişilebilen diğer sayfalarla, yani meta robotlar, robots.txt veya başka bir şekilde izin verilmeyen web sayfalarıyla bağlantılı olmamalıdırlar. Aksi takdirde, bağlantılı önemli kaynaklar arama motorları tarafından erişilemez ve dizine eklenemez.

- Hedeflenen kullanıcı aracısı tarafından hızlı bir şekilde erişilmesini sağlamak için dosyada yapılan herhangi bir güncellemeden sonra robots.url URL'sini doğrudan Google'a göndermek en iyisidir. Genellikle, bir arama motoru önbelleğe alınmış robots.txt içeriğini günde en az bir kez günceller.

Tümünün veya herhangi birinin yerini belirtmek iyidir site haritaları robots.txt dosyasının alt kısmındaki web sitesinin etki alanına göre. Bu arada, site haritaları, bir web sitesinin sayfaları hakkında URL'leri gibi ayrıntılı bilgileri, önemi, güncelleme aralığı ve son güncelleme gibi ilgili meta verilerle birlikte içeren XML dosyalarıdır.

Tüm bu bilgiler arama motoru botları tarafından bir web sitesini akıllıca taramak için kullanılabilir. Bu şekilde web yöneticileri, Site Haritalarını destekleyen kullanıcı aracılarının site haritasındaki tüm URL'leri bilmesine ve bunlara erişmesine yardımcı olabilir ve bir bağlantıdan diğerine veya başka bir siteden sayfaları keşfetme sürecinde onlar hakkında daha fazla bilgi sahibi olabilir.

Örneğin;

Tarayıcı adresi: https://www.demo.com/robots.txt

Çıktı:

Kullanıcı aracısı: *

İzin verme: *.dl.html

İzin ver: /*.html$

Site Haritası: https://www.demo.com/en-au/sitemap.xml

Site Haritası: https://www.demo.com/en-se/sitemap.xml

Site Haritası: https://www.demo.com/en-us/sitemap.xml

(Yukarıdaki yönergeler robots.txt dosyası aracılığıyla birden fazla site haritasını çağırmak içindir).

Robots.txt ile ilişkili güvenlik riskleri vardır, çünkü birçok kötü niyetli bot onu takip edemez ve biri izin verilmeyen tüm bağlantıları bilmek ve bunlara doğrudan erişmek için kullanabilir. Bu nedenle çözüm olarak, web sitenizin özel içerik içeren alanını parola ile koruyabilirsiniz, böylece bir davetsiz misafir konumunu öğrendikten sonra bile erişemez.

Hassas verileri indekslemeden sunmak veya SERP'lerde görünmek için (doğrudan veya dolaylı olarak, yani beğenilen sayfalar aracılığıyla), sayfayı engellemek için robots.txt'den aynı şeye izin vermemekten başka bir yöntem kullanmak en iyisidir. Bu, dizin meta yönergesi yok veya parola koruma yöntemleri olabilir.

WordPress genellikle web siteleri için doğrudan kök dizinde görülemeyen sanal bir varsayılan robots.txt dosyası oluşturur. Bu nedenle, özellikle bir arama motoru için önemli olmayan giriş veya kayıt sayfasına izin vermemek için herhangi bir varsayılan ayarla örtüşen yeni bir dosya oluşturmak her zaman en iyisidir!

Birçok kişinin kafası genellikle WordPress veya diğer platformlarda Robots txt'nin nasıl kaldırılacağı konusunda karışıktır. Ancak süreç herkes için aynıdır! Robots.txt dosyasının web sitesinin en üst düzey dizinine, yani kök etki alanına veya ana dizine kaydedilmesi gerekir, böylece botların onu kolaylıkla bulmasına yardımcı olur. Dolayısıyla, tek yapmanız gereken dosyayı doğrudan söz konusu klasörden veya konumdan silmektir.

Gizli kullanıcı bilgilerini gizleme talimatlarını robots.txt dosyasının içine eklememeye çalışın. Çünkü bu dosya herkesin erişimine açık bir dosyadır ve kök alan adının sonuna /robots.txt eklenerek yönergeleri görülebilir.

Bu şekilde, herkes sitenin web yöneticisi tarafından tüm sayfaların tüm veya belirli web botları tarafından taranmasına veya taranmamasına izin verildiğini öğrenebilir. Dosya yalnızca "robots.txt" adıyla kaydedilmelidir, çünkü büyük/küçük harfe duyarlıdır, bu nedenle başka hiçbir kombinasyon herhangi bir kullanıcı aracısı tarafından kabul edilmeyecektir!

Son olarak, benzer terimler gibi görünen x-robots, meta robots ve robots.txt arasında kafanız karışmış olabilir. Bunlardan x-robots ve meta meta yönergeleridir ancak robots.txt bir metin dosyasıdır ve farklı işlevleri uygulamak için kullanılırlar.

Daha açık olmak gerekirse, x-robots ve meta, sayfa öğesi (veya tek tek sayfa) düzeyinde dizin oluşturma davranışını belirlerken, robots.txt, yönetici veya site tarafı tarama davranışı hakkında bilgi sağlar.

Arama motoru botlarının aynı siteyi tararken tarama bütçesini iyi harcayarak web sitenizin içeriğini SERP'lerde daha iyi bir şekilde indeksleme ve görüntüleme ve daha görünür hale getirme şansı daha yüksektir. Robots.txt kullanarak otomatik oluşturulan WordPress etiket sayfalarının taranmasını da engelleyebilir ve daha fazla yinelenen içeriği önleyebilirsiniz.

Genel olarak, robots.txt dosyasına neleri dahil edeceğinizle ilgilenirken çok dikkatli olmanız gerekir. Sonuçta, robots.txt dosyasındaki küçük bir hata tüm web sitenizin deindexed edilmesine neden olabilir.