Як використовувати Robots txt для SEO

Кожного разу, коли ми вирушаємо досліджувати нове місце, то для зручності та економії часу нам потрібні орієнтири! Так само, як і такі веб-роботи з Будь-яка пошукова система користується допомогою файлу Robots.txt, щоб отримати уявлення про те, як сканувати сторінки того чи іншого сайту.

До речі, поведінка таких повзунів, що пересуваються по всій території інтернетотримувати доступ до контенту, індексувати та надавати його цільовим користувачам це заснований на групі веб-стандартів, відомих як REP або протокол виключення роботів, який також включає файл robots.txt.

В Простіше кажучи, ми можемо зрозуміти і запам'ятати robots.txt як поєднання двох термінів Robot і Txt. Отже, це txt або текстовий файл, який призначений для використання веб-роботами, можливо, пошуковими системами.

Це також може допомогти веб-майстрам, якщо на сайті потрібно контролювати поведінку скануючого користувача агента, але робити це потрібно обережно, так як заборона важливих або всіх сторінок вашого сайту з такої пошукової системи, як Google, може бути дуже небезпечним.

Веб-майстри веб-сайту можуть використовувати файл robots.txt для надання інструкцій програмному забезпеченню для веб-сканування або агентам користувача щодо що які частини сайту підлягають скануванню, а які ні. Це можна зробити за допомогою інструкцій "дозволити" або "заборонити" у файлі robots.txt для деяких або всіх агентів користувачів-сканерів

Пошукова система в основному відповідає за дві основні задачі, щоб виконати свою роботу. Перше - це виявлення контенту в Інтернеті шляхом сканування та індексування оновлень. Наступним завданням є пошук відповідної інформації у своїй базі даних. проіндексований каталог для видачі потрібного контенту відповідно до пошукового запиту.

Отже, Роботи txt що це таке?

Пошукові системи слідують за посилання та переходити з одного сайту на іншийЦей процес також називається "павутинням". Кожного разу, коли бот або веб-сканер досягає нового веб-сайту, то перед тим, як почати сканування, він спочатку шукає файл robots.txt. Якщо він його знайде, він прочитає його, щоб отримати інформацію про те, як сканувати веб-сайт, особливо про те, до чого можна отримати доступ, а до чого ні! У разі відсутності файлу robots.txt, користувацькі агенти можуть почати сканування іншої інформації, доступної на веб-сайті.

Файл повинен складатися щонайменше з наступних двох елементів;

User-agent: (Назва користувача-агента)

Заборонити: (Рядок URL-адреси, яку не можна сканувати)

Разом наведені вище два рядки можуть розглядатися як дискретний набір директив користувача-агента і відокремлюються від інших наборів за допомогою розриву рядка (/).

Якщо у файлі вказано одне правило для декількох користувачів-агентів, то робот спочатку прочитає і виконає ті директиви, які згадані в окремій групі інструкцій.

Будь-хто може ознайомитися зі змістом файлу robots.txt, наявного на сайті, просто скориставшись браузером.

Потрібно додати файл robots.txt після основного URL на кшталт https//demo.com/robots.txt або його субдомен на зразок https://shop.demo.com/robots.txt.

Обов'язково після кореневого домену повинен бути доступний файл robots.txt. Так само можна вказати і в браузері.

Якщо ви не знайдете жодної сторінки .txt у результатах, це означає, що на веб-сайті наразі відсутня (жива) сторінка robots.txt.

Для кореневого домену (demo.com/robots.txt) і кожного його піддомену (demo.com/robots.txt) повинні бути окремі файли robots.txtблог.demo.com/robots.txt).

Всі інструкції, що містяться у файлі, повинні бути прочитані зверху донизу як людиною, так і будь-яким програмним ботом! Може статися так, що робот або агент користувача не прочитає файл robots.txt веб-сайту. Зазвичай це можливо за допомогою скребків для зчитування адрес електронної пошти або шкідливих роботів типу підлих кроулерів.

Використання файлу robots.txt на сайті має багато переваг. Таких як;

- Попросити пошукові системи до робити не індексувати певні файли, такі як PDF-файли, зображення тощо на вашому сайті. Метадирективи також можуть використовуватися як альтернатива robots.txt для уникнення індексації сторінок, але не працюють для файлів ресурсів.

- Веб-майстер може забезпечити ефективне сканування сайту, надавши корисні поради своїм ботам.

- Щоб пошукові системи не показували ніякого внутрішнього пошуку сторінка результатів на загальнодоступній пошуковій системі SERP.

- Блокуючи певні неважливі або непотрібні сторінки сайту, ви можете максимізувати свій бюджет на пошук на потрібних сторінках.

- Використовуватися як мета-роботи, щоб уникнути дублювання контенту, який буде відображатися в пошуковій видачі.

- З його допомогою ви можете не індексувати результати внутрішнього пошуку або биті сторінки вашого сайту.

- Запобігти перевантаженню веб-серверів, яке можливе при роботі пошукових роботів навантаження одночасно декілька вмістів, додавши деяку затримку повзунка.

- Якщо ви не хочете, щоб люди потрапляли на будь-яку сторінку, яка знаходиться на стадії стадії розробки, це може вплинути на враження, особливо на тих, хто вперше відвідує веб-сайт.

- Для того, щоб допомогти агентам користувачів легко отримати доступ до місцезнаходження карта сайту(s).

Веб-майстер може зробити певний розділ веб-сайту (особливо незавершеного або незавершеного) повністю закритим для пошукових роботів.

Файл robots.txt необхідно створювати, якщо кількість проіндексованих URL перевищує очікування.

Це найкращий за допомогою будь-якого текстового редактора, наприклад, блокнота або вордпада, створити простий текстовий файл, сумісний з правилами, щоб зробити файл robots.txt.

Просто включіть основні директиви, такі як "User agent:" і "Disallow: /", щоб створити базовий файл для веб-сайту.

Будь-хто може включити правила, дотримуючись сумісного синтаксису у файлі robots.txt.

Найкращий спосіб - це спочатку згенерувати карту сайту і включити його URL-адреси внизу, щоб зробити його більш ефективним.

Загальними термінами, які використовуються у файлі robots.txt, є наступні:

- Crawl-delay затримка - Вона вказує на те, скільки часу вказаний пошуковий робот повинен чекати, перш ніж отримати доступ до вмісту сторінки. Команда не спрацює для Googlebot, однак сканер ставка можна встановити з Пошукової консолі Google, щоб виконати ту саму роботу.

- User-agent - згадується конкретний веб-сканер або агент користувача (як правило, пошукова система), якому веб-майстер хоче дати вказівки щодо сканування. Існують технічний назви для пошукових систем, наприклад, Googlebot для Google тощо.

- Дозволити (використовується Google) - це корисний синтаксис для того, щоб доручити Google-боту сканувати підпапку або сторінку, яка присутня в будь-якій батьківській підпапці або на сторінці, яка може бути заборонена.

- Заборонити - це вказівка веб-боту не отримувати доступ до певної URL-адреси. Команда не повинна бути дозволена двічі для будь-якої URL-адреси.

Карта сайту - Будь-який сумісний користувацький агент, такий як Yahoo, Ask, Bing або Google, може отримати доступ до цієї команди, щоб знайти місцезнаходження згаданих XML-карт сайту на основі URL-адреси.

Примітка: Регулярні вирази, такі як знак долара ($) і зірочка (*), можуть бути використані SEO щоб допомогти користувацьким агентам Bing та Google ідентифікувати підпапки або сторінки. Тут * - це синтаксис, що відповідає шаблону, який охоплює всі можливі варіанти закінчення URL-адреси, а * - це інша послідовність символів, що працює як простий підстановочний знак.

Це можна зробити, заблокувавши або заборонивши веб-ботів, вказавши директиви для кожного з них або для всіх заборонити доступ до сторінки або підпапки веб-сайту.

Ось деякі директиви, які зазвичай використовуються у файлі robots.txt для інструктажу своїх користувацьких агентів або веб-сканерів;

1) Дозволити кожному веб-сканеру знайти весь контент

Синтаксис: User-agent: * Заборонити:

2) Заборона певному веб-сканеру доступу до папки

Синтаксис: User-agent: Googlebot Заборонити: /extra-subfolder/

(Вищевказана інструкція просить пошуковий робот Google не звертатися до будь-яких сторінок за адресою www.site-name.com/extra-subfolder/)

3) Заборона всім пошуковим роботам доступу до будь-якого контенту

Синтаксис: User-agent: * Заборонити: /

(Ви можете використовувати просту інструкцію як рішення Як заблокувати ботів Robots txt?)

4) Заборона певному веб-сканеру доступу до певної веб-сторінки

Синтаксис: User-agent: Googlebot Заборонити: /extra-subfolder/useless-page.html

Популярна пошукова система використовує багато павук програмне забезпечення, яке обертається по всьому Інтернету і сканує веб-сайти. Серед них - Googlebot, Googlebot-images (використовується для пошуку зображень) та Googlebot-news (індексує та надає користувачам інформацію про новини).

Використовуйте текстовий редактор, який може створити стандартний текстовий файл у кодуванні UTF-8. Створення файлу за допомогою текстового процесора може додати будь-які несподівані символи, такі як фігурні лапки, і може зберегти його в будь-якому пропрієтарному форматі, що може спричинити проблеми для розуміння інструкцій пошуковими роботами. Коментарі можуть бути додані після вказівки символу або позначки #.

Наводимо деякі рекомендації щодо створення файлу спеціально для агентів користувачів Google;

1) Файл повинен відповідати Стандарту виключення роботів.

2) Він може включати одне або декілька правил, що дозволяють або блокують доступ зазначеному пошуковику до певного шляху сайту.

3) Веб-майстер повинен знати майже весь синтаксис файлу robots.txt, щоб розуміти тонкощі поведінки кожного синтаксису.

4) На сайті не може бути більше одного файлу robots.txt.

5) Файл підтримує обидва піддомени (наприклад, http://website.demo.com/robots.txt або будь-який нестандартний порт, наприклад, (http://demo:8181/robots.txt).

6) Якщо ви не знаєте або не маєте доступу до кореневої папки вашого веб-сайту, найкраще звернутися до постачальника послуг хостингу, щоб файл robots.txt залишався в цій папці. Якщо у вас немає доступу до кореневої папки сайту, використовуйте мета-теги як альтернативний метод блокування.

7) До файлу robots.txt може бути включено більше однієї групової директиви або правила (згадуються по одному в рядку).

8) Підтримує тільки символи ASCII.

9) Група містить інформацію про те, для кого вона призначена (користувач-агент), а також про всі файли або каталоги, до яких агент не може/може отримати доступ. Директиви обробляються зверху вниз. Веб-бот асоціює себе тільки з одним набором правил, який може бути вказаний окремо або стояти першим.

10) За замовчуванням бот може переглядати будь-який каталог або сторінку за допомогою синтаксису "Disallow:".

11) Директиви, що використовуються у файлі, є чутливими до регістру, наприклад, Disallow: /one.xml не застосовується до ONE.xml.

12) Це стосується повною мірою домен веб-сайту, що складається з протокол https або http.

Зазвичай, користувацькі агенти Bing та Google працюють з певною групою директив, але за замовчуванням, по-перше, перевага надається правилам збігу, оскільки різні пошукові боти по-різному інтерпретують директиви.

Також веб-майстрам рекомендується максимально уникати використання синтаксису crawl-delay у файлі robots.txt, щоб зменшити загальний час сканування ботами пошукових систем.

Ви можете скористатися інструментом robots.txt Tester, доступним на сайті Консоль для вебмайстрів Google перевірити, чи можуть боти Google сканувати URL-адресу, яку ви вже заблокували в пошуковій видачі. Він також може показати логічні помилки та синтаксичні попередження, якщо такі є у вашому robots.txt. Ви можете внести туди правки і повторно протестувати його.

Після того, як все в порядку, ви можете впоратися зі змінами і оновити ваш основний файл, розташований на сервері вашого сайту. Аналогічно, ви можете використовувати різні інструменти, щоб заздалегідь перевірити поведінку пошукових систем після прочитання файлу robots.txt вашого веб-сайту.

Ви також можете перевірити, як працює файл robots.txt на вашому веб-сайті, використовуючи функцію "Заблоковані URL-адреси;" в розділі "Сканування", що знаходиться в лівій частині Інструменти для веб-майстрів Google. Однак він може не відображати поточну або оновлену версію robots.txt, але може бути використаний для тестування.

Намагайтеся регулярно перевіряти файл robots.txt за допомогою будь-якого інструменту на предмет того, чи все в ньому коректно і чи працює файл належним чином, як очікувалося! До речі, пошуковій системі може знадобитися багато днів або навіть кілька тижнів, щоб виявити заборонену URL-адресу, прочитавши приблизно те ж саме в robots.txt, і зняти її з індексації.

Після включення всіх наборів правил у файл і присвоєння йому імені robots.txt його необхідно зберегти в головній або кореневій папці сайту на сервері. Папка кореневого рівня може бути "www" або "htdocs", що допоможе robots.txt з'явитися поруч з вашим доменним ім'ям.

Завжди рекомендується дотримуватися розумного розміру robots.txt, уникаючи згадування в ньому небажаних директив. Це пов'язано з тим, що за багато років до цього Джон Мюллер з Google вже уточнив той факт, що Googlebot матиме доступ лише до перших 500 кБ файлу robot.txt. Гігантський файл може бути усічений небажаним чином, утворюючи рядок, який може бути інтерпретований як неповне правило.

Він також відомий як протокол виключення роботів або стандарт виключення роботів, який використовується веб-сайтами для спілкування з веб-роботами або сканерами. Пошукові системи використовують своїх роботів для категоризації веб-сайтів.

Веб-майстри використовують файли robots.txt для того, щоб давати вказівки або керувати роботами для кращого індексування своїх веб-сайтів. Вам не потрібен файл robots.txt, якщо ви не хочете контролювати доступ користувачів-агентів до будь-якої області вашого веб-сайту. Більш детальну інформацію про файл robots.txt можна знайти в будь-якій темі, наприклад, "Як створити пошукового робота?".

Для кращого ранжування в пошукових системах найкращою практикою SEO є надання можливості пошуковим роботам легко дістатися до вашого сайту та отримати до нього доступ. Наш веб-сайт, як правило, складається з великої кількості небажаних сторінок, ніж ми очікували, і коли пошукові боти сканують будь-яку сторінку вашого сайту, це, безсумнівно, займе більше часу, і це, безсумнівно, негативно вплине на його рейтинг.

Google використовує бюджет сканування (розділений на дві частини, ліміт швидкості сканування та попит на сканування) для кожного веб-сайту, щоб визначити кількість URL-адрес, які він хоче або може просканувати. Отже, якщо ви допомагаєте таким ботам або агентам користувача отримувати доступ та індексувати лише найцінніший вміст вашого сайту, файл robots.txt просто необхідний!

SEO ніколи не хоче, щоб будь-які розділи або вміст сайту, які необхідні для сканування, були заблоковані.

- Пошукова система, така як Google, може мати декілька користувацьких агентів, таких як Googlebot-Image (для пошуку зображень) та Googlebot (для органічного пошуку). Багато користувацьких агентів, що належать одній пошуковій системі, можуть слідувати одним і тим же правилам, тому багато веб-майстрів не вказують директиви для кожного з цих пошукових роботів. SEO може скористатися цим, вказавши різні інструкції для кожного з пошукових роботів, навіть якщо вони прагнуть до однієї пошукової системи, щоб краще контролювати їх поведінку під час сканування.

- Для кращого SEO необхідно, щоб заборонені посилання або сторінки не містили подальших посилань, на які необхідно перейти. Таким чином, заблокована сторінка не повинна містити пасивних посилань на сайт призначення або краще використовувати будь-який інший механізм блокування. Вони також не повинні бути пов'язані з іншими сторінками, доступними для пошукових систем, тобто веб-сторінками, які не заборонені мета-роботами, robots.txt або іншим чином. В іншому випадку, важливі ресурси, на які є посилання, не будуть доступні та проіндексовані пошуковими системами.

- Найкраще надавати URL-адресу robots.url безпосередньо в Google після будь-яких оновлень файлу, щоб забезпечити швидкий доступ до нього цільового агента користувача. Як правило, пошукова система оновлює кешований вміст robots.txt щонайменше раз на добу.

Добре зазначити місцезнаходження всіх або деяких карти сайту на основі домену сайту в нижній частині файлу robots.txt. До речі, карти сайту - це XML-файли, які містять детальну інформацію про сторінки веб-сайту, а саме їх URL-адреси з відповідними метаданими, такими як важливість, інтервал оновлення та останнє оновлення.

Вся така інформація може бути використана пошуковими ботами для інтелектуального сканування веб-сайту. Таким чином, веб-майстри можуть допомогти агентам користувачів, які підтримують карти сайту, знати і мати доступ до всіх URL-адрес з карти сайту і знати більше про них в процесі відкриття сторінок за одним посиланням на інше в межах одного або з іншого сайту.

Наприклад;

Адреса в браузері: https://www.demo.com/robots.txt

Виходьте:

Користувач-агент: *

Заборонити: *.dl.html

Дозвольте: /*.html$

Веб-сайт: https://www.demo.com/en-au/sitemap.xml

Веб-сайт: https://www.demo.com/en-se/sitemap.xml

Веб-сайт: https://www.demo.com/en-us/sitemap.xml

(Наведені вище директиви призначені для виклику декількох карт сайту через файл robots.txt).

З файлом robots.txt пов'язані певні ризики для безпеки, оскільки багато зловмисних ботів не можуть слідувати за ним, а також через нього можна дізнатися про всі заборонені посилання і отримати до них прямий доступ. Тому як рішення, ви можете захистити паролем область вашого веб-сайту, яка містить приватний вміст, щоб зловмисник не міг отримати доступ до нього, навіть знаючи його місцезнаходження.

Для того, щоб представити конфіденційні дані для індексації або потрапити в пошукову видачу (прямо або опосередковано, наприклад, через вподобані сторінки), найкраще використовувати будь-який інший спосіб, ніж заборона на блокування сторінки в robots.txt. Це може бути як відсутність метадирективи індексу, так і парольний захист.

WordPress зазвичай створює віртуальний файл robots.txt за замовчуванням в корені безпосередньо для своїх сайтів, який не видно в каталозі. Тому завжди краще створити новий файл, який перекриває будь-які налаштування за замовчуванням, особливо, щоб заборонити сторінку входу або реєстрації, яка не має значення для пошукової системи!

Багато людей зазвичай плутаються в тому, як видалити Robots txt в WordPress або інших платформах. Однак процес однаковий для всіх! Файл robots.txt повинен бути збережений у каталозі верхнього рівня веб-сайту, тобто в кореневому домені або головному каталозі, щоб допомогти ботам легко знайти його. Отже, все, що вам потрібно - це видалити файл безпосередньо з цієї папки або місця розташування.

Намагайтеся не включати в файл robots.txt інструкції по приховуванню конфіденційної інформації користувача. Оскільки цей файл є загальнодоступним, його директиви можна побачити, додавши в кінці кореневого домену /robots.txt.

Таким чином, будь-хто може дізнатися, які сторінки сайту дозволені веб-майстром сайту для сканування або не дозволені всім або певним веб-ботам. Файл повинен бути збережений тільки з ім'ям "robots.txt", оскільки він чутливий до регістру, тому жодна інша комбінація не буде прийнята будь-яким користувацьким агентом!

Нарешті, ви можете заплутатися між x-robots, мета-роботами та robots.txt, які звучать як схожі терміни. Зокрема, x-robots і meta - це метадирективи, а robots.txt - це текстовий файл, і вони використовуються для застосування різних функцій.

Зокрема, x-роботи та мета-дані визначають поведінку індексації на рівні елементів сторінки (або окремої сторінки), тоді як robots.txt підтверджує інформацію про поведінку сканування на рівні директорії або на рівні сайту.

Існує більше шансів, що боти пошукової системи зможуть краще індексувати і відображати вміст вашого сайту в результатах пошуку і зробити його більш видимим, добре витрачаючи свій бюджет на сканування при скануванні одного і того ж сайту. За допомогою robots.txt можна також заблокувати сканування автоматично згенерованих сторінок тегів WordPress і запобігти появі дубльованого контенту.

Загалом, до того, що саме вносити до файлу robots.txt, потрібно підходити дуже уважно. Адже невелика помилка у файлі robots.txt може призвести до деіндексації всього сайту.