Cách sử dụng tệp robots.txt cho SEO

Mỗi khi chúng ta khám phá một địa điểm mới, chúng ta cần sự hướng dẫn để tiện lợi và tiết kiệm thời gian! Cùng cách đó, Các robot web như vậy của Bất kỳ công cụ tìm kiếm nào cũng sử dụng tệp Robots.txt để xác định cách thu thập dữ liệu các trang web cụ thể.

Thêm vào đó, hành vi của các trình thu thập dữ liệu này là di chuyển khắp nơi trên Internet, truy cập, lập chỉ mục và cung cấp nội dung cho người dùng mục tiêu. là Dựa trên một nhóm tiêu chuẩn web được gọi là REP (Robots Exclusion Protocol), bao gồm cả tệp robots.txt.

Trong Một cách đơn giản, chúng ta có thể hiểu và ghi nhớ robots.txt là sự kết hợp của hai thuật ngữ Robot và Txt. Do đó, đây là một tệp tin txt hoặc văn bản được thiết kế để sử dụng bởi các robot web, đặc biệt là của các công cụ tìm kiếm.

Nó cũng có thể giúp các quản trị viên website kiểm soát hành vi thu thập dữ liệu của một trình thu thập dữ liệu, nhưng việc này phải được thực hiện cẩn thận, vì việc chặn truy cập vào các trang quan trọng hoặc tất cả các trang có thể gây ra vấn đề. trang Việc trang web của bạn bị loại khỏi công cụ tìm kiếm như Google có thể gây ra những rủi ro nghiêm trọng.

Quản trị viên trang web có thể sử dụng tệp robots.txt để hướng dẫn phần mềm thu thập dữ liệu web hoặc các tác nhân người dùng để gì Tất cả các phần của trang web cần được thu thập dữ liệu và các phần khác. Điều này có thể được thực hiện bằng cách sử dụng các lệnh “allow” hoặc “disallow” trong tệp robots.txt cho một số hoặc tất cả các tác nhân người dùng thu thập dữ liệu.

Một công cụ tìm kiếm chủ yếu chịu trách nhiệm thực hiện hai nhiệm vụ chính để hoàn thành công việc của mình. Nhiệm vụ đầu tiên là thu thập nội dung từ web bằng cách thu thập dữ liệu từ mọi nơi và lập chỉ mục các bản cập nhật. Nhiệm vụ tiếp theo là tìm kiếm thông tin liên quan trong cơ sở dữ liệu của nó. được lập chỉ mục Thư mục để cung cấp nội dung phù hợp theo truy vấn tìm kiếm.

Vậy, Robots.txt là gì?

Các công cụ tìm kiếm tuân theo Liên kết và chuyển từ trang web này sang trang web khác, Quá trình này còn được gọi là “spidering”. Mỗi khi bot hoặc trình thu thập dữ liệu web truy cập vào một trang web mới, trước khi bắt đầu quá trình spidering, nó sẽ tìm kiếm tệp robots.txt. Nếu tìm thấy tệp này, nó sẽ đọc nó để thu thập thông tin về cách thu thập dữ liệu trang web, đặc biệt là những gì có thể truy cập và những gì không! Trong trường hợp không có tệp robots.txt, các user-agents có thể bắt đầu thu thập dữ liệu các thông tin khác có sẵn trên trang web.

Tệp tin phải bao gồm ít nhất hai thành phần sau:;

User-agent: (Tên của user-agent) Disallow: (Dòng URL không được phép thu thập dữ liệu)

Hai dòng trên có thể được xem như một tập hợp rời rạc các chỉ thị user-agent và được tách biệt với các tập hợp khác bằng một dòng ngắt (/).

Nếu trong tệp có quy tắc được chỉ định cho nhiều hơn một user-agent, trình thu thập dữ liệu sẽ trước tiên đọc và tuân theo các hướng dẫn được đề cập trong một nhóm hướng dẫn riêng biệt.

Bất kỳ ai cũng có thể xem nội dung của tệp robots.txt trên một trang web bằng cách sử dụng phương pháp trình duyệt.

Bạn cần thêm tệp robots.txt sau trang chính. URL như https://demo.com/robots.txt hoặc các tên miền con của nó như https://shop.demo.com/robots.txt.

Tệp robots.txt phải được đặt sau tên miền gốc. Vì vậy, bạn có thể nhập địa chỉ này vào trình duyệt.

Nếu bạn không tìm thấy bất kỳ trang .txt nào trong kết quả đầu ra, điều này có nghĩa là hiện tại không có trang robots.txt (hoạt động) trên trang web.

Nên có các tệp robots.txt riêng biệt cho tên miền gốc (demo.com/robots.txt) và mỗi tên miền con của nó (blog.demo.com/robots.txt).

Tất cả các hướng dẫn có trong tệp phải được đọc từ trên xuống dưới bởi con người hoặc bất kỳ phần mềm bot nào! Có thể xảy ra trường hợp robot hoặc trình duyệt web không đọc tệp robots.txt của một trang web. Điều này thường xảy ra với các công cụ thu thập địa chỉ email hoặc các robot malware thuộc loại trình thu thập dữ liệu độc hại.

Có nhiều lợi ích khi sử dụng robots.txt trên một trang web. Chẳng hạn như;

– Để hỏi các công cụ tìm kiếm để làm Không lập chỉ mục các tệp như PDF, hình ảnh, v.v. trên trang web của bạn. Các chỉ thị meta cũng có thể được sử dụng như một giải pháp thay thế cho robots.txt để tránh lập chỉ mục các trang, nhưng không áp dụng cho các tệp tài nguyên.

– Một quản trị viên website có thể đảm bảo quá trình thu thập dữ liệu website diễn ra hiệu quả bằng cách cung cấp các thông tin hữu ích. Mẹo đến các bot của nó.

– Để tránh các công cụ tìm kiếm hiển thị bất kỳ kết quả tìm kiếm nội bộ nào. Trang kết quả trên trang kết quả tìm kiếm công khai (SERP).

– Bằng cách chặn các trang web không quan trọng hoặc không cần thiết, bạn có thể tối ưu hóa ngân sách thu thập dữ liệu cho các trang web cần thiết.

– Sử dụng tương tự như thẻ meta-robots để tránh hiển thị nội dung trùng lặp trong kết quả tìm kiếm (SERPs).

– Bạn có thể sử dụng tính năng này để không lập chỉ mục kết quả tìm kiếm nội bộ hoặc các trang web bị hỏng trên trang web của bạn.

– Để ngăn chặn tình trạng quá tải của các máy chủ web có thể xảy ra khi các trình thu thập dữ liệu (crawlers) hoạt động. tải Xử lý nhiều nội dung cùng lúc bằng cách thêm thời gian chờ giữa các lần thu thập dữ liệu.

– Nếu bạn không muốn người dùng truy cập vào bất kỳ trang nào đang ở phiên bản thử nghiệm, điều này có thể ảnh hưởng đến ấn tượng, đặc biệt là đối với người truy cập lần đầu tiên vào trang web.

– Để giúp các trình duyệt web dễ dàng truy cập vị trí của Sơ đồ trang web(s).

Một quản trị viên website có thể giữ một phần cụ thể của trang web (đặc biệt là những trang đang trong quá trình xây dựng hoặc chưa hoàn thiện) hoàn toàn riêng tư khỏi các bot thu thập dữ liệu.

Nếu số lượng URL được lập chỉ mục vượt quá dự kiến, việc tạo file robots.txt là cần thiết.

Đó là tốt nhất Sử dụng bất kỳ trình soạn thảo văn bản nào như Notepad hoặc WordPad để tạo một tệp văn bản đơn giản tuân thủ các quy tắc để tạo tệp robots.txt.

Chỉ cần bao gồm các chỉ thị cơ bản như “User agent:” và “Disallow: /” để tạo một tệp cơ bản cho trang web.

Bất kỳ ai cũng có thể thêm các quy tắc bằng cách tuân theo cú pháp tương thích trong tệp robots.txt.

Cách tốt nhất là trước tiên tạo sơ đồ trang web (sitemap) cho trang web của bạn và thêm các URL của nó vào phần cuối để tăng hiệu quả.

Các thuật ngữ thông dụng được sử dụng trong tệp robots.txt là:

– Thời gian trễ khi thu thập dữ liệu – Nó chỉ ra thời gian mà một trình thu thập dữ liệu cụ thể cần chờ đợi trước khi truy cập nội dung của một trang. Lệnh này sẽ không hoạt động đối với Googlebot, tuy nhiên quá trình thu thập dữ liệu tỷ lệ Có thể được thiết lập từ Google Search Console để thực hiện cùng một tác vụ.

– User-agent – Nó đề cập đến một trình thu thập dữ liệu web cụ thể hoặc trình duyệt người dùng (thường là công cụ tìm kiếm) mà quản trị viên trang web muốn cung cấp hướng dẫn thu thập dữ liệu. Có kỹ thuật Tên cho các công cụ tìm kiếm như Googlebot của Google và các công cụ tương tự.

– Cho phép (được Google sử dụng) – Đây là cú pháp hữu ích để hướng dẫn Googlebot thu thập dữ liệu một thư mục con hoặc một trang nằm bên trong bất kỳ thư mục con cha nào, hoặc một trang có thể bị chặn.

– Cấm – Lệnh này dùng để chỉ định cho bot web không truy cập vào bất kỳ URL cụ thể nào. Lệnh này không được phép được áp dụng hai lần cho bất kỳ URL nào.

-Sitemap – Bất kỳ trình thu thập dữ liệu tương thích nào như Yahoo, Ask, Bing hoặc Google đều có thể truy cập lệnh này để xác định vị trí của các tệp XML sitemap được đề cập dựa trên một URL.

Lưu ý: Các biểu thức chính quy như dấu đô la ($) và dấu sao (*) có thể được sử dụng bởi Tối ưu hóa công cụ tìm kiếm Để hỗ trợ các trình duyệt của Bing và Google trong việc xác định các thư mục con hoặc trang web. Dấu * là cú pháp khớp mẫu để bao quát tất cả các tùy chọn kết thúc URL có thể có, và * đại diện cho một chuỗi ký tự khác nhau, hoạt động như một ký tự đại diện đơn giản.

Điều này có thể thực hiện bằng cách chặn hoặc không cho phép các bot web truy cập bằng cách thiết lập các chỉ thị cho từng bot hoặc tất cả bot không được truy cập vào một trang web hoặc thư mục con của trang web đó.

Dưới đây là một số chỉ thị thường được sử dụng trong tệp robots.txt để hướng dẫn các trình thu thập thông tin web hoặc trình thu thập dữ liệu web;

1) Cho phép mọi trình thu thập dữ liệu web truy cập và thu thập toàn bộ nội dung.

Cú pháp: User-agent: * Disallow:

2) Chặn một trình thu thập dữ liệu web cụ thể truy cập vào một thư mục.

Cú pháp: User-agent: Googlebot Disallow: /extra-subfolder/

(Hướng dẫn trên yêu cầu trình thu thập dữ liệu của Google không truy cập vào bất kỳ trang nào tại địa chỉ www.site-name.com/extra-subfolder/)

3) Không cho phép tất cả các trình thu thập dữ liệu web truy cập vào bất kỳ nội dung nào.

Cú pháp: User-agent: * Disallow: /

(Bạn có thể sử dụng hướng dẫn đơn giản này như một giải pháp cho câu hỏi "Làm thế nào để chặn bot bằng tệp robots.txt?")

4) Không cho phép một trình thu thập dữ liệu web cụ thể truy cập vào một trang web cụ thể.

Cú pháp: User-agent: Googlebot Disallow: /extra-subfolder/useless-page.html

Công cụ tìm kiếm phổ biến sử dụng nhiều nhện Phần mềm này hoạt động trên toàn bộ mạng internet và quét các trang web. Các phiên bản nổi bật bao gồm Googlebot, Googlebot-images (dùng để quét hình ảnh) và Googlebot-news (để lập chỉ mục và cung cấp thông tin tin tức cho người dùng).

Sử dụng trình soạn thảo văn bản có thể tạo tệp văn bản chuẩn UTF-8. Việc tạo tệp bằng trình xử lý văn bản có thể thêm các ký tự không mong muốn như dấu ngoặc kép cong và có thể lưu tệp ở định dạng độc quyền, điều này có thể gây ra vấn đề cho các trình thu thập dữ liệu khi hiểu các hướng dẫn. Các bình luận có thể được thêm sau khi chỉ định ký tự hoặc dấu #.

Dưới đây là một số gợi ý về cách tạo tệp đặc biệt dành cho các trình duyệt của Google;

1) Tệp tin phải tuân thủ Tiêu chuẩn Loại trừ Robot.

2) Nó có thể bao gồm một hoặc nhiều quy tắc cho phép hoặc chặn quyền truy cập của trình thu thập dữ liệu được chỉ định vào một đường dẫn cụ thể của trang web.

3) Một quản trị viên website nên nắm vững hầu hết các cú pháp của tệp robots.txt để hiểu rõ hành vi tinh tế của từng cú pháp.

4) Trang web không được có hơn một tệp robots.txt.

5) Tệp tin hỗ trợ cả các tên miền con (ví dụ: http://website.demo.com/robots.txt) và các cổng không tiêu chuẩn (ví dụ: http://demo:8181/robots.txt).

6) Nếu bạn không biết hoặc không có quyền truy cập vào thư mục gốc của trang web, tốt nhất là liên hệ với nhà cung cấp dịch vụ hosting để đặt tệp robots.txt trong thư mục đó. Trong trường hợp không thể truy cập vào thư mục gốc của trang web, hãy sử dụng thẻ meta làm phương pháp chặn thay thế.

7) Có thể bao gồm nhiều hơn một hướng dẫn hoặc quy tắc cho nhóm (mỗi hướng dẫn hoặc quy tắc được ghi trên một dòng riêng biệt) trong tệp robots.txt.

8) Nó chỉ hỗ trợ các ký tự ASCII.

9) Một nhóm cung cấp thông tin về đối tượng mà nó áp dụng (user agent) và các tệp hoặc thư mục mà một agent không thể/có thể truy cập. Các chỉ thị được xử lý từ trên xuống dưới. Một web bot chỉ liên kết với một bộ quy tắc duy nhất, có thể được chỉ định riêng biệt hoặc được ưu tiên hàng đầu.

10) Theo mặc định, một bot có thể thu thập dữ liệu từ bất kỳ thư mục hoặc trang web nào bằng cú pháp “Disallow:”.

11) Các chỉ thị được sử dụng trong tệp là nhạy cảm với chữ hoa/thường, ví dụ: Disallow: /one.xml không áp dụng cho ONE.xml.

12) Áp dụng cho toàn bộ Tên miền của một trang web bao gồm một trong hai loại sau: Giao thức HTTPS hoặc HTTP.

Thông thường, các trình duyệt của Bing và Google tuân theo một nhóm chỉ thị cụ thể, nhưng theo mặc định, các quy tắc khớp trước được ưu tiên vì các bot tìm kiếm của các công cụ tìm kiếm khác nhau giải thích các chỉ thị theo cách khác nhau.

Cũng được khuyến nghị cho các quản trị viên website nên tránh sử dụng cú pháp crawl-delay càng nhiều càng tốt trong tệp robots.txt của họ để giảm thiểu tổng thời gian thu thập dữ liệu của các bot tìm kiếm.

Bạn có thể sử dụng công cụ kiểm tra robots.txt có sẵn trên trang web. Bảng điều khiển quản trị viên web của Google Để kiểm tra xem các bot của Google có thể thu thập dữ liệu từ URL mà bạn đã chặn khỏi kết quả tìm kiếm của Google hay không. Nó cũng có thể hiển thị các lỗi logic và cảnh báo cú pháp nếu có trong tệp robots.txt của bạn. Bạn có thể chỉnh sửa tệp đó và thử lại.

Khi mọi thứ đã ổn định, bạn có thể thích nghi với các thay đổi và cập nhật tệp chính của mình trên máy chủ website. Tương tự, bạn có thể sử dụng các công cụ khác nhau để kiểm tra trước hành vi thu thập dữ liệu của công cụ tìm kiếm sau khi đọc tệp robots.txt của website.

Bạn cũng có thể kiểm tra hiệu suất của tệp robots.txt trên trang web của mình bằng cách sử dụng tính năng ‘URL bị chặn‘ trong phần ’Crawl’ được cung cấp ở phần bên trái của Công cụ Quản trị Trang web của Google. Tuy nhiên, nó có thể không hiển thị phiên bản hiện tại hoặc đã được cập nhật của robots.txt, nhưng có thể được sử dụng cho mục đích kiểm tra.

Hãy thường xuyên kiểm tra tệp robots.txt của bạn bằng bất kỳ công cụ nào để đảm bảo mọi thứ trong tệp đều hợp lệ và tệp hoạt động đúng như mong đợi! Thêm vào đó, có thể mất nhiều ngày hoặc thậm chí vài tuần để công cụ tìm kiếm nhận diện một URL bị chặn bằng cách đọc thông tin từ tệp robots.txt và loại bỏ việc lập chỉ mục của nó.

Sau khi thêm tất cả các bộ quy tắc vào tệp và đặt tên cho nó là robots.txt, tệp này cần được lưu trữ trong thư mục chính hoặc thư mục gốc của trang web trên máy chủ. Thư mục gốc có thể là “www’ hoặc “htdocs”, giúp tệp robots.txt xuất hiện bên cạnh tên miền của bạn.

Luôn được khuyến nghị duy trì kích thước hợp lý cho tệp robots.txt bằng cách tránh đề cập đến các chỉ thị không mong muốn trong tệp. Điều này là do John Mueller của Google đã làm rõ từ nhiều năm trước rằng Googlebot chỉ truy cập 500kB đầu tiên của tệp robots.txt. Một tệp quá lớn có thể bị cắt ngắn theo cách không mong muốn, tạo thành một dòng có thể được hiểu là quy tắc không hoàn chỉnh.

Nó còn được gọi là "Robots Exclusion Protocol" hoặc "Robots Exclusion Standard", là tiêu chuẩn được các trang web sử dụng để giao tiếp với các robot hoặc trình thu thập dữ liệu web. Các công cụ tìm kiếm sử dụng các robot của mình để phân loại các trang web.

Các quản trị viên website sử dụng tệp robots.txt để hướng dẫn các robot thu thập dữ liệu tối ưu hóa việc lập chỉ mục cho trang web của họ. Bạn không cần tệp robots.txt nếu không muốn kiểm soát quyền truy cập của các trình thu thập dữ liệu vào bất kỳ khu vực nào trên trang web của mình. Bạn có thể tìm thêm thông tin chi tiết về tệp robots.txt trong các chủ đề nâng cao như "Cách tạo bot tìm kiếm?"

Để cải thiện thứ hạng trên công cụ tìm kiếm, một trong những thực hành SEO tốt nhất là cho phép các trình thu thập dữ liệu của công cụ tìm kiếm truy cập và thu thập thông tin từ trang web của bạn một cách dễ dàng. Trang web của chúng ta thường chứa nhiều trang không mong muốn hơn so với dự kiến, và khi các bot tìm kiếm thu thập dữ liệu trên mọi trang của trang web, điều này sẽ tốn nhiều thời gian hơn và chắc chắn sẽ ảnh hưởng tiêu cực đến thứ hạng của nó. xếp hạng.

Google sử dụng ngân sách thu thập dữ liệu (gồm hai phần: giới hạn tốc độ thu thập và nhu cầu thu thập) cho mỗi trang web để quyết định số lượng URL mà nó muốn hoặc có thể thu thập. Vì vậy, nếu bạn muốn giúp các bot hoặc tác nhân người dùng truy cập và lập chỉ mục chỉ nội dung quan trọng nhất của trang web, robots.txt là điều bắt buộc!

Một chuyên gia SEO không bao giờ muốn bất kỳ phần nào hoặc nội dung nào của trang web bị chặn, đặc biệt là những phần cần thiết để công cụ tìm kiếm thu thập dữ liệu.

– Một công cụ tìm kiếm như Google có thể có nhiều user-agent khác nhau, chẳng hạn như Googlebot-Image (để tìm kiếm hình ảnh) và Googlebot (cho tìm kiếm tự nhiên). Nhiều trình thu thập dữ liệu thuộc cùng một công cụ tìm kiếm có thể tuân theo cùng một quy tắc, do đó nhiều quản trị viên website bỏ qua việc chỉ định các chỉ thị cho từng trình thu thập dữ liệu này. Một chuyên gia SEO có thể tận dụng điều này bằng cách đưa ra các hướng dẫn khác nhau cho từng trình thu thập dữ liệu, ngay cả khi chúng thuộc về cùng một công cụ tìm kiếm, để kiểm soát tốt hơn hành vi thu thập dữ liệu của chúng.

– Để tối ưu hóa SEO, các liên kết hoặc trang bị chặn không được chứa bất kỳ liên kết nào khác cần được theo dõi. Do đó, trang bị chặn không nên truyền giá trị liên kết đến đích của liên kết hoặc tốt hơn là sử dụng cơ chế chặn khác. Chúng cũng không được liên kết với các trang khác có thể truy cập được bởi các công cụ tìm kiếm, tức là các trang web không bị chặn bởi thẻ meta robots, robots.txt hoặc các phương thức khác. Nếu không, các tài nguyên liên kết quan trọng sẽ không được truy cập và lập chỉ mục bởi các công cụ tìm kiếm.

– Tốt nhất là nên gửi URL robots.txt trực tiếp lên Google sau khi thực hiện bất kỳ cập nhật nào trên tệp để đảm bảo người dùng mục tiêu có thể truy cập nhanh chóng. Thông thường, công cụ tìm kiếm cập nhật nội dung robots.txt đã được lưu trong bộ nhớ cache ít nhất một lần mỗi ngày.

Nên đề cập đến vị trí của tất cả hoặc bất kỳ Sơ đồ trang web Dựa trên tên miền của trang web ở phần cuối của tệp robots.txt. Thêm vào đó, sơ đồ trang web (sitemap) là các tệp XML chứa thông tin chi tiết về các trang của một trang web, bao gồm URL của chúng cùng với các metadata liên quan như mức độ quan trọng, khoảng thời gian cập nhật và lần cập nhật gần nhất.

Tất cả thông tin này có thể được các bot tìm kiếm sử dụng để thu thập dữ liệu trang web một cách thông minh. Do đó, các quản trị viên trang web có thể hỗ trợ các tác nhân người dùng hỗ trợ Sitemaps để biết và truy cập tất cả các URL từ sơ đồ trang web, đồng thời hiểu rõ hơn về chúng trong quá trình khám phá các trang từ liên kết này sang liên kết khác trong cùng một trang web hoặc từ trang web khác.

Ví dụ:;

Địa chỉ trình duyệt: https://www.demo.com/robots.txt

Kết quả:

User-agent: *

Không cho phép: *.dl.html

Cho phép: /*.html$

Sơ đồ trang web: https://www.demo.com/en-au/sitemap.xml

Sơ đồ trang web: https://www.demo.com/en-se/sitemap.xml

Sơ đồ trang web: https://www.demo.com/en-us/sitemap.xml

(Các hướng dẫn trên nhằm mục đích gọi nhiều hơn một tệp sitemap thông qua tệp robots.txt.)

Có những rủi ro bảo mật liên quan đến tệp robots.txt vì nhiều bot độc hại không thể tuân thủ nó, đồng thời người dùng có thể sử dụng nó để biết tất cả các liên kết bị cấm và truy cập trực tiếp vào chúng. Do đó, giải pháp là bạn có thể bảo vệ bằng mật khẩu khu vực trên trang web chứa nội dung riêng tư để kẻ xâm nhập không thể truy cập vào nó ngay cả khi đã biết vị trí của nó.

Để hiển thị dữ liệu nhạy cảm từ quá trình lập chỉ mục hoặc xuất hiện trong kết quả tìm kiếm (SERPs) (cả trực tiếp hoặc gián tiếp, ví dụ: thông qua các trang được liên kết), tốt nhất là sử dụng bất kỳ phương pháp nào khác ngoài việc chặn trang bằng cách từ chối truy cập trong tệp robots.txt. Có thể sử dụng chỉ thị meta "noindex" hoặc các phương pháp bảo vệ bằng mật khẩu.

WordPress Thông thường, hệ thống sẽ tạo một tệp robots.txt mặc định ảo trong thư mục gốc cho các trang web của mình, mà không thể nhìn thấy trong thư mục. Do đó, tốt nhất là tạo một tệp mới để ghi đè lên các cài đặt mặc định, đặc biệt là để chặn trang đăng nhập hoặc đăng ký, những trang này không quan trọng đối với công cụ tìm kiếm!

Nhiều người thường bối rối về cách xóa tệp robots.txt trong WordPress hoặc các nền tảng khác. Tuy nhiên, quy trình này là giống nhau cho tất cả! Tệp robots.txt cần được lưu trữ trong thư mục cấp cao nhất của trang web, tức là thư mục gốc hoặc thư mục chính, để giúp các bot dễ dàng tìm thấy nó. Vì vậy, tất cả những gì bạn cần làm là xóa tệp đó trực tiếp từ thư mục hoặc vị trí cụ thể đó.

Tránh đưa các hướng dẫn ẩn thông tin người dùng nhạy cảm vào tệp robots.txt. Điều này là do tệp robots.txt là một tệp công khai, người dùng có thể xem các chỉ thị trong tệp bằng cách thêm /robots.txt vào cuối tên miền gốc.

Theo cách này, bất kỳ ai cũng có thể biết được những trang web nào được quản trị viên trang web cho phép các bot web truy cập hoặc không truy cập, bao gồm cả các bot web cụ thể. Tệp này phải được lưu với tên “robots.txt” vì nó phân biệt chữ hoa chữ thường, do đó bất kỳ kết hợp tên nào khác sẽ không được chấp nhận bởi bất kỳ trình duyệt web nào!

Cuối cùng, bạn có thể nhầm lẫn giữa x-robots, meta robots và robots.txt - những thuật ngữ có vẻ tương tự nhau. Trong số đó, x-robots và meta là các chỉ thị meta, trong khi robots.txt là một tệp văn bản và chúng được sử dụng để thực hiện các chức năng khác nhau.

Cụ thể, x-robots và meta được sử dụng để quy định hành vi lập chỉ mục ở cấp độ phần tử trang (hoặc trang riêng lẻ), trong khi robots.txt được sử dụng để cung cấp thông tin về hành vi thu thập dữ liệu của trình thu thập dữ liệu hoặc trang web.

Có khả năng cao hơn rằng các bot tìm kiếm có thể lập chỉ mục và hiển thị nội dung trang web của bạn trên kết quả tìm kiếm (SERPs) một cách hiệu quả hơn, đồng thời làm cho nó trở nên nổi bật hơn bằng cách sử dụng ngân sách quét (crawl budget) một cách hợp lý khi quét cùng một trang web. Bằng cách sử dụng tệp robots.txt, bạn cũng có thể chặn việc quét các trang thẻ tự động tạo của WordPress và ngăn chặn nội dung trùng lặp thêm.

Tổng quan, bạn cần phải cẩn thận khi quyết định những gì cần đưa vào tệp robots.txt. Bởi vì, một sai sót nhỏ trong tệp robots.txt có thể khiến toàn bộ trang web của bạn bị loại khỏi chỉ mục.