Hướng dẫn tạo file robots.txt cho WordPress chuẩn SEO

Muốn website chắc chắn xuất hiện trên Search Engine Result Pages thì người dùng cần để Bots di chuyển đến những trang quan trọng trên website. File robots.txt có khả năng quản lý truy cập của những Bots này tới trang cần thiết. Trong bài viết sau đây, BKNS sẽ giúp bạn hiểu rõ hơn về file robots.txt và cách tạo file robots.txt cho WordPress. Hãy khám phá ngay nhé!

1. File robots.txt là gì? Tại sao nên sử dụng file robots.txt?

Khi một website được tạo mới, Search Engine sẽ gửi Bots (con bọ máy tính) đến để quét qua và tạo ra bản đồ chứa các trang trong website đó. Điều đó giúp chúng biết được trang web nào cần thể hiện kết quả khi có người tìm từ khóa liên quan. 

WordPress cho phép Plugins giải quyết vấn đề nảy sinh khi website chứa nhiều thành phần không cần thiết. Việc tạo file robots.txt cho wordpress giúp Search Engine Bots chỉ truy cập vào những trang quan trọng trên website. Ngay cả khi không cài file robots.txt thì trình tìm kiếm sẽ vẫn thực hiện việc quét website của bạn nhưng hiệu quả sẽ không cao. Bởi vì, Bots sẽ index toàn bộ nội dung và quét đến cả những nơi bạn không muốn người khác truy cập vào.

Nếu không có file robots.txt thì sẽ có rất nhiều loại Bots đến để quét toàn bộ website. Điều đó ảnh hưởng không tốt đến hiệu năng hoạt động của website đó, tốc độ load trang sẽ bị chậm hơn nhiều. Do đó, tạo file robots.txt WordPress chuẩn thực sự cần thiết nếu muốn website của bạn hoạt động hiệu quả.

2. File robots.txt nằm ở đâu?

File robots.txt sẽ được tạo ra ngay dưới thư mục gốc của máy chủ khi bạn tạo website WordPress. Truy cập file robots.txt cơ bản ở đường dẫn:

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

=> Phần sau dấu * là quy tắc được áp dụng cho mọi loại Bots. File sẽ thông báo cho Bots biết là chúng không được phép vào trong thư mục /wp-admin/ và /wp-includes/. Không được truy cập vào 2 file này là vì chúng chứa rất nhiều thông tin riêng tư, nhạy cảm.

File robots.txt là một file ảo do WordPress tự tạo nên và mặc định khi cài đặt. Dù file vẫn đang hoạt động bình thường thì người dùng cũng không thể chỉnh sửa được. Thông thường, file robots.txt sẽ được đặt ở thư mục gốc (public_html và www hoặc tên website). Nếu muốn tạo thêm file robots.txt thì cần tạo một file mới để thay thế file cũ trong thư mục gốc đó.

3. Quy tắc nên thêm vào file robots.txt WordPress

Sau khi tạo file robots.txt wordpress, bạn cần mở một trình soạn thảo văn bản và lưu một file trống có tên robot.txt. Tiếp theo, bạn cần thêm một số quy tắc vào tập tin đó, lưu lại và upload lên thư mục gốc của Domain. Search Engine sẽ tiến hành kiểm tra tập tin robot.txt mỗi khi chúng thu thập thông tin từ blog hay website. Với mỗi Domain phụ và các giao thức khác nhau nên tạo các file robots.txt riêng biệt. Các quy tắc cơ bản nên thêm vào file robots.txt là:

• User-agent: xác định công cụ tìm kiếm mà quy tắc được áp dụng
• Allow: cho phép công cụ tìm kiếm thu thập thông tin, lập chỉ mục
• Disallow: không cho phép công cụ tìm kiếm thu thập thông tin, lập chỉ mục

Dấu * có thể được sử dụng để đại diện cho tất cả công cụ tìm kiếm. Bạn có thể thêm vào sau file robots.txt dòng sau để ngăn chặn các công cụ tìm kiếm thu thập thông tin trên toàn bộ website hay blog:

User-agent:*

Disallow: /

Công cụ tìm kiếm có thể truy cập vào toàn bộ website hay blog nếu website hay blog đó sử dụng chỉ thị Disallow không có dấu (/).

Ví dụ:

User-agent:*

Disallow:

Để ngăn chặn việc thu thập dữ liệu với các đường dẫn hay thư mục cụ thể, bạn chỉ cần thêm thư mục hay đường dẫn vào phía sau Disallow. Bởi vì. Robots.txt sử dụng đường dẫn tương đối chứ không phải đường dẫn tuyệt đối. Dấu (/) thay thế cho thư mục gốc hoặc Domain nên áp dụng quy tắc này cho toàn bộ website hay blog của bạn. Sau đây là ví dụ quy định công cụ tìm kiếm không được phép truy cập thông tin của thư mục images:

User-agent:*

Disallow:/images/

4. Mẫu file robots.txt chuẩn cho wordpress

Sau đây, BKNS sẽ giới thiệu với bạn mẫu file robots.txt chuẩn cho WordPress và được rất nhiều Blogger WordPress ưu ái sử dụng. Bạn hoàn toàn có thể dùng nó cho website hay blog WordPress của mình nhưng bạn nên chú ý tùy biến nó sao cho phù hợp với mỗi hoàn cảnh khác nhau. Mẫu file robots.txt chuẩn dành cho WordPress như sau:

User-agent”: *

Disallow: /wp-admin/

Disallow: /readme.html

Disallow: /license.txt

Disallow: /?s=*

Allow: /wp-admin/admin-ajax.php

Allow: /wp-admin/images/*

Sitemap: http://bkns.com/sitemap_index.xml

Lưu ý: Google sẽ có nhận định không chính xác về giao diện website hay blog của bạn nếu bạn thực hiện việc chặn Google và các công cụ tìm kiếm thu thập dữ liệu trong các thư mục /wp-content/plugins và /wp-content/themes.

Công cụ tìm kiếm thường index những chủ đề trong Forum. Thông thường người ta thường Disallow để Google không phải index hàng trăm chủ đề mà người sử dụng tạo ra hàng ngày.

5. Tạo file robots.txt cho wordpress bằng cách nào?

5.1 Sử dụng Yoast SEO để tạo file robots.txt cho wordpress

Yoast SEO là Plugin tốt nhất dành cho SEO – Search Engine Optimization. Plugin này giúp người dùng xuất bản được nhiều nội dung hữu ích để “giữ chân” người đọc được lâu hơn và thân thiện với công cụ tìm kiếm. Plugin này luôn sẵn sàng thay đổi cùng với sự thay đổi liên tục của SEO. Cũng chính vì tính tiện dụng mà Yoast SEO nhận được sự ưu ái của đông đảo người dùng.

Sử dụng Yoast SEO để tạo file robots.txt wordpress khá đơn giản. Các bước cụ thể như sau:

• Cài đặt thành công Yoast SEO
• Chuyển tới tab SEO
• Dashboard => Tools
• File Editor

 

• Click vào link => đến trang mới để chỉnh sửa file .htaccess
• Click vào Create robots.txt file => tạo file robots.txt

• Yoast SEO sẽ đặt giá trị mặc định và ghi đè lên file robots.txt ảo
• Chọn Save changes to robots.txt

5.2 Dùng Plugin All in One SEO Pack để tạo file robots.txt cho wordpress

Trong WordPress SEO, All in one SEO Pack là Plugin rất nổi tiếng. Plugin này bao gồm tổng hợp tính năng của Yoast SEO nhưng lại nhẹ hơn. Bởi vậy, tạo file robots.txt với Plugin này sẽ rất đơn giản và nhanh chóng. Các bước cài đặt file robots.txt cho WordPress bằng Plugin All in One Pack như sau:

• Dashboard => Setup Manager
• Tìm tùy chọn robots.txt
• Click Activate

• Click vào Robots.txt mới xuất hiện dưới menu file robots.txt
• Thêm rules mới, lưu thay đổi hoặc cũng có thể xóa nó đi

• Phần nội dung sẽ mờ đi và bạn chưa thể thay đổi trực tiếp file robots.txt này

• All in One SEO có nhiều tính năng có tác dụng chặn Bots độc hại, bạn chỉ cần vào All in One SEO là sẽ tìm thấy:

5.3 Tạo, Upload file robots.txt WordPress thông qua FTP

Nếu bạn không muốn cài thêm Plugin, bạn có thể thực hiện tạo và upload file robots.txt thủ công qua FTP. Các bước thực hiện như sau:

• Mở Text Editor (NotePad hay TextEdit)
• Lưu tên bất kỳ và chọn loại file là txt
• Qua FTP để kết nối đến website
• Kết nối thành công => Click vào thư mục public_html
• Upload file robots.txt từ máy tính tới máy chủ hoặc nhấn chuột phải vào file sau đó chọn Upload

So sánh các cách tạo file robots.txt cho WordPress

Bạn có thể tạo file robots.txt bằng nhiều cách khác nhau. Dưới đây là bảng so sánh nhanh:

Cách tạo	Phù hợp với ai	Ưu điểm	Hạn chế
Yoast SEO	Website đang dùng Yoast	Dễ thao tác trong quản trị WordPress	Có thể không hiển thị nếu hosting chặn ghi file
Rank Math	Website dùng Rank Math	Giao diện dễ chỉnh sửa robots.txt	Cần kiểm tra lại sau khi lưu
All in One SEO	Website dùng AIOSEO	Có sẵn công cụ quản lý robots.txt	Tùy phiên bản plugin
cPanel/File Manager	Người dùng hosting	Chủ động, không cần plugin	Cần biết đúng thư mục gốc
FTP/SFTP	Kỹ thuật viên, quản trị web	Kiểm soát trực tiếp file	Dễ upload sai vị trí nếu thiếu kinh nghiệm

Nếu bạn là người mới, nên dùng plugin SEO đang cài sẵn trên website. Nếu bạn quản trị nhiều website hoặc cần kiểm soát file trực tiếp, nên dùng cPanel/File Manager hoặc FTP/SFTP. 

6. Kiểm tra file robots.txt và gửi lên Google Console

Sau khi tạo và upload thành công file robots.txt, bạn nên kiểm tra xem nó có bị lỗi hay không bằng Google Search Console. Search Console là tools được cung cấp bởi Google. Bộ tools này có tác dụng kiểm tra nội dung website xem nó hiển thị như thế nào với trình tìm kiếm. Một trong số tools này được dùng để kiểm tra file robots.txt. Các bước kiểm tra file robots.txt và gửi lên Google Console như sau:

• Đăng nhập Search Console
• Tìm và chọn “Sơ đồ trang web“
• Tìm “Sơ đồ trang web mới” và chèn URL của sitemap vào
• Bấm “Gửi“
• Sau đó, bạn đợi Google kiểm tra và thông báo kết quả (file lỗi hoặc file chuẩn). Nếu sitemap của bạn chuẩn và được GG phê duyệt thì sẽ được ghi “thành công” như trong ảnh trên

Như vậy, khi một website được tạo mới, Search Engine sẽ gửi Bots (con bọ máy tính) đến để quét qua và tạo ra bản đồ chứa các trang trong website đó. File robots.txt thiết lập bộ chỉ dẫn cho Search Engine Bots chỉ truy cập vào những trang quan trọng trên website.

Khi nào cần chỉnh sửa robots.txt?

Bạn nên kiểm tra và chỉnh sửa robots.txt trong các trường hợp sau:

• Website mới cài WordPress và bắt đầu SEO.
• Website chuyển hosting hoặc đổi tên miền.
• Website cài mới plugin SEO như Yoast, Rank Math, All in One SEO.
• Website bị Google Search Console báo “Blocked by robots.txt”.
• Website có nhiều URL tìm kiếm nội bộ.
• Website có nhiều URL tham số không cần crawl.
• Website vừa chuyển từ HTTP sang HTTPS.
• Website vừa thay đổi sitemap XML.

Nếu website đang hoạt động ổn định và không có cảnh báo trong Google Search Console, bạn không nên chỉnh robots.txt quá nhiều. Sai một dòng nhỏ cũng có thể khiến Googlebot không crawl được nội dung quan trọng.

FAQ về tạo file robots.txt cho WordPress

File robots.txt WordPress có bắt buộc không?

Không bắt buộc trong mọi trường hợp. Tuy nhiên, website WordPress nên có robots.txt rõ ràng để quản lý khu vực bot được phép hoặc không nên crawl, đồng thời khai báo sitemap cho công cụ tìm kiếm.

WordPress có tự tạo robots.txt không?

Có. Nếu website chưa có file robots.txt vật lý trong thư mục gốc, WordPress có thể tạo một file robots.txt ảo. Khi bạn tạo file robots.txt thật trong thư mục gốc, file vật lý sẽ được ưu tiên.

Nên chặn gì trong robots.txt WordPress?

Thông thường nên chặn /wp-admin/ và cho phép /wp-admin/admin-ajax.php. Ngoài ra, có thể chặn URL tìm kiếm nội bộ như /?s= hoặc /search/ nếu website phát sinh nhiều URL không cần thiết.

Có nên chặn /wp-content/ không?

Không nên chặn toàn bộ /wp-content/ vì thư mục này có thể chứa hình ảnh, CSS, JavaScript, theme và plugin cần thiết để Google hiểu giao diện website.

Có nên chặn /wp-includes/ không?

Không nên chặn bừa nếu bạn không chắc tác động. Một số tài nguyên cần thiết cho việc render trang có thể nằm trong các thư mục hệ thống của WordPress.

Robots.txt có giúp tăng thứ hạng SEO không?

Robots.txt không trực tiếp làm tăng thứ hạng. Tuy nhiên, cấu hình đúng giúp công cụ tìm kiếm crawl website hiệu quả hơn, tránh URL rác và hỗ trợ SEO kỹ thuật tốt hơn.

Chặn URL bằng robots.txt có làm URL biến mất khỏi Google không?

Không đảm bảo. Robots.txt chủ yếu chặn crawl, không phải công cụ xóa index. Nếu muốn chặn index, nên dùng noindex hoặc các phương thức kiểm soát truy cập phù hợp.

Làm gì khi Google báo “Blocked by robots.txt”?

Bạn cần kiểm tra file robots.txt tại /robots.txt, rà lại các dòng Disallow, sau đó dùng URL Inspection trong Google Search Console để kiểm tra URL bị ảnh hưởng.

Có nên khai báo sitemap trong robots.txt không?

Nên. Việc khai báo sitemap giúp bot dễ tìm thấy sitemap XML của website hơn. Hãy đảm bảo sitemap dùng đúng domain, đúng HTTPS và truy cập được bình thường.

Một website có nhiều file robots.txt được không?

Mỗi host/tên miền chỉ nên có một file robots.txt tại thư mục gốc. Với subdomain khác nhau, mỗi subdomain có thể có robots.txt riêng.

Trên đây, BKNS đã chia sẻ cho bạn cách tạo file robots.txt cho wordpress. Nếu vẫn còn điều gì băn khoăn về file robots.txt cũng như cách tạo, bạn đừng ngại để lại bình luận bên dưới để BKNS kịp thời giải đáp. Truy cập website bkns.vn thường xuyên để cập nhật thêm nhiều bài viết hữu ích liên quan đến thiết kế, quảng cáo, lưu trữ website và giải pháp mạng nhé!

>> Tìm hiểu thêm: 

• Hướng dẫn thêm Favicon cho WordPress
• [2 MẸO] Thêm font chữ vào WordPress NHANH, ĐƠN GIẢN
• Lỗi font chữ trong WordPress – Nguyên nhân và cách khắc phục