Robots.txt คืออะไร? สำคัญยังไงต่อ SEO พร้อมวิธีใช้งาน

หากคุณทำเว็บไซต์แล้วเจอปัญหาหน้าไม่สำคัญอย่างตะกร้าสินค้า หน้าหลังบ้าน หรือหน้าค้นหา ถูก Google เก็บไปทำดัชนี (Indexing) อาจทำให้ SEO ของเว็บคุณไม่เป็นระเบียบและเปลือง Crawl Budget โดยไม่จำเป็น ไฟล์ Robots.txt จึงเป็นตัวช่วยสำคัญที่ใช้ควบคุมการเข้าถึงของบอท ว่าหน้าไหนควรเก็บข้อมูลและหน้าไหนไม่ควรเก็บ บทความนี้เราจะอธิบายวิธีเขียน Robots.txt ให้ถูกต้อง พร้อมเทคนิคที่จะช่วยให้เว็บไซต์ของคุณติดอันดับ SEO ได้ง่ายขึ้น

Robots.txt คือไฟล์ข้อความขนาดเล็กที่วางไว้ใน Root Directory ของเว็บไซต์ เช่น https://www.example.com/robots.txt โดยมีหน้าที่กำหนดว่า Search Engine Bot (เช่น Googlebot, Bingbot) จะสามารถเข้ามาเก็บข้อมูลหน้าไหนได้บ้าง และหน้าไหนไม่ควรเข้าไปเก็บข้อมูล
แม้ไฟล์นี้จะเป็นเพียงไฟล์ข้อความธรรมดา แต่ถือว่า มีผลอย่างมากต่อการทำ SEO เพราะสามารถควบคุมการจัดทำดัชนี (Indexing) ของเว็บไซต์ได้อย่างมีระบบ หากตั้งค่าไม่ถูกต้อง อาจทำให้หน้าเว็บสำคัญถูกบล็อกไม่ให้ติดอันดับใน Google ได้เลย

การทำ SEO ไม่ใช่แค่การใส่คีย์เวิร์ดหรือเขียนคอนเทนต์เท่านั้น แต่ยังเกี่ยวข้องกับการจัดการโครงสร้างเว็บไซต์ด้วย ซึ่ง Robots.txt มีความสำคัญดังนี้

• จัดการ Crawl Budget เว็บไซต์ที่มีหลายร้อยหรือหลายพันหน้า อาจทำให้บอทเสียเวลาเก็บข้อมูลในหน้าที่ไม่สำคัญ เช่น หน้า Search, หน้า Test, หรือหน้า Admin การใช้ Robots.txt จะช่วยให้บอทโฟกัสเฉพาะหน้าที่จำเป็นต่อ SEO
• ป้องกันไม่ให้ข้อมูลลับรั่วไหล เช่น ไฟล์ระบบ, โฟลเดอร์หลังบ้าน (/wp-admin/), หรือไฟล์ชั่วคราว ซึ่งเราไม่ต้องการให้ Search Engine มาเก็บข้อมูล
• ทำให้การจัดทำดัชนีมีประสิทธิภาพ เมื่อบอทเข้าถึงเฉพาะหน้าที่เกี่ยวข้องกับผู้ใช้ จะช่วยให้ Google เข้าใจโครงสร้างเว็บไซต์ได้ชัดเจน และมีโอกาสติดอันดับสูงขึ้น

ไฟล์นี้สามารถสร้างได้ง่ายๆ เพียงใช้ Text Editor อย่าง Notepad หรือ VS Code จากนั้นบันทึกชื่อว่า robots.txt แล้วอัปโหลดไว้ที่โฟลเดอร์หลักของเว็บไซต์

• ต้องใช้ชื่อไฟล์ robots.txt เท่านั้น
• เว็บไซต์หนึ่งมีได้เพียงไฟล์เดียว และต้องวางไว้ที่ Root ของโฮสต์ เช่น https://example.com/robots.txt
• ใช้การเข้ารหัสแบบ UTF-8
• ใช้ได้ทั้งโดเมนหลักและโดเมนย่อย (เช่น m.example.com/robots.txt)

• ไฟล์แบ่งเป็น “กลุ่ม” โดยเริ่มต้นด้วย User-agent
• Disallow → ห้าม Bot เข้า
• Allow → อนุญาตให้เข้า แม้จะอยู่ในโฟลเดอร์ที่ถูก Disallow
• Sitemap → (ไม่บังคับ) ใส่ตำแหน่งไฟล์ Sitemap
• รองรับสัญลักษณ์ Wildcard * และ $ สำหรับการกำหนด Pattern ของ URL
• คำสั่งแยกตัวพิมพ์เล็ก–ใหญ่

ตัวอย่างไฟล์ robots.txt
User-agent: Googlebot
Disallow: /nogooglebot/

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

• Googlebot ถูกห้ามเข้า /nogooglebot/
• Bot อื่นๆ เข้าได้ทุกหน้า
• ระบุ Sitemap เพื่อให้ Bot หาเนื้อหาสำคัญได้เร็วขึ้น

1. ใช้ Text Editor เช่น Notepad, VS Code (ห้ามใช้ Word เพราะอาจมีอักขระพิเศษ)
2. พิมพ์กฎที่ต้องการ เช่น Disallow: /wp-admin/
3. บันทึกเป็น robots.txt และใช้ UTF-8 Encoding

• ต้องอัปโหลดไปไว้ที่ Root ของเว็บไซต์
• วิธีอัปโหลดขึ้นอยู่กับเซิร์ฟเวอร์/โฮสติ้ง เช่น cPanel, FTP หรือ File Manager

• เปิดเบราว์เซอร์ → พิมพ์ https://example.com/robots.txt ถ้าเห็นเนื้อหาคือใช้งานได้
• ใช้ Google Search Console > robots.txt Tester เพื่อตรวจสอบว่าคำสั่งทำงานถูกต้อง

• Google จะตรวจเจอไฟล์โดยอัตโนมัติ
• ถ้าแก้ไขแล้วอยากให้ Google อัปเดตเร็วขึ้น → ส่งไฟล์ใหม่ผ่าน Search Console
• หลีกเลี่ยงการใส่ Disallow: / เพราะจะบล็อกทั้งเว็บไซต์

สำหรับคนที่ใช้ Yoast SEO สามารถจัดการไฟล์ robots.txt ง่ายๆ ผ่าน WordPress Dashboard โดยทำตามขั้นตอนดังนี้

• ไปที่หน้า Dashboard

• คลิกที่เมนู SEO > Tools

• ถ้า WordPress ปิดการแก้ไขไฟล์ เมนูนี้จะไม่ปรากฏ
• ต้องเปิดการแก้ไขไฟล์ก่อน หรือใช้ FTP แก้ไขไฟล์แทน

• Yoast SEO จะสร้างไฟล์ robots.txt ให้โดยอัตโนมัติ

• คุณสามารถแก้ไขเนื้อหาไฟล์ robots.txt ได้โดยตรงในหน้านี้

อย่าบล็อกหน้า Content สำคัญ เช่น บทความ, หน้าสินค้า, Landing Page เพราะอาจทำให้ไม่ติดอันดับ

หากต้องการไม่ให้บางหน้าแสดงผลใน Google แนะนำใช้ คู่กับ Robots.txt เพื่อความชัวร์

Google มีเครื่องมือ Robots.txt Tester ให้ใช้ตรวจสอบว่าคำสั่งที่เราเขียนถูกต้องหรือไม่

หากมีการเพิ่มโฟลเดอร์ใหม่ หรือสร้างหน้าใหม่ ควรตรวจสอบว่า Robots.txt ยังเหมาะสมกับโครงสร้างปัจจุบันหรือไม่

• อย่าเผลอใส่ Disallow: / เพราะจะทำให้บอทไม่สามารถเก็บข้อมูลหน้าใดๆ ได้เลย ส่งผลเสียต่อ SEO อย่างหนัก
• การบล็อกด้วย Robots.txt ไม่ได้ทำให้ข้อมูลเป็นความลับ 100% เพราะใครๆ ก็สามารถพิมพ์ URL robots.txt เพื่อดูได้
• หากต้องการป้องกันการเข้าถึงจริงๆ ควรใช้ การยืนยันสิทธิ์ (Authentication) หรือ ไฟล์ .htaccess

Robots.txt อาจดูเหมือนเป็นเพียงไฟล์เล็กๆ แต่มีบทบาทสำคัญมากในการทำ SEO เพราะช่วยควบคุมว่า Search Engine ควรเก็บข้อมูลจากหน้าใด และไม่ควรเก็บข้อมูลจากหน้าใด หากใช้อย่างถูกวิธีจะช่วยเพิ่มประสิทธิภาพการทำงานของบอท ประหยัด Crawl Budget และทำให้เว็บไซต์ของคุณมีโอกาสติดอันดับได้ง่ายขึ้น