Cloudflare เปิดปุ่ม "Disallow AI Training" ให้เว็บอยู่ในผลค้นหาได้โดยไม่ต้องยอมให้เทรน AI
Have it both ways: stay discoverable in search while disallowing AI training
Cloudflare ประกาศเมื่อวันที่ 15 กันยายน 2026 เปิดการตั้งค่าใหม่ชื่อ "Disallow AI Training" ซึ่งแก้ปัญหาที่เจ้าของเว็บไซต์เผชิญมานาน นั่นคือบริษัทใหญ่ใช้ crawler ตัวเดียวทำสองหน้าที่พร้อมกัน ทั้งเก็บข้อมูลเพื่อ index ในเครื่องมือค้นหาและเพื่อเทรนโมเดล AI ผลคือถ้าจะบล็อกการเทรน ก็ต้องยอมหายไปจากผลค้นหาด้วย
การตั้งค่าใหม่แยกสองเรื่องนี้ออกจากกัน ตัวเลือก Block จะมีผลกับ mixed-use crawler ทั้งหมดรวมถึง Googlebot, Applebot และ Bingbot ส่วน Disallow AI Training จะยอมให้ crawler เหล่านั้นเก็บข้อมูลเพื่อค้นหาต่อไป แต่ตัดสิทธิ์การนำไปเทรน โดยการตั้งค่าเดิมของลูกค้าที่มีอยู่จะถูกย้ายให้อัตโนมัติ
หัวใจของกลไกนี้คือสถานะ "Accountable" ที่ Cloudflare สร้างขึ้นสำหรับผู้ให้บริการ crawler ที่ผ่านเกณฑ์สี่ข้อ ได้แก่ มีกลไก opt-out การเทรนผ่านมาตรฐาน robots.txt, มีกลไก opt-out สำหรับ AI summaries (Cloudflare จะเชื่อมต่อในต้นปี 2027), ให้ข้อมูลระดับ URL ว่าเนื้อหาถูกใช้เทรนและมีสถิติการค้นหาอย่างไร และรับประกันว่าการ opt-out จากการเทรนจะไม่กระทบอันดับในผลค้นหา ปัจจุบัน Apple, Google และ Microsoft ผ่านเกณฑ์นี้ทั้งหมด
ข้อมูลที่ Cloudflare นำเสนอสะท้อนความตึงเครียดของเจ้าของเนื้อหาได้ชัด กว่า 40% ของผู้บริโภคที่อ่าน AI summary จบการค้นหาโดยไม่คลิกเข้าเว็บไซต์เลย แต่ในทางกลับกัน ผู้เข้าชมที่มาจาก AI search กลับมีอัตราแปลงเป็นลูกค้าสูงกว่าทราฟฟิกจากการค้นหาแบบดั้งเดิมถึง 3-5 เท่า
การเปลี่ยนแปลงนี้เกิดพร้อมกับกำหนดเส้นตายที่ Cloudflare ประกาศไว้ตั้งแต่กรกฎาคม ว่าค่าเริ่มต้นจะบล็อก mixed-use crawler บนหน้าที่มีโฆษณา สำหรับลูกค้าใหม่ เว็บไซต์ใหม่ของลูกค้าเดิม และลูกค้าแพลนฟรีทั้งหมด
แหล่งอ้างอิง
อ่านต้นฉบับที่ Cloudflare Bloghttps://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/