วิกฤต AI Crawler สร้างปัญหาหนักให้ชุมชน Open Source

Key takeaway

• ปัญหา AI Crawler จากบริษัทยักษ์ใหญ่อย่าง Amazon และ Alibaba สร้างทราฟฟิกมหาศาลจนทำให้ระบบ Git repository ของชุมชน Open Source ล่ม โดยพบว่า 97% ของทราฟฟิกมาจาก bot
• การป้องกันแบบดั้งเดิมอย่าง robots.txt และการบล็อก user-agents ไม่สามารถรับมือกับ AI Crawler ได้ เนื่องจากมีการปลอมแปลง user-agents และใช้ residential IP
• ชุมชน Open Source ต้องพัฒนาระบบป้องกันใหม่ๆ เช่น ระบบ Anubis ที่ใช้ proof-of-work challenge และมีการใช้มาตรการรุนแรงอย่างการบล็อกทราฟฟิกจากประเทศทั้งประเทศ เพื่อรับมือกับปัญหานี้

นักพัฒนาซอฟต์แวร์ Xe Iaso ประสบปัญหาหนักเมื่อต้นปีที่ผ่านมา เมื่อ AI crawler ของ Amazon สร้างทราฟฟิกมหาศาลจนทำให้ Git repository service ของเธอล่มซ้ำแล้วซ้ำเล่า แม้จะตั้งค่าป้องกันพื้นฐานทั้ง robots.txt การบล็อก user-agents และคัดกรองทราฟฟิกต้องสงสัย แต่ AI crawler ก็ยังหลบเลี่ยงด้วยการปลอมแปลง user-agents และใช้ residential IP เป็นตัวกลาง

ด้วยความจำเป็น Iaso จึงต้องย้ายเซิร์ฟเวอร์ไปอยู่หลัง VPN พร้อมพัฒนาระบบ "Anubis" ซึ่งเป็น proof-of-work challenge system ที่บังคับให้เว็บเบราว์เซอร์ต้องผ่านการแก้โจทย์คำนวณก่อนเข้าถึงเว็บไซต์

ข้อมูลล่าสุดจาก LibreNews เผยว่าโปรเจกต์ open source หลายแห่งพบทราฟฟิกถึง 97% มาจาก bot ของบริษัท AI ส่งผลให้ค่า bandwidth พุ่งสูง ระบบไม่เสถียร และสร้างภาระให้ผู้ดูแลระบบอย่างหนัก

ตัวอย่างผลกระทบที่เกิดขึ้น:

• Fedora Pagure จำเป็นต้องบล็อกทราฟฟิกจากประเทศบราซิลทั้งหมด
• GNOME GitLab นำระบบ Anubis มาใช้ พบว่ามีเพียง 3.2% ของ request (2,690 จาก 84,056) ที่ผ่านการทดสอบ
• KDE GitLab ถูกโจมตีจนระบบล่มชั่วคราวจากทราฟฟิก crawler ที่มาจาก IP ของ Alibaba

#TechNews #OpenSource #AIcrawler #DDoS #Cybersecurity 🔐

Why it matters

💡 ข่าวนี้สำคัญอย่างยิ่งสำหรับผู้ที่อยู่ในวงการเทคโนโลยีและผู้พัฒนาซอฟต์แวร์ เนื่องจากเผยให้เห็นถึงผลกระทบร้ายแรงของ AI Crawler ที่กำลังสร้างปัญหาให้กับชุมชน Open Source ทั่วโลก โดยเฉพาะการใช้ทรัพยากรเซิร์ฟเวอร์อย่างหนักและสร้างภาระค่าใช้จ่ายที่สูงขึ้น นอกจากนี้ยังแสดงให้เห็นถึงวิธีการรับมือและแนวทางแก้ไขปัญหาที่น่าสนใจ ซึ่งเป็นความรู้สำคัญสำหรับผู้ดูแลระบบและนักพัฒนาในการเตรียมพร้อมรับมือกับสถานการณ์คล้ายกันในอนาคต

ข้อมูลอ้างอิงจาก https://arstechnica.com/ai/2025/03/devs-say-ai-crawlers-dominate-traffic-forcing-blocks-on-entire-countries/