วิกฤต AI Crawler สร้างปัญหาหนักให้ชุมชน Open Source

วิกฤตการณ์ AI Crawler จากบริษัทยักษ์ใหญ่สร้างทราฟฟิกถล่มชุมชน Open Source พบทราฟฟิก 97% มาจาก bot ส่งผลให้หลายโปรเจกต์ต้องพัฒนาระบบป้องกันพิเศษอย่าง Anubis เพื่อคัดกรองการเข้าถึง

วิกฤต AI Crawler สร้างปัญหาหนักให้ชุมชน Open Source

Key takeaway

  • ปัญหา AI Crawler จากบริษัทยักษ์ใหญ่อย่าง Amazon และ Alibaba สร้างทราฟฟิกมหาศาลจนทำให้ระบบ Git repository ของชุมชน Open Source ล่ม โดยพบว่า 97% ของทราฟฟิกมาจาก bot
  • การป้องกันแบบดั้งเดิมอย่าง robots.txt และการบล็อก user-agents ไม่สามารถรับมือกับ AI Crawler ได้ เนื่องจากมีการปลอมแปลง user-agents และใช้ residential IP
  • ชุมชน Open Source ต้องพัฒนาระบบป้องกันใหม่ๆ เช่น ระบบ Anubis ที่ใช้ proof-of-work challenge และมีการใช้มาตรการรุนแรงอย่างการบล็อกทราฟฟิกจากประเทศทั้งประเทศ เพื่อรับมือกับปัญหานี้

นักพัฒนาซอฟต์แวร์ Xe Iaso ประสบปัญหาหนักเมื่อต้นปีที่ผ่านมา เมื่อ AI crawler ของ Amazon สร้างทราฟฟิกมหาศาลจนทำให้ Git repository service ของเธอล่มซ้ำแล้วซ้ำเล่า แม้จะตั้งค่าป้องกันพื้นฐานทั้ง robots.txt การบล็อก user-agents และคัดกรองทราฟฟิกต้องสงสัย แต่ AI crawler ก็ยังหลบเลี่ยงด้วยการปลอมแปลง user-agents และใช้ residential IP เป็นตัวกลาง

ด้วยความจำเป็น Iaso จึงต้องย้ายเซิร์ฟเวอร์ไปอยู่หลัง VPN พร้อมพัฒนาระบบ "Anubis" ซึ่งเป็น proof-of-work challenge system ที่บังคับให้เว็บเบราว์เซอร์ต้องผ่านการแก้โจทย์คำนวณก่อนเข้าถึงเว็บไซต์

ข้อมูลล่าสุดจาก LibreNews เผยว่าโปรเจกต์ open source หลายแห่งพบทราฟฟิกถึง 97% มาจาก bot ของบริษัท AI ส่งผลให้ค่า bandwidth พุ่งสูง ระบบไม่เสถียร และสร้างภาระให้ผู้ดูแลระบบอย่างหนัก

ตัวอย่างผลกระทบที่เกิดขึ้น:

  • Fedora Pagure จำเป็นต้องบล็อกทราฟฟิกจากประเทศบราซิลทั้งหมด
  • GNOME GitLab นำระบบ Anubis มาใช้ พบว่ามีเพียง 3.2% ของ request (2,690 จาก 84,056) ที่ผ่านการทดสอบ
  • KDE GitLab ถูกโจมตีจนระบบล่มชั่วคราวจากทราฟฟิก crawler ที่มาจาก IP ของ Alibaba

#TechNews #OpenSource #AIcrawler #DDoS #Cybersecurity 🔐

Why it matters

💡 ข่าวนี้สำคัญอย่างยิ่งสำหรับผู้ที่อยู่ในวงการเทคโนโลยีและผู้พัฒนาซอฟต์แวร์ เนื่องจากเผยให้เห็นถึงผลกระทบร้ายแรงของ AI Crawler ที่กำลังสร้างปัญหาให้กับชุมชน Open Source ทั่วโลก โดยเฉพาะการใช้ทรัพยากรเซิร์ฟเวอร์อย่างหนักและสร้างภาระค่าใช้จ่ายที่สูงขึ้น นอกจากนี้ยังแสดงให้เห็นถึงวิธีการรับมือและแนวทางแก้ไขปัญหาที่น่าสนใจ ซึ่งเป็นความรู้สำคัญสำหรับผู้ดูแลระบบและนักพัฒนาในการเตรียมพร้อมรับมือกับสถานการณ์คล้ายกันในอนาคต

ข้อมูลอ้างอิงจาก https://arstechnica.com/ai/2025/03/devs-say-ai-crawlers-dominate-traffic-forcing-blocks-on-entire-countries/

Read more

AI แบบ Agentic ถูกนำมาใช้เร็วขึ้นแม้จะมีความเสี่ยง

news

AI แบบ Agentic ถูกนำมาใช้เร็วขึ้นแม้จะมีความเสี่ยง

รายงานล่าสุดจาก KPMG เผยองค์กรหันมาใช้ Agentic AI เพิ่มขึ้นเป็น 3 เท่าในสองไตรมาส แม้จะมีความท้าทายด้านทักษะ การต่อต้านจากพนักงาน และความซับซ้อนของระบบ ผู้นำองค์กรมองว่าเป็นโอกาสในการสร้างมูลค่าใหม่

By
Apple เล็งใช้ AI จากภายนอกยกระดับความสามารถ Siri

news

Apple เล็งใช้ AI จากภายนอกยกระดับความสามารถ Siri

แอปเปิลกำลังพิจารณาร่วมมือกับบริษัท AI ชั้นนำอย่าง Anthropic หรือ OpenAI เพื่อเสริมศักยภาพให้กับ Siri ในเวอร์ชันใหม่ พร้อมพัฒนาเทคโนโลยี AI ของตัวเองควบคู่กันไป

By
ศาลสหรัฐฯ ตัดสินให้การใช้หนังสือลิขสิทธิ์เพื่อฝึกฝน AI เป็น "การใช้งานโดยชอบธรรม"

news

ศาลสหรัฐฯ ตัดสินให้การใช้หนังสือลิขสิทธิ์เพื่อฝึกฝน AI เป็น "การใช้งานโดยชอบธรรม"

ศาลสหรัฐฯ สร้างบรรทัดฐานสำคัญ ตัดสินให้การใช้หนังสือลิขสิทธิ์เพื่อฝึกฝน AI เป็นการใช้งานโดยชอบธรรม แม้ไม่ต้องขออนุญาตจากผู้เขียน แต่ยังมีข้อจำกัดเรื่องการใช้สำเนาละเมิดลิขสิทธิ์

By
เยอรมนีขอให้ Apple และ Google ถอดแอป DeepSeek AI ออกเนื่องจากปัญหาความเป็นส่วนตัวของข้อมูล

news

เยอรมนีขอให้ Apple และ Google ถอดแอป DeepSeek AI ออกเนื่องจากปัญหาความเป็นส่วนตัวของข้อมูล

เยอรมนีเรียกร้องให้ถอดแอป DeepSeek AI จาก app store หลังพบปัญหาการส่งข้อมูลผู้ใช้ไปจีน สร้างความกังวลด้านความเป็นส่วนตัว ท่ามกลางการต่อต้านจากหลายประเทศทั่วโลก

By