วิกฤต AI Crawler สร้างปัญหาหนักให้ชุมชน Open Source

วิกฤตการณ์ AI Crawler จากบริษัทยักษ์ใหญ่สร้างทราฟฟิกถล่มชุมชน Open Source พบทราฟฟิก 97% มาจาก bot ส่งผลให้หลายโปรเจกต์ต้องพัฒนาระบบป้องกันพิเศษอย่าง Anubis เพื่อคัดกรองการเข้าถึง

วิกฤต AI Crawler สร้างปัญหาหนักให้ชุมชน Open Source

Key takeaway

  • ปัญหา AI Crawler จากบริษัทยักษ์ใหญ่อย่าง Amazon และ Alibaba สร้างทราฟฟิกมหาศาลจนทำให้ระบบ Git repository ของชุมชน Open Source ล่ม โดยพบว่า 97% ของทราฟฟิกมาจาก bot
  • การป้องกันแบบดั้งเดิมอย่าง robots.txt และการบล็อก user-agents ไม่สามารถรับมือกับ AI Crawler ได้ เนื่องจากมีการปลอมแปลง user-agents และใช้ residential IP
  • ชุมชน Open Source ต้องพัฒนาระบบป้องกันใหม่ๆ เช่น ระบบ Anubis ที่ใช้ proof-of-work challenge และมีการใช้มาตรการรุนแรงอย่างการบล็อกทราฟฟิกจากประเทศทั้งประเทศ เพื่อรับมือกับปัญหานี้

นักพัฒนาซอฟต์แวร์ Xe Iaso ประสบปัญหาหนักเมื่อต้นปีที่ผ่านมา เมื่อ AI crawler ของ Amazon สร้างทราฟฟิกมหาศาลจนทำให้ Git repository service ของเธอล่มซ้ำแล้วซ้ำเล่า แม้จะตั้งค่าป้องกันพื้นฐานทั้ง robots.txt การบล็อก user-agents และคัดกรองทราฟฟิกต้องสงสัย แต่ AI crawler ก็ยังหลบเลี่ยงด้วยการปลอมแปลง user-agents และใช้ residential IP เป็นตัวกลาง

ด้วยความจำเป็น Iaso จึงต้องย้ายเซิร์ฟเวอร์ไปอยู่หลัง VPN พร้อมพัฒนาระบบ "Anubis" ซึ่งเป็น proof-of-work challenge system ที่บังคับให้เว็บเบราว์เซอร์ต้องผ่านการแก้โจทย์คำนวณก่อนเข้าถึงเว็บไซต์

ข้อมูลล่าสุดจาก LibreNews เผยว่าโปรเจกต์ open source หลายแห่งพบทราฟฟิกถึง 97% มาจาก bot ของบริษัท AI ส่งผลให้ค่า bandwidth พุ่งสูง ระบบไม่เสถียร และสร้างภาระให้ผู้ดูแลระบบอย่างหนัก

ตัวอย่างผลกระทบที่เกิดขึ้น:

  • Fedora Pagure จำเป็นต้องบล็อกทราฟฟิกจากประเทศบราซิลทั้งหมด
  • GNOME GitLab นำระบบ Anubis มาใช้ พบว่ามีเพียง 3.2% ของ request (2,690 จาก 84,056) ที่ผ่านการทดสอบ
  • KDE GitLab ถูกโจมตีจนระบบล่มชั่วคราวจากทราฟฟิก crawler ที่มาจาก IP ของ Alibaba

#TechNews #OpenSource #AIcrawler #DDoS #Cybersecurity 🔐

Why it matters

💡 ข่าวนี้สำคัญอย่างยิ่งสำหรับผู้ที่อยู่ในวงการเทคโนโลยีและผู้พัฒนาซอฟต์แวร์ เนื่องจากเผยให้เห็นถึงผลกระทบร้ายแรงของ AI Crawler ที่กำลังสร้างปัญหาให้กับชุมชน Open Source ทั่วโลก โดยเฉพาะการใช้ทรัพยากรเซิร์ฟเวอร์อย่างหนักและสร้างภาระค่าใช้จ่ายที่สูงขึ้น นอกจากนี้ยังแสดงให้เห็นถึงวิธีการรับมือและแนวทางแก้ไขปัญหาที่น่าสนใจ ซึ่งเป็นความรู้สำคัญสำหรับผู้ดูแลระบบและนักพัฒนาในการเตรียมพร้อมรับมือกับสถานการณ์คล้ายกันในอนาคต

ข้อมูลอ้างอิงจาก https://arstechnica.com/ai/2025/03/devs-say-ai-crawlers-dominate-traffic-forcing-blocks-on-entire-countries/

Read more

ChatGPT ฟรี VS ChatGPT Plus: คุ้มค่าไหมกับค่าสมาชิก 20 ดอลลาร์ต่อเดือน

news

ChatGPT ฟรี VS ChatGPT Plus: คุ้มค่าไหมกับค่าสมาชิก 20 ดอลลาร์ต่อเดือน

เปรียบเทียบรายละเอียดระหว่าง ChatGPT เวอร์ชันฟรีและพลัส ทั้งฟีเจอร์ใหม่ล่าสุด ข้อดีข้อเสีย และคำแนะนำในการเลือกแพลนที่เหมาะสม พร้อมอัปเดตการเปลี่ยนแปลงจาก OpenAI

By
ต้นทุนคาร์บอนที่ซ่อนอยู่จากการแชทกับ AI

news

ต้นทุนคาร์บอนที่ซ่อนอยู่จากการแชทกับ AI

ผลการศึกษาจากเยอรมนีเผยต้นทุนคาร์บอนที่ซ่อนอยู่ในการใช้งาน AI chatbot โดยพบว่าโมเดลที่มีความสามารถในการให้เหตุผลสูงจะปล่อย CO2 มากกว่าโมเดลพื้นฐานถึง 50 เท่า สะท้อนผลกระทบต่อสิ่งแวดล้อมที่น่ากังวล

By
กูรุผู้บุกเบิก AI เผยอาชีพเหล่านี้อาจถูกแทนที่ด้วย AI

news

กูรุผู้บุกเบิก AI เผยอาชีพเหล่านี้อาจถูกแทนที่ด้วย AI

บิดาแห่ง AI Geoffrey Hinton เตือนงานทางปัญญาที่จำเจเสี่ยงถูก AI แทนที่ โดยเฉพาะผู้ช่วยทนายและพนักงาน Call Center แนะให้หันมาทำงาน Blue-collar ที่ต้องใช้ทักษะทางกายภาพแทน

By
ผู้บริหาร OpenAI เตือนความเสี่ยงที่เพิ่มขึ้นว่า AI อาจช่วยในการพัฒนาอาวุธชีวภาพ

news

ผู้บริหาร OpenAI เตือนความเสี่ยงที่เพิ่มขึ้นว่า AI อาจช่วยในการพัฒนาอาวุธชีวภาพ

OpenAI เตือนว่าโมเดล AI รุ่นใหม่อาจถูกใช้ในการพัฒนาอาวุธชีวภาพที่อันตราย แม้โดยผู้มีความรู้น้อย บริษัทเร่งเพิ่มมาตรการความปลอดภัยและการทดสอบเพื่อป้องกันการนำไปใช้ในทางที่ผิด

By