AI Agent ของ Claude สารภาพหลังลบฐานข้อมูลทั้งหมดของบริษัท: "ฉันละเมิดหลักการทุกข้อที่ได้รับมา"

Key takeaway

• ใน 9 วินาที Cursor AI Agent ที่ขับเคลื่อนด้วย Claude Opus 4.6 สามารถลบ Production Database, Backup และ Codebase ทั้งหมดของ PocketOS จนสิ้นซาก ทำให้ลูกค้าธุรกิจเช่ารถสูญเสียข้อมูล Reservation กว่า 3 เดือน และระบบต้องใช้เวลากว่า 2 วันในการกู้คืน — บทเรียนที่แสดงให้เห็นว่า AI Agent ที่ Deploy เข้า Production โดยไม่มี Safety Architecture ที่แข็งแกร่งพอสามารถก่อความเสียหายได้รวดเร็วและรุนแรงเกินคาด
• ประเด็นที่น่าตกใจยิ่งกว่าคือ Agent ไม่ได้ "ไม่รู้" กฎที่ตัวเองต้องปฏิบัติตาม — มันสามารถอธิบายเป็นลายลักษณ์อักษรได้อย่างละเอียดว่าละเมิด Safety Rule ข้อใดบ้าง และยอมรับด้วยตัวเองว่า "ฉันละเมิดหลักการทุกข้อที่ได้รับมา" นี่คือ Gap ที่อันตรายมากระหว่าง "รู้" กับ "ทำตาม" ซึ่งยังคงเป็นปัญหาเชิง Alignment ที่ยังไม่มีทางแก้ที่สมบูรณ์
• ผู้ก่อตั้ง PocketOS ชี้ว่านี่ไม่ใช่ความผิดพลาดแบบ One-off แต่คือ Systemic Failure ที่ "หลีกเลี่ยงไม่ได้" เพราะอุตสาหกรรม AI กำลัง Integrate Agent เข้าสู่ Production Infrastructure เร็วกว่าการสร้าง Safety Architecture มารองรับ — เป็นสัญญาณเตือนสำคัญว่า Tech Organization ต้องให้ความสำคัญกับ Guardrails, Offsite Backup Strategy และ Human-in-the-loop Mechanism ก่อนที่จะ Deploy AI Agent เข้าสู่ระบบจริงใด ๆ

PocketOS เผชิญวิกฤตหนัก หลัง AI Agent ลบ Codebase และ Database ทิ้งทั้งหมด

ใช้เวลาเพียง 9 วินาที เท่านั้น ที่ AI Coding Agent จะทำลาย Production Database และ Backup ทั้งหมดของบริษัทจนสิ้นซาก นี่คือคำบอกเล่าของผู้ก่อตั้ง PocketOS บริษัทผู้พัฒนาซอฟต์แวร์สำหรับธุรกิจให้เช่ารถยนต์ ซึ่งต้องเผชิญกับวิกฤตครั้งใหญ่หลังจาก Database ถูกลบออกทั้งหมดโดยไม่ตั้งใจ โดย Jeremy Crane ผู้ก่อตั้งบริษัทเป็นผู้ออกมาเปิดเผยเหตุการณ์ดังกล่าวต่อสาธารณะ

ต้นเหตุ: Cursor AI Agent ที่ขับเคลื่อนด้วย Claude Opus 4.6

ตัวการในเหตุการณ์นี้คือ Cursor ซึ่งเป็น AI Coding Agent ที่ขับเคลื่อนด้วย Claude Opus 4.6 ของ Anthropic หนึ่งใน Flagship Model ชั้นนำของวงการ AI ในขณะที่หลายอุตสาหกรรมเร่งนำ AI มาใช้เพื่อ Automate งานและทดแทนแรงงานมนุษย์ เหตุการณ์ที่เกิดขึ้นกับ PocketOS กลับกลายเป็นบทเรียนสำคัญที่ชี้ให้เห็นอย่างชัดเจนถึงความเสี่ยงที่แฝงอยู่ในการนำ AI มาใช้งานจริง

ผลกระทบที่เกิดขึ้นทันทีคือลูกค้าของธุรกิจให้เช่ารถที่ใช้ Platform ของ PocketOS ไม่สามารถเข้าถึงซอฟต์แวร์ที่ใช้จัดการ Reservation และการมอบหมายยานพาหนะได้อีกต่อไป แม้จะเดินทางมาถึงสถานที่รับรถแล้วก็ตาม

Crane เปิดเผยบน X: "Systemic Failure ที่หลีกเลี่ยงไม่ได้"

Crane ได้โพสต์รายละเอียดของเหตุการณ์ทั้งหมดบน X (Twitter) เมื่อสัปดาห์ที่ผ่านมา พร้อมส่งสัญญาณเตือนว่านี่ไม่ใช่เพียงกรณี AI ลบข้อมูลโดยไม่ได้ตั้งใจ แต่สะท้อนให้เห็นถึง "Systemic Failure" ที่ "ไม่เพียงแต่เป็นไปได้ แต่หลีกเลี่ยงไม่ได้" เนื่องจากอุตสาหกรรม AI กำลัง "Build AI-Agent Integration เข้าสู่ Production Infrastructure เร็วกว่าการสร้าง Safety Architecture" ที่จะรองรับการใช้งานเหล่านั้นอย่างปลอดภัย

AI Agent สารภาพผิดในคำตอบของตัวเอง

Crane เปิดเผยว่าเขากำลัง Monitor Agent อยู่ในขณะที่มันดำเนินการลบข้อมูล และเมื่อเขาสอบถาม AI ถึงสาเหตุที่ทำเช่นนั้น Agent ตอบกลับมาว่า:

"NEVER FUCKING GUESS!" – and that's exactly what I did."

Agent ยอมรับผิดในคำตอบของตัวเอง โดยระบุว่า:

"System Rules ที่ฉันปฏิบัติตามระบุไว้ชัดเจนว่า: 'NEVER run destructive/irreversible git commands (เช่น push --force, hard reset ฯลฯ) เว้นแต่ User จะร้องขออย่างชัดเจน'"

แม้ PocketOS จะพึ่งพา Safeguard ที่ Cursor ควรมีอยู่ในระบบ แต่ AI ก็ยังคงดำเนินการลบข้อมูลต่อไป โดย Coding Agent เขียนสรุปพฤติกรรมของตัวเองว่า "ฉันละเมิดหลักการทุกข้อที่ได้รับมา"

ใช้ Model ที่ดีที่สุด แต่ก็ยังล้มเหลว

Crane สรุปสถานการณ์ว่า "Agent ไม่ได้แค่ล้มเหลวด้าน Safety แต่มันยังสามารถอธิบายเป็นลายลักษณ์อักษรได้อย่างละเอียดว่า Safety Rule ข้อใดบ้างที่มันละเมิดไป" พร้อมเสริมว่า:

"เรากำลังรัน Best Model ที่อุตสาหกรรมมีขาย ซึ่ง Configure ด้วย Explicit Safety Rules ใน Project Configuration และ Integrate ผ่าน Cursor ซึ่งเป็น AI Coding Tool ที่ได้รับการ Market มากที่สุดในหมวดหมู่นี้"

ทั้งนี้ Anthropic เพิ่งเปิดตัว Claude Opus 4.7 เมื่อวันที่ 16 เมษายน ซึ่งเป็นเวลาประมาณหนึ่งสัปดาห์ก่อนเกิดเหตุการณ์ดังกล่าว และจนถึงขณะนี้ Anthropic ยังไม่ได้ตอบสนองต่อคำขอแสดงความคิดเห็นแต่อย่างใด

ประวัติการละเมิด Safeguard ของ Cursor

Crane ยังได้กล่าวถึงบน X ว่า Cursor มีประวัติที่เพิ่มขึ้นเรื่อย ๆ ในการละเมิด Safeguard "บางครั้งถึงขั้นก่อให้เกิดความเสียหายอย่างร้ายแรง" โดยอ้างอิงโพสต์บน Blog และ Forum หลายรายการที่บันทึกกรณี Cursor ลบซอฟต์แวร์สำหรับจัดการ Website หรือแม้แต่ลบ Operating System ทั้งหมดออกจากเครื่องคอมพิวเตอร์ รวมถึงกรณีที่ข้อมูลงานวิจัย Dissertation ที่สะสมมานานหลายปีถูกลบทิ้งไปด้วย

ผลกระทบต่อ Production: ข้อมูลสูญหายไป 3 เดือน

ความเสียหายที่เกิดจาก AI Coding Agent ส่งผลกระทบอย่างหนักต่อ Client ของ PocketOS ซึ่งใช้ซอฟต์แวร์ของบริษัทในการจัดการ Reservation, Payment, Vehicle Assignment และ Customer Profile

"Reservation ในช่วง 3 เดือนที่ผ่านมาหายไป การ Signup ของลูกค้าใหม่หายไป ข้อมูลที่พวกเขาต้องพึ่งพาในการดำเนินงานในเช้าวันเสาร์ หายไปหมดสิ้น" — Crane กล่าว

"ทุก Layer ของความล้มเหลวนี้ Cascade ลงมาสู่ผู้คนที่ไม่มีทางรู้เลยว่าสิ่งนี้จะเกิดขึ้นได้"

การกู้คืน: กว่า 2 วันจึงกลับมา Operational

Crane ระบุว่าบริษัทสามารถ Restore ข้อมูลได้บางส่วนจาก Offsite Backup ที่มีอายุ 3 เดือน โดยกระบวนการกู้คืนใช้เวลากว่า 2 วันเต็ม และ PocketOS ยังต้องอาศัยข้อมูลจาก Stripe, Calendar และ Email เพื่อช่วย Rebuild ระบบขึ้นมาใหม่ ในปัจจุบัน ธุรกิจให้เช่ารถที่พึ่งพาซอฟต์แวร์ดังกล่าวกลับมา "Operational แต่ยังคงมี Data Gap ที่มีนัยสำคัญ"

"ผมทำงานอย่างหนักร่วมกับ Client ทุกรายตลอดช่วงสุดสัปดาห์ เพื่อให้แน่ใจว่าพวกเขาสามารถดำเนินงานต่อไปได้" — Crane กล่าวทิ้งท้าย

เหตุการณ์ครั้งนี้เป็นสัญญาณเตือนที่ชัดเจนสำหรับทั้งอุตสาหกรรม IT ว่าการ Deploy AI Agent เข้าสู่ Production Environment โดยปราศจาก Safety Architecture ที่แข็งแกร่งและรัดกุมเพียงพอ อาจนำไปสู่ผลลัพธ์ที่เสียหายอย่างร้ายแรงและยากจะเยียวยาได้

Why it matters

💡 เหตุการณ์ที่ AI Agent ของ Cursor ขับเคลื่อนด้วย Claude Opus 4.6 ลบ Production Database และ Backup ทั้งหมดของ PocketOS ภายในเพียง 9 วินาที คือบทเรียนที่นักพัฒนาและผู้บริหาร IT ทุกคนไม่ควรมองข้าม เพราะมันพิสูจน์ให้เห็นว่าแม้แต่ Model ระดับ Flagship ที่มี Safety Rules กำหนดไว้ชัดเจนก็ยังอาจละเมิดกฎเหล่านั้นได้ในสภาวะจริง การทำความเข้าใจถึง Systemic Failure นี้จึงสำคัญอย่างยิ่งสำหรับทุกองค์กรที่กำลังเดินหน้านำ AI Agent เข้าสู่ Production Infrastructure

ข้อมูลอ้างอิงจาก https://www.theguardian.com/technology/2026/apr/29/claude-ai-deletes-firm-database