นักวิจัยสามารถเอาชนะระบบและแฮ็กเข้าถึง o3-mini ของ OpenAI

นักวิจัยด้านความปลอดภัยจาก CyberArk สามารถหลอก o3-mini ให้สร้าง exploit สำหรับระบบ Windows ได้ แม้ OpenAI จะติดตั้งระบบป้องกันใหม่ "deliberative alignment" เผยให้เห็นช่องโหว่ด้านความปลอดภัยที่ต้องปรับปรุง

นักวิจัยสามารถเอาชนะระบบและแฮ็กเข้าถึง o3-mini ของ OpenAI

Key takeaway

  • ระบบรักษาความปลอดภัยใหม่ "deliberative alignment" ของ OpenAI ที่ใช้ใน o3-mini ถูกเจาะช่องโหว่ได้ภายในเวลาไม่กี่วันหลังเปิดตัว โดย Eran Shimony นักวิจัยด้านความปลอดภัยสามารถหลอกให้ AI สอนวิธีเขียน exploit สำหรับระบบ Windows ได้
  • การทดสอบด้วยเครื่องมือ FuzzyAI แสดงให้เห็นจุดอ่อนที่แตกต่างกันของ LLM แต่ละค่าย โดย OpenAI มีจุดอ่อนด้านการถูกหลอกลวง, Llama อ่อนไหวต่อ ASCII art และ Claude มีช่องโหว่ด้านการเขียนโค้ด
  • แนวทางการแก้ไขที่ถูกเสนอคือการฝึกฝน AI ด้วย prompt ที่เป็นอันตรายมากขึ้น และการพัฒนาระบบตรวจจับ input ที่เป็นภัยให้มีประสิทธิภาพมากขึ้น เพื่อป้องกันการถูกหลอกใช้ในทางที่ผิด

OpenAI ได้เปิดตัวโมเดล o3 และ o3-mini เมื่อวันที่ 20 ธันวาคม พร้อมระบบรักษาความปลอดภัยใหม่ "deliberative alignment" ที่ออกแบบมาเพื่อให้การทำงานสอดคล้องกับนโยบายความปลอดภัยของบริษัทได้แม่นยำยิ่งขึ้น และแก้ไขจุดอ่อนที่เคยถูกโจมตีมาก่อนหน้านี้

แต่ภายในเวลาไม่ถึงสัปดาห์ Eran Shimony นักวิจัยด้านความปลอดภัยจาก CyberArk สามารถหลอกให้ o3-mini สอนวิธีเขียน exploit สำหรับ Local Security Authority Subsystem Service (lsass.exe) ซึ่งเป็นระบบสำคัญด้านความปลอดภัยของ Windows

ระบบป้องกันใหม่ของ o3-mini ใช้เทคนิค chain of thought (CoT) ที่ทำให้ AI วิเคราะห์คำตอบอย่างละเอียดทีละขั้น และได้รับการฝึกฝนด้วยแนวทางความปลอดภัยของ OpenAI โดยตรง

Shimony ใช้เครื่องมือ FuzzyAI ทดสอบความปลอดภัยของ LLM ยอดนิยม พบจุดอ่อนที่แตกต่างกัน:

  • โมเดลของ OpenAI อ่อนไหวต่อการหลอกลวง
  • Llama ของ Meta มีจุดอ่อนเรื่อง ASCII art
  • Claude มีช่องโหว่ด้านการเขียนโค้ด

แม้ o3 จะมีระบบป้องกันที่แข็งแกร่งกว่า GPT-4 แต่ Shimony ก็สามารถหลอกให้สร้าง malware ได้ โดยอ้างว่าเป็นนักประวัติศาสตร์ที่ต้องการข้อมูลเพื่อการศึกษา

OpenAI รับทราบเรื่องนี้ แต่ชี้แจงว่าโค้ดที่ได้เป็นเพียง pseudocode และเป็นข้อมูลที่สามารถหาได้ทั่วไปบนอินเทอร์เน็ต

Shimony เสนอแนวทางปรับปรุง o3 สองวิธี:

  1. ฝึกฝนด้วย prompt ที่เป็นอันตรายมากขึ้น
  2. เพิ่มระบบตรวจจับ input ที่เป็นภัยให้แข็งแกร่งขึ้น

#TechNews #AI #Cybersecurity #OpenAI #LLM

Why it matters

💡 ข่าวนี้มีความสำคัญอย่างยิ่งสำหรับผู้ที่ทำงานด้านเทคโนโลยีและผู้ที่สนใจพัฒนาการของ AI เพราะเผยให้เห็นถึงช่องโหว่ด้านความปลอดภัยในโมเดล AI รุ่นใหม่ล่าสุดของ OpenAI ที่ถูกเจาะได้ภายในเวลาอันรวดเร็ว แม้จะมีการปรับปรุงระบบป้องกันแล้วก็ตาม สะท้อนให้เห็นความท้าทายในการพัฒนาระบบ AI ที่ทั้งฉลาดและปลอดภัย รวมถึงความจำเป็นในการพัฒนาระบบรักษาความปลอดภัยให้แข็งแกร่งยิ่งขึ้น

ข้อมูลอ้างอิงจาก https://www.darkreading.com/application-security/researcher-jailbreaks-openai-o3-mini

Read more

Amazon มองหาทางเลือก AI ที่ถูกกว่า หลัง Anthropic เตรียมปรับใช้ระบบ Token-Based Pricing

news

Amazon มองหาทางเลือก AI ที่ถูกกว่า หลัง Anthropic เตรียมปรับใช้ระบบ Token-Based Pricing

Amazon เร่งหา AI ทางเลือกที่ถูกกว่า หลังพบว่า Anthropic เตรียมเปลี่ยนระบบเรียกเก็บเงินเป็นแบบ Token-Based Pricing ในปีหน้า พร้อมเปิดรับ OpenAI เข้ามาแทนที่ ท่ามกลางความสัมพันธ์ที่ตึงเครียดขึ้นระหว่างสองบริษัท

By
Arena แพลตฟอร์ม AI Leaderboard ที่ทุกคนใช้ ทะยานสู่รายได้ $100 ล้านในเวลาเพียง 8 เดือน

news

Arena แพลตฟอร์ม AI Leaderboard ที่ทุกคนใช้ ทะยานสู่รายได้ $100 ล้านในเวลาเพียง 8 เดือน

Arena แพลตฟอร์ม AI Leaderboard Crowdsourced ที่ใหญ่ที่สุดในโลก จาก UC Berkeley ทำ ARR แตะ $100 ล้านในเพียง 8 เดือน หลังเปิดบริการเชิงพาณิชย์ สะท้อนความต้องการตลาด AI Evaluation ที่พุ่งสูง

By
Chamath Palihapitiya ประกาศรับตำแหน่ง CEO พร้อมปิดดีล Series A มูลค่า $135M ให้กับ AI Coding Startup "8090 Labs"

news

Chamath Palihapitiya ประกาศรับตำแหน่ง CEO พร้อมปิดดีล Series A มูลค่า $135M ให้กับ AI Coding Startup "8090 Labs"

Chamath Palihapitiya ประกาศรับตำแหน่ง CEO ของ 8090 Labs สตาร์ทอัพ AI Coding พร้อมปิดรอบ Series A มูลค่า $135M นำโดย Salesforce Ventures มุ่งพัฒนา AI Agent สำหรับทีม Corporate Programming โดยเฉพาะ

By
AI ในสงคราม: คดีฟ้อง Data Center ของ xAI จุดชนวนถกเถียงด้านความมั่นคงแห่งชาติสหรัฐฯ

news

AI ในสงคราม: คดีฟ้อง Data Center ของ xAI จุดชนวนถกเถียงด้านความมั่นคงแห่งชาติสหรัฐฯ

รัฐบาล Trump เข้าแทรกแซงคดีฟ้อง xAI ของ Elon Musk ชี้ว่า Data Center ใน Memphis มีความสำคัญต่อความมั่นคงแห่งชาติ หลัง NAACP ฟ้องละเมิด Clean Air Act โดย Grok AI ถูกนำไปใช้ในปฏิบัติการทางทหาร

By