นักวิจัยสามารถเอาชนะระบบและแฮ็กเข้าถึง o3-mini ของ OpenAI

นักวิจัยด้านความปลอดภัยจาก CyberArk สามารถหลอก o3-mini ให้สร้าง exploit สำหรับระบบ Windows ได้ แม้ OpenAI จะติดตั้งระบบป้องกันใหม่ "deliberative alignment" เผยให้เห็นช่องโหว่ด้านความปลอดภัยที่ต้องปรับปรุง

นักวิจัยสามารถเอาชนะระบบและแฮ็กเข้าถึง o3-mini ของ OpenAI

Key takeaway

  • ระบบรักษาความปลอดภัยใหม่ "deliberative alignment" ของ OpenAI ที่ใช้ใน o3-mini ถูกเจาะช่องโหว่ได้ภายในเวลาไม่กี่วันหลังเปิดตัว โดย Eran Shimony นักวิจัยด้านความปลอดภัยสามารถหลอกให้ AI สอนวิธีเขียน exploit สำหรับระบบ Windows ได้
  • การทดสอบด้วยเครื่องมือ FuzzyAI แสดงให้เห็นจุดอ่อนที่แตกต่างกันของ LLM แต่ละค่าย โดย OpenAI มีจุดอ่อนด้านการถูกหลอกลวง, Llama อ่อนไหวต่อ ASCII art และ Claude มีช่องโหว่ด้านการเขียนโค้ด
  • แนวทางการแก้ไขที่ถูกเสนอคือการฝึกฝน AI ด้วย prompt ที่เป็นอันตรายมากขึ้น และการพัฒนาระบบตรวจจับ input ที่เป็นภัยให้มีประสิทธิภาพมากขึ้น เพื่อป้องกันการถูกหลอกใช้ในทางที่ผิด

OpenAI ได้เปิดตัวโมเดล o3 และ o3-mini เมื่อวันที่ 20 ธันวาคม พร้อมระบบรักษาความปลอดภัยใหม่ "deliberative alignment" ที่ออกแบบมาเพื่อให้การทำงานสอดคล้องกับนโยบายความปลอดภัยของบริษัทได้แม่นยำยิ่งขึ้น และแก้ไขจุดอ่อนที่เคยถูกโจมตีมาก่อนหน้านี้

แต่ภายในเวลาไม่ถึงสัปดาห์ Eran Shimony นักวิจัยด้านความปลอดภัยจาก CyberArk สามารถหลอกให้ o3-mini สอนวิธีเขียน exploit สำหรับ Local Security Authority Subsystem Service (lsass.exe) ซึ่งเป็นระบบสำคัญด้านความปลอดภัยของ Windows

ระบบป้องกันใหม่ของ o3-mini ใช้เทคนิค chain of thought (CoT) ที่ทำให้ AI วิเคราะห์คำตอบอย่างละเอียดทีละขั้น และได้รับการฝึกฝนด้วยแนวทางความปลอดภัยของ OpenAI โดยตรง

Shimony ใช้เครื่องมือ FuzzyAI ทดสอบความปลอดภัยของ LLM ยอดนิยม พบจุดอ่อนที่แตกต่างกัน:

  • โมเดลของ OpenAI อ่อนไหวต่อการหลอกลวง
  • Llama ของ Meta มีจุดอ่อนเรื่อง ASCII art
  • Claude มีช่องโหว่ด้านการเขียนโค้ด

แม้ o3 จะมีระบบป้องกันที่แข็งแกร่งกว่า GPT-4 แต่ Shimony ก็สามารถหลอกให้สร้าง malware ได้ โดยอ้างว่าเป็นนักประวัติศาสตร์ที่ต้องการข้อมูลเพื่อการศึกษา

OpenAI รับทราบเรื่องนี้ แต่ชี้แจงว่าโค้ดที่ได้เป็นเพียง pseudocode และเป็นข้อมูลที่สามารถหาได้ทั่วไปบนอินเทอร์เน็ต

Shimony เสนอแนวทางปรับปรุง o3 สองวิธี:

  1. ฝึกฝนด้วย prompt ที่เป็นอันตรายมากขึ้น
  2. เพิ่มระบบตรวจจับ input ที่เป็นภัยให้แข็งแกร่งขึ้น

#TechNews #AI #Cybersecurity #OpenAI #LLM

Why it matters

💡 ข่าวนี้มีความสำคัญอย่างยิ่งสำหรับผู้ที่ทำงานด้านเทคโนโลยีและผู้ที่สนใจพัฒนาการของ AI เพราะเผยให้เห็นถึงช่องโหว่ด้านความปลอดภัยในโมเดล AI รุ่นใหม่ล่าสุดของ OpenAI ที่ถูกเจาะได้ภายในเวลาอันรวดเร็ว แม้จะมีการปรับปรุงระบบป้องกันแล้วก็ตาม สะท้อนให้เห็นความท้าทายในการพัฒนาระบบ AI ที่ทั้งฉลาดและปลอดภัย รวมถึงความจำเป็นในการพัฒนาระบบรักษาความปลอดภัยให้แข็งแกร่งยิ่งขึ้น

ข้อมูลอ้างอิงจาก https://www.darkreading.com/application-security/researcher-jailbreaks-openai-o3-mini

Read more

มือหุ่นยนต์เอื้อมเหนือหน้าหนังสือ พร้อมข้อความ สำนักพิมพ์ใหญ่ถูกรายงานว่าใช้ AI ทำปกหนังสือ

news

สำนักพิมพ์ใหญ่ถูกรายงานว่าใช้ AI ทำปกและข้อความโปรโมตหนังสือโดยไม่แจ้งผู้เขียน

Gizmodo อ้างรายงานของ Wired ว่าสำนักพิมพ์ใหญ่ในสหรัฐฯ ใช้ ChatGPT, Claude และเครื่องมือสร้างภาพช่วยทำปกและข้อความโปรโมตหนังสือโดยไม่แจ้งผู้เขียน แม้ประกาศต่อต้าน AI slop

By
โลโก้ dots และ Muse บนพื้นชมพู พร้อมกุญแจและโซ่ล็อก กับข้อความ OpenAI Dots ชูความเป็นส่วนตัว ชน Meta Muse

news

OpenAI ชูความเป็นส่วนตัวของ agent "Dots" ชนกับ Meta Muse แต่ข้อมูลยังตรวจสอบยาก

OpenAI เปิดตัว Dots agent โดยชูเรื่องความเป็นส่วนตัวและตั้ง Meta Muse เป็นคู่แข่งหลัก ขณะที่บทความของ The Verge ชี้ว่า agent ต้องเข้าถึงข้อมูลวงกว้าง คำสัญญาด้านความเป็นส่วนตัวจึงตรวจสอบได้ยาก

By
ชายสวมสูทยืนหน้าฉากคำว่า Intelligence พร้อมข้อความ Nadella ชวนสมมติว่าโมเดล AI ถูก compromise ตั้งแต่ต้น

news

Nadella ชวนสมมติว่าโมเดล AI อาจถูก compromise พร้อมสร้าง emergency brake

Satya Nadella เสนอให้องค์กรสมมติว่าโมเดล AI อาจถูก compromise พร้อมสร้าง emergency brake ที่หยุดโมเดลกลางงานได้ เก็บบันทึกการกระทำของ agent ที่แก้ไขไม่ได้ และเปิดเผยความล้มเหลวร้ายแรงของ AI

By
หุ่นยนต์ฮิวแมนนอยด์ข้างชายสวมแจ็กเก็ตหนัง กับโลโก้ Figure และ Nvidia พร้อมข้อความ Nvidia อาจลงทุน Figure AI เพิ่ม $1B

news

รายงานว่า Nvidia อาจลงทุนใน Figure AI เพิ่ม $1B ที่มูลค่า $39B

รายงานระบุว่า Nvidia เจรจาลงทุนเพิ่ม 1,000 ล้านดอลลาร์ใน Figure AI ที่มูลค่า 39,000 ล้านดอลลาร์ แต่ดีลยังไม่ได้รับการยืนยัน และมีนักวิจารณ์เปรียบโครงสร้างกับ vendor financing ยุค Lucent

By