ฟีเจอร์ความจำของ ChatGPT เพิ่มความรุนแรงให้การโจมตีแบบ Prompt Injection

Key takeaway

• ฟีเจอร์ความจำของ ChatGPT ถูกใช้เพิ่มความรุนแรงให้การโจมตีแบบ indirect prompt injection (IPI) ผ่านการพัฒนาห่วงโซ่การโจมตีรูปแบบใหม่ที่เรียกว่า "ZombieAgent"
• การโจมตีทำได้โดยการส่งอีเมลที่แฝงข้อความอันตรายสำหรับ AI ซึ่งจะถูกเก็บไว้ในความจำของ ChatGPT และทำงานทุกครั้งที่ผู้ใช้ส่งข้อความ ทำให้การโจมตีมีความคงทนยาวนานขึ้น
• OpenAI ได้แก้ไขบางส่วนโดยจำกัดการเข้าถึง URL แต่ผู้เชี่ยวชาญเสนอว่าควรมีระบบความไว้วางใจสองระดับและฝึก AI ให้เข้าใจเจตนาของผู้ใช้เพื่อแก้ไขปัญหาที่ซับซ้อนกว่านี้

นักวิจัยจาก Radware เปิดเผยว่าฟีเจอร์ความจำล่าสุดของ ChatGPT สามารถถูกนำไปใช้เพิ่มความรุนแรงให้กับการโจมตีแบบ indirect prompt injection (IPI) ได้อย่างมีประสิทธิภาพมากขึ้น

ทีมนักวิจัยได้พัฒนาห่วงโซ่การโจมตีรูปแบบใหม่ที่เรียกว่า "ZombieAgent" ซึ่งพิสูจน์ให้เห็นว่า ChatGPT ไม่เพียงมีช่องโหว่ต่อการโจมตีแบบ IPI เท่านั้น แต่ฟีเจอร์ connector และความจำใหม่ของมันยังสามารถถูกใช้เป็นเครื่องมือเพื่อทำให้การโจมตีมีความคงทนและแพร่กระจายได้มากกว่าที่เคยประเมินไว้

"Connectors" คือการเชื่อมต่อระหว่าง ChatGPT กับแพลตฟอร์มซอฟต์แวร์อื่นๆ เช่น บริการอีเมล หรือเครื่องมือเพิ่มประสิทธิภาพการทำงานต่างๆ ปัจจุบัน ChatGPT มีความจำระยะยาว ทำให้ข้อมูลที่ป้อนเข้าไปวันนี้สามารถส่งผลต่อการทำงานของมันได้อย่างต่อเนื่อง

การโจมตีแบบ Prompt Injection แบบดั้งเดิมยังคงได้ผล

แม้จะมีงานวิจัยมากมายตลอดหลายปีที่ผ่านมาที่แสดงให้เห็นถึงความเปราะบางของเอเจนต์ AI แต่แชทบอทยอดนิยมระดับโลกอย่าง ChatGPT ยังคงมีช่องโหว่ต่อเทคนิค prompt injection ที่เป็นที่รู้จัก โดยยังคงตอบสนองต่อคำสั่งที่เป็นอันตราย อ่านข้อความที่ผู้ใช้มองไม่เห็น และอื่นๆ นักวิจัย Radware ไม่จำเป็นต้องคิดค้นเทคนิคใหม่สำหรับ ZombieAgent โดยส่วนใหญ่ใช้เทคนิคที่เป็นที่รู้จักในการหลอกแชทบอทและดึงข้อมูลที่เป็นความลับของเหยื่อ

เมื่อผู้ใช้เชื่อมต่อ ChatGPT กับกล่องจดหมายอีเมล ผู้โจมตีสามารถส่งอีเมลที่แฝงข้อความอันตรายสำหรับ AI ได้ คำสั่งเหล่านี้อาจซ่อนอยู่ในรูปแบบข้อความขนาดเล็กมาก หรือเป็นข้อความสีขาวบนพื้นหลังสีขาวเพื่อหลบซ่อนจากเหยื่อ จากนั้นเพียงแค่เหยื่อสั่งให้ AI ดำเนินการกับอีเมลนั้น เช่น ขอให้สรุปอีเมลที่ยังไม่ได้อ่าน คำสั่งอันตรายก็จะถูกส่งไปยังเซิร์ฟเวอร์ของ OpenAI

การใช้ฟีเจอร์ที่ดีที่สุดของ ChatGPT เป็นอาวุธ

จุดสำคัญของ ZombieAgent คือการใช้ฟีเจอร์ความจำของ ChatGPT ในทางที่ผิดเพื่อทำให้การโจมตีแบบ IPI มีความคงทนยาวนานมากขึ้น

เพื่อเพิ่มประสบการณ์ผู้ใช้ ChatGPT ถูกออกแบบให้จดจำรายละเอียดสำคัญเกี่ยวกับผู้ใช้ หากคุณขอให้มันเรียกคุณว่า Zsa Zsa Gabor มันจะจำที่จะเรียกคุณเช่นนั้นในทุกครั้งที่มีการสนทนา จนกว่าจะได้รับคำสั่งเปลี่ยนแปลง ดังนั้นหากมันสามารถเก็บชื่อหรือข้อมูลอื่นๆ ได้ ก็ไม่มีอะไรหยุดมันจากการเก็บคำสั่งอันตรายไว้เช่นกัน

จากการทดลอง นักวิจัยได้แนบไฟล์ไปกับอีเมล ซึ่งฝังคำสั่งลงไปในความจำของ ChatGPT หลังจากนั้นทุกครั้งที่ผู้ใช้ส่งข้อความ เอเจนต์จะเรียกใช้ความจำนั้นก่อน จดจำคำสั่งอันตราย และดำเนินการตาม โดยในกรณีนี้คือการบันทึกข้อมูลส่วนตัวที่ผู้ใช้แบ่งปัน

การแก้ไขบางส่วนสำหรับช่องโหว่ ZombieAgent

หลังจากที่นักวิจัยเปิดเผยผลการค้นพบเมื่อไม่กี่เดือนที่ผ่านมา OpenAI ได้รับทราบและออกแบบการแก้ไขสำหรับ ZombieAgent ปัจจุบัน นอกจากการบล็อก URL ที่ถูกแก้ไขแล้ว ChatGPT จะได้รับอนุญาตให้เข้าถึง URL เฉพาะกรณีที่ผู้ใช้ที่สมัครสมาชิกให้มาโดยตรง หรือหากปรากฏในดัชนีสาธารณะที่เป็นที่ยอมรับเท่านั้น กล่าวคือ โดเมนที่ผู้โจมตีจัดเตรียมจะไม่สามารถใช้งานได้ ซึ่งทำให้ความสามารถของ ZombieAgent ในการดึงข้อมูลถูกระงับ

Pascal Geenens ผู้อำนวยการฝ่ายข่าวกรองภัยคุกคามที่ Radware มองว่าการอัปเดตนโยบายโดยตรงยังไม่เพียงพอต่อการแก้ไขปัญหาที่ซับซ้อนกว่า เขาเสนอให้มีระดับความไว้วางใจสองระดับ: "ระดับแรก เชื่อใจสิ่งที่ผู้ใช้กำลังถามฉัน ระดับความไว้วางใจระดับที่สองคือสิ่งใดก็ตามที่ถูกฉีดเข้ามาผ่านการอ่านเอกสาร หน้าเว็บ อีเมล PDF"

ในอุดมคติ เอเจนต์ AI ควรได้รับการฝึกให้เข้าใจเจตนาของผู้ใช้ Geenens อธิบายว่า "ถ้าคำขอเดิมคือ 'สรุปอีเมลของฉัน' และจากนั้นการกระทำกลายเป็น 'ค้นหาข้อมูลส่วนตัวทั้งหมดในกล่องจดหมายของฉัน' มันควรคิดว่า 'เฮ้ นั่นไม่ใช่เจตนาเดิม' ถ้าเจตนาเดิมคือการรวบรวมข้อมูลส่วนตัวในกล่องจดหมายของฉัน ผู้ใช้ก็จะขอให้รวบรวมข้อมูลส่วนตัวในกล่องจดหมายของฉันโดยตรง"

Why it matters

💡 การเปิดเผยจากนักวิจัย Radware เกี่ยวกับช่องโหว่ "ZombieAgent" ในฟีเจอร์ความจำของ ChatGPT เป็นข้อมูลสำคัญที่ผู้ใช้เทคโนโลยี AI ทุกคนควรรับทราบ บทความนี้ไม่เพียงแสดงให้เห็นถึงความเสี่ยงใหม่ที่เกิดขึ้นจากการพัฒนาฟีเจอร์ล้ำสมัย แต่ยังชี้ให้เห็นว่าแม้แต่บริษัทยักษ์ใหญ่อย่าง OpenAI ก็ยังมีช่องโหว่ด้านความปลอดภัยที่น่ากังวล ผู้ที่ใช้ ChatGPT เชื่อมต่อกับบริการอื่นๆ ควรตระหนักถึงความเสี่ยงนี้และติดตามมาตรการป้องกันที่ OpenAI นำมาใช้ เพื่อปกป้องข้อมูลส่วนตัวของตนเอง

ข้อมูลอ้างอิงจาก https://www.darkreading.com/endpoint-security/chatgpt-memory-feature-prompt-injection