AI แบบ Generative: ประโยชน์และความเสี่ยง

Key takeaway

• AI แบบ Generative กำลังเป็นกระแสในวงการไอที โดย Microsoft ใช้โมเดลของ OpenAI ในการตอบคำถามลูกค้าเกี่ยวกับความปลอดภัยที่เปลี่ยนแปลงไปเนื่องจาก AI
• ผู้เชี่ยวชาญด้านความปลอดภัยควรพิจารณาการใช้งาน AI จาก 3 มุมมอง คือ usage, application และ platform เพื่อระบุและจัดการความเสี่ยงที่เกี่ยวข้องได้อย่างเหมาะสม
• แม้ AI จะมีประโยชน์มาก แต่ก็มาพร้อมความเสี่ยงด้านความปลอดภัยที่สำคัญ เช่น การเปิดเผยข้อมูลอ่อนไหว, prompt injection, data poisoning เป็นต้น องค์กรจึงต้องสร้างสมดุลระหว่างประโยชน์และความเสี่ยง พร้อมทั้งใช้แนวปฏิบัติด้านความปลอดภัยที่เหมาะสม

AI แบบ Generative กลายเป็นกระแสในวงการไอทีอย่างรวดเร็วหลังจาก ChatGPT เปิดตัวเมื่อสองปีก่อน ปัจจุบัน Microsoft กำลังใช้โมเดลพื้นฐานของ OpenAI และตอบคำถามลูกค้าเกี่ยวกับการเปลี่ยนแปลงด้านความปลอดภัยที่เกิดจาก AI

Siva Sundaramoorthy ผู้เชี่ยวชาญด้านความปลอดภัยและ senior cloud solutions security architect ของ Microsoft ได้ให้ภาพรวมของ generative AI รวมถึงประโยชน์และความเสี่ยงด้านความปลอดภัย แก่ผู้เชี่ยวชาญด้าน cybersecurity ในงาน ISC2 ที่ลาสเวกัสเมื่อวันที่ 14 ตุลาคม

Sundaramoorthy ชี้ให้เห็นถึงความกังวลเกี่ยวกับความแม่นยำของ GenAI โดยเน้นย้ำว่าเทคโนโลยีนี้ทำหน้าที่เป็นตัวทำนาย เลือกคำตอบที่น่าจะถูกต้องที่สุด แม้ว่าคำตอบอื่นๆ อาจถูกต้องได้เช่นกันขึ้นอยู่กับบริบท

ผู้เชี่ยวชาญด้าน cybersecurity ควรพิจารณาการใช้งาน AI จาก 3 มุมมอง: usage, application และ platform

Sundaramoorthy กล่าวว่า "คุณต้องเข้าใจว่าคุณกำลังพยายามป้องกัน use case แบบไหน" และเสริมว่า "นักพัฒนาและคนในบริษัทจำนวนมากจะอยู่ในกลุ่ม application ตรงกลาง ซึ่งเป็นกลุ่มที่กำลังสร้างแอปพลิเคชันด้วย AI แต่ละบริษัทมี bot หรือ pre-trained AI ในสภาพแวดล้อมของตัวเอง"

เมื่อระบุ usage, application และ platform แล้ว สามารถรักษาความปลอดภัยของ AI ได้คล้ายกับระบบอื่นๆ แต่ไม่ทั้งหมด ความเสี่ยงบางอย่างมีแนวโน้มที่จะเกิดขึ้นกับ generative AI มากกว่าระบบแบบดั้งเดิม

Sundaramoorthy ระบุความเสี่ยงจากการนำ AI มาใช้ 7 ประการ ได้แก่:

1. อคติ

2. ข้อมูลเท็จ

3. การหลอกลวง

4. ขาดความรับผิดชอบ

5. พึ่งพามากเกินไป

6. ทรัพย์สินทางปัญญา

7. ผลกระทบทางจิตวิทยา

AI มี threat map ที่เป็นเอกลักษณ์ สอดคล้องกับ 3 มุมมองข้างต้น:

-การใช้งาน AI อาจนำไปสู่การเปิดเผยข้อมูลอ่อนไหว, shadow IT จากแอปที่ใช้ LLM ของบุคคลที่สาม หรือภัยคุกคามภายใน

- แอปพลิเคชัน AI อาจเปิดช่องให้เกิด prompt injection, การรั่วไหลของข้อมูล หรือภัยคุกคามภายใน

- แพลตฟอร์ม AI อาจก่อให้เกิดปัญหาผ่าน data poisoning, การโจมตีแบบ denial-of-service, การขโมยโมเดล, model inversion หรือ hallucinations

ผู้โจมตีสามารถใช้กลยุทธ์ต่างๆ เช่น prompt converters โดยใช้การพรางข้อมูล, เทคนิคทางความหมาย หรือคำสั่งอันตรายเพื่อหลีกเลี่ยงตัวกรองเนื้อหา หรือเทคนิค jailbreaking พวกเขาอาจใช้ประโยชน์จากระบบ AI และทำให้ข้อมูลการฝึกฝนเป็นพิษ, ทำ prompt injection, ใช้ประโยชน์จากการออกแบบปลั๊กอินที่ไม่ปลอดภัย, เปิดการโจมตีแบบ denial-of-service หรือบังคับให้โมเดล AI รั่วไหลข้อมูล

Sundaramoorthy ตั้งคำถามว่า "จะเกิดอะไรขึ้นถ้า AI เชื่อมต่อกับระบบอื่น กับ API ที่สามารถรันโค้ดบางประเภทในระบบอื่นๆ ได้? คุณสามารถหลอก AI ให้สร้าง backdoor ให้คุณได้หรือไม่?"

ทีมรักษาความปลอดภัยต้องสร้างสมดุลระหว่างความเสี่ยงและประโยชน์ของ AI Sundaramoorthy ใช้ Microsoft Copilot บ่อยและพบว่ามีประโยชน์ต่องานของเขา แต่เขากล่าวว่า "คุณค่าที่ได้สูงเกินกว่าที่แฮกเกอร์จะไม่พุ่งเป้าไปที่มัน"

ประเด็นสำคัญอื่นๆ ที่ทีมรักษาความปลอดภัยควรตระหนักเกี่ยวกับ AI ได้แก่:

- เทคโนโลยีใหม่หรือการออกแบบอาจนำไปสู่ช่องโหว่

- ผู้ใช้ต้องได้รับการฝึกอบรมเพื่อปรับตัวกับความสามารถใหม่ของ AI

- การเข้าถึงข้อมูลอ่อนไหวด้วย AI สร้างความเสี่ยงใหม่

- ต้องรักษาความโปร่งใสและการควบคุมตลอดวงจรชีวิตของ AI

- ห่วงโซ่อุปทานของ AI อาจนำเข้าโค้ดที่มีช่องโหว่

- ขาดมาตรฐานการปฏิบัติตามกฎระเบียบที่ชัดเจน

- ผู้นำต้องสร้าง trusted pathway สู่แอปที่ใช้ generative AI

- AI มีความท้าทายที่เข้าใจยาก เช่น hallucinations

- ROI ของ AI ยังไม่ได้รับการพิสูจน์ในโลกจริง

Sundaramoorthy อธิบายว่า generative AI อาจล้มเหลวได้ทั้งแบบอันตรายและไม่อันตราย ความล้มเหลวที่อันตรายอาจเกี่ยวข้องกับผู้โจมตีที่หลีกเลี่ยงการป้องกันของ AI โดยแอบอ้างเป็นนักวิจัยเพื่อดึงข้อมูลอ่อนไหว ส่วนความล้มเหลวที่ไม่อันตรายอาจเกิดเมื่อเนื้อหาที่มีอคติเข้าสู่ output ของ AI โดยไม่ตั้งใจ

แม้จะมีความไม่แน่นอน แต่ก็มีวิธีที่เชื่อถือได้ในการรักษาความปลอดภัยโซลูชัน AI องค์กรมาตรฐานเช่น NIST และ OWASP ให้กรอบการจัดการความเสี่ยง MITRE เผยแพร่ ATLAS Matrix ซึ่งเป็นไลบรารีของกลยุทธ์ที่ผู้โจมตีใช้ Microsoft และ Google ก็มีเครื่องมือประเมินความปลอดภัยของ AI

องค์กรควรตรวจสอบให้แน่ใจว่าข้อมูลผู้ใช้ไม่เข้าสู่ข้อมูลโมเดลการฝึกฝน ใช้หลักการ least privilege เมื่อ fine-tuning โมเดล และควบคุมการเข้าถึงอย่างเข้มงวดเมื่อเชื่อมต่อกับแหล่งข้อมูลภายนอก

Sundaramoorthy สรุปว่า "แนวปฏิบัติที่ดีที่สุดใน cyber คือแนวปฏิบัติที่ดีที่สุดใน AI"

ส่วนประเด็นว่าควรใช้หรือไม่ใช้ AI นั้น Janelle Shane นักเขียนและนักวิจัย AI เสนอว่าการไม่ใช้ AI เลยก็เป็นทางเลือกหนึ่ง แต่ Sundaramoorthy มองต่างออกไป เขามองว่าหากมีปัญหาการเข้าถึงเอกสารภายในองค์กร "นั่นไม่ใช่ปัญหาของ AI แต่เป็นปัญหาของการควบคุมการเข้าถึง"

Why it matters

ข้อมูลอ้างอิงจาก https://www.techrepublic.com/article/microsoft-generative-ai-security-risk-reduction-isc2/