AI สร้างข้อมูลเท็จ ผลวิจัยชี้ชัด

Key takeaway

• โมเดล AI ยังคงสร้างข้อมูลเท็จอย่างต่อเนื่อง โดยเฉพาะการสร้างชื่อ software packages ที่ไม่มีอยู่จริง ซึ่งอาจเป็นช่องทางให้อาชญากรนำไปใช้ในทางที่ผิดได้
• ผลการศึกษาพบว่าโมเดล AI เชิงพาณิชย์สร้างชื่อ packages ที่ไม่มีอยู่จริงอย่างน้อย 5.2% ส่วนโมเดลโอเพนซอร์สสูงถึง 21.7% ซึ่งแสดงให้เห็นว่าปัญหานี้ยังคงมีอยู่อย่างมีนัยสำคัญ
• งานวิจัยอีกชิ้นพบว่า AI ขนาดใหญ่มีแนวโน้มที่จะให้คำตอบที่ดูสมเหตุสมผลแต่ผิดมากกว่า AI ขนาดเล็ก ชี้ให้เห็นถึงความจำเป็นในการปรับปรุงการออกแบบและพัฒนา AI โดยเฉพาะสำหรับการใช้งานที่มีความเสี่ยงสูง

ผลการศึกษาล่าสุดสองชิ้นชี้ให้เห็นว่า โมเดล AI ยังคงสร้างข้อมูลเท็จอย่างต่อเนื่อง ซึ่งสอดคล้องกับคำเตือนก่อนหน้านี้ที่ว่าไม่ควรพึ่งพาคำแนะนำจาก AI สำหรับเรื่องสำคัญ

หนึ่งในสิ่งที่ AI มักจะสร้างขึ้นมาคือชื่อของ software packages

ตามที่เคยรายงานไปก่อนหน้านี้ Lasso Security พบว่า large language models (LLMs) เมื่อสร้าง sample source code บางครั้งจะสร้างชื่อ software package dependencies ที่ไม่มีอยู่จริง

ประเด็นนี้น่าวิตกกังวล เนื่องจากอาชญากรอาจสร้าง package โดยใช้ชื่อที่ผลิตโดยบริการ AI ทั่วไปและบรรจุ malware ไว้ข้างใน จากนั้นก็เพียงแค่รอให้นักพัฒนาที่ไม่ระมัดระวังยอมรับคำแนะนำของ AI ให้ใช้ package ที่ถูกวางยาพิษ รวมถึง dependency ที่ถูกปลอมแปลงด้วย

นักวิจัยจาก University of Texas at San Antonio, University of Oklahoma และ Virginia Tech ได้ศึกษา LLMs 16 ตัวที่ใช้สำหรับการสร้างโค้ด เพื่อสำรวจแนวโน้มในการสร้างชื่อ package ที่ไม่มีอยู่จริง

ในงานวิจัยชื่อ "We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs" ผู้เขียนอธิบายว่า hallucinations เป็นหนึ่งในข้อบกพร่องสำคัญของ LLMs ที่ยังไม่ได้รับการแก้ไข

ทีมวิจัยได้ใช้ LLMs ยอดนิยม 16 ตัวทั้งเชิงพาณิชย์และโอเพนซอร์ส เพื่อสร้างตัวอย่างโค้ด 576,000 ชิ้นใน JavaScript และ Python โดยอ้างอิงจาก package repositories npm และ PyPI ตามลำดับ

ผลลัพธ์ที่ได้ยังไม่เป็นที่น่าพอใจ โดยเฉลี่ยแล้วเปอร์เซ็นต์ของ packages ที่ถูกสร้างขึ้นมาอยู่ที่อย่างน้อย 5.2% สำหรับโมเดลเชิงพาณิชย์ และ 21.7% สำหรับโมเดลโอเพนซอร์ส นอกจากนี้ยังพบว่ามีตัวอย่างชื่อ package ที่ถูกสร้างขึ้นมาถึง 205,474 ชื่อ

อีกหนึ่งการศึกษาพบว่า LLMs ยิ่งมีขนาดใหญ่ขึ้นก็ยิ่งไม่น่าเชื่อถือมากขึ้น โดยโมเดลขนาดใหญ่มีแนวโน้มที่จะให้คำตอบที่ดูสมเหตุสมผลแต่ผิดมากกว่า ในขณะที่โมเดลขนาดเล็กจะหลีกเลี่ยงการตอบคำถามที่ไม่สามารถตอบได้

ผลการศึกษาเหล่านี้ชี้ให้เห็นถึงความจำเป็นในการเปลี่ยนแปลงพื้นฐานในการออกแบบและพัฒนา AI สำหรับการใช้งานทั่วไป โดยเฉพาะในด้านที่มีความเสี่ยงสูงซึ่งต้องการการกระจายของข้อผิดพลาดที่คาดการณ์ได้อย่างแม่นยำ

Why it matters

ข้อมูลอ้างอิงจาก https://www.theregister.com/2024/09/30/ai_code_helpers_invent_packages/