AI ทำนายคำตอบของคุณได้ — แต่นั่นไม่ได้แปลว่า AI เข้าใจคุณ

Key takeaway

• งานวิจัยจาก Harvard ที่ตีพิมพ์ใน Nature พบว่า GPT-4 สามารถทำนายผลการทดลองทางสังคมศาสตร์จาก 70 การทดลองและผู้เข้าร่วมเกือบ 120,000 คนได้อย่างแม่นยำในเชิง Ranking แต่กลับ Overestimate ขนาดของผลกระทบสูงกว่าความเป็นจริงถึง 2 เท่า ซึ่งหมายความว่า LLM รู้ว่า "อะไรได้ผลดีกว่า" แต่ยังประเมินไม่ได้ว่า "ได้ผลมากแค่ไหน" อย่างน่าเชื่อถือ
• ความสามารถในการ Predict ของ LLM ไม่ได้เท่ากับความเข้าใจพฤติกรรมมนุษย์ที่แท้จริง เพราะสิ่งที่ Model ทำคือ Pattern-matching ขั้นสูงจาก Training Data เท่านั้น และยังพบ Accuracy Bias ที่เอื้อต่อกลุ่มตัวอย่างผิวขาวและ Republican ในบริบทสหรัฐฯ ทำให้ Silicon Sampling ไม่สามารถทดแทนกลุ่มตัวอย่างจริงได้ โดยเฉพาะในประเด็นที่เกี่ยวกับชุมชนชายขอบหรือเหตุการณ์ที่เปลี่ยนแปลงเร็ว
• จุดที่ LLM มีคุณค่าจริงในงานวิจัยคือการใช้เป็นเครื่องมือเสริมสำหรับ Pilot Study และการผสาน LLM Prediction กับ Human Forecast ให้ความแม่นยำสูงกว่าการพึ่งพาแหล่งเดียว แต่ต้องระวังความเสี่ยงด้านการนำไปใช้ในทางที่ผิด เช่น การใช้ AI จัดอันดับข้อความชักจูงที่เป็นอันตราย และความเสี่ยงด้าน Reproducibility จากการที่ Proprietary Model อาจถูกอัปเดตหรือปิดตัวได้ตลอดเวลา

การศึกษาชิ้นใหม่ที่นำโดย Ashwini Ashokkumar นักวิจัยด้านจิตวิทยาจากมหาวิทยาลัยฮาร์วาร์ด และได้รับการตีพิมพ์ในวารสาร Nature เปิดเผยว่า LLM (Large Language Model) อย่าง GPT-4 สามารถทำนายผลลัพธ์ของการทดลองทางสังคมศาสตร์ได้อย่างแม่นยำในหลายกรณี

ทว่าผลการศึกษาดังกล่าวมาพร้อมกับข้อเตือนใจที่สำคัญ นั่นคือระบบที่สามารถ predict การตอบสนองของมนุษย์ได้ ไม่ได้หมายความว่าระบบนั้นเข้าใจพฤติกรรมมนุษย์อย่างแท้จริง และ "synthetic respondents" หรือที่เรียกว่า "silicon samples" ก็ไม่อาจทดแทนการวิจัยจากกลุ่มตัวอย่างจริงได้

ผลการวิจัยที่น่าสนใจ

Ashokkumar และทีมวิจัยได้รวบรวมข้อมูลจากการทดลองจริงจำนวน 70 รายการ ที่ดำเนินการในสหรัฐอเมริกา ครอบคลุมผู้เข้าร่วมเกือบ 120,000 คน จากนั้นจึงป้อนข้อมูลคำอธิบายของผู้ตอบแบบสอบถามสมมติให้แก่ GPT-4 พร้อมด้วยข้อความเชิงทดลองและคำถาม Survey เพื่อให้ Model ประมาณการตอบสนองภายใต้เงื่อนไขต่างๆ

เมื่อนำผลลัพธ์ที่ได้ไปเปรียบเทียบกับข้อมูลจริง พบว่ามี Correlation ที่แข็งแกร่ง โดย Model สามารถแยกแยะความแตกต่างระหว่าง Intervention ที่มีประสิทธิภาพสูงและต่ำได้อย่างมีนัยสำคัญ ซึ่งบ่งชี้ว่า LLM อาจสามารถจับ Pattern เชิงสังคมที่สำคัญได้ อย่างน้อยในบริบทของการทดลองแบบ Text-based Survey ในสหรัฐอเมริกา

Forecast ที่แม่นยำ ≠ ความเข้าใจที่แท้จริง

นักวิชาการ Lisa Messeri และ Molly J. Crockett ได้ออกมาเตือนว่า AI System อาจสร้างสิ่งที่เรียกว่า "illusions of understanding" ขึ้นมาได้ กล่าวคือ Output ที่ดูน่าเชื่อถือและมีประโยชน์ แต่กลับทำให้ผู้ใช้ประเมินระดับความเข้าใจที่เกิดขึ้นจริงสูงเกินไป

LLM สามารถสร้างคำอธิบายที่สมเหตุสมผลหรือ Forecast ที่น่าเชื่อถือได้ก็จริง แต่สิ่งเหล่านี้อาจสะท้อนเพียงความสามารถในการ Pattern-matching ขั้นสูงเท่านั้น มากกว่าจะเป็นการเข้าใจกลไกที่อยู่เบื้องหลังพฤติกรรมมนุษย์อย่างแท้จริง

ตัวอย่างที่ชัดเจนจากการศึกษาคือ แม้ GPT-4 จะทำได้ดีในการจัดอันดับผลกระทบของ Treatment ต่างๆ แต่กลับประมาณการว่าผลกระทบเหล่านั้นมีขนาดใหญ่กว่าความเป็นจริงถึงประมาณ 2 เท่า ความคลาดเคลื่อนนี้มีนัยสำคัญอย่างยิ่ง เพราะแม้เครื่องมือจะบอก Researcher ได้ว่า Message X น่าจะได้ผลดีกว่า Message Y แต่ยังคงไม่น่าเชื่อถือในแง่ของการประเมินว่าความแตกต่างนั้นมีขนาดเล็กน้อย ปานกลาง หรือมีนัยสำคัญสูงเพียงใด

ศักยภาพในฐานะเครื่องมือสำหรับ Pilot Study

แม้จะมีข้อจำกัด แต่หากใช้อย่างระมัดระวัง LLM ยังคงมีคุณค่าในฐานะเครื่องมือเสริมสำหรับงานวิจัย โดยปกติแล้ว Researcher มักดำเนินการ Pilot Study ขนาดเล็กก่อนเปิดตัวการทดลองขนาดใหญ่ที่มีค่าใช้จ่ายสูง ซึ่ง LLM-generated Forecast อาจช่วยเสริมกระบวนการนี้ได้อย่างมีประสิทธิภาพ เช่น การ Simulate การตอบสนองของกลุ่ม Demographic Profile ต่างๆ ต่อข้อความเกี่ยวกับ Vaccination, Workplace Intervention หรือ Policy Framing ในหลากหลายรูปแบบ

นอกจากนี้ การศึกษายังพบว่าการผสานระหว่าง LLM Prediction กับ Human Forecast ให้ความแม่นยำสูงกว่าการพึ่งพาแหล่งข้อมูลใดแหล่งหนึ่งเพียงอย่างเดียว อนาคตที่เป็นประโยชน์ที่สุดของ AI ในแวดวงวิจัยจึงอาจไม่ใช่การมาแทนที่นักวิจัยหรือกลุ่มตัวอย่างมนุษย์ แต่คือการช่วย Researcher ตัดสินใจได้ดีขึ้นว่าควรจัดสรรทรัพยากรอันจำกัดไปที่จุดใด

ความเสี่ยงของ Silicon Sampling

แนวคิด "Silicon Sampling" กำลังได้รับความสนใจมากขึ้นในวงการ Polling, Market Research และการปรึกษาหารือสาธารณะ ผู้สนับสนุนมองว่าเป็นทางเลือกที่รวดเร็วและประหยัดค่าใช้จ่ายในการทดสอบแนวคิด อย่างไรก็ตาม นักวิจารณ์เตือนว่าแนวทางดังกล่าวอาจบ่อนทำลายความน่าเชื่อถือ หากมีการนำเสนอผลจากการ Simulation ราวกับว่าเป็นความคิดเห็นของสาธารณะที่แท้จริง

Synthetic Sample ดึงข้อมูลจาก Pattern ที่ถูก Encode ไว้ใน Training Data, Prompt Design และ Guardrail ของ Model ซึ่งแม้จะสามารถสะท้อนองค์ประกอบบางส่วนของการตัดสินใจของมนุษย์ได้ แต่ยังขาดประสบการณ์จริง ความรู้เฉพาะถิ่น และความผูกพันที่แท้จริงกับประเด็นที่ศึกษา

ช่องว่างนี้มีความสำคัญเป็นพิเศษในกรณีของประเด็นที่เพิ่งเกิดขึ้นใหม่ ชุมชนชายขอบ เหตุการณ์ที่เปลี่ยนแปลงอย่างรวดเร็ว และกลุ่มประชากรที่ถูก Underrepresent ใน Online Data

Ashokkumar และทีมพบว่าแม้ Model จะทำงานได้ดีในภาพรวมทั่วทุกกลุ่ม Demographic แต่ยังพบความแตกต่างด้านความแม่นยำที่เอื้อประโยชน์ต่อกลุ่มตัวอย่างผิวขาวและ Republican ในบริบทของสหรัฐอเมริกา หากปราศจากการ Calibrate อย่างรอบคอบ Synthetic Respondent อาจสะท้อนเพียง Pattern หลักในชุดข้อมูลที่มีอยู่ ในขณะที่ลดทอนความสำคัญของความคิดเห็นที่แตกต่างและมุมมองจากกลุ่มส่วนน้อย

ความเสี่ยงจากการนำไปใช้ในทางที่ผิด

ความสามารถในการ Predict ของ LLM อาจถูกนำไปใช้ในทางที่ผิดได้เช่นกัน ทีมวิจัยได้ทดสอบว่า GPT-4 สามารถระบุ Content บน Social Media ที่มีแนวโน้มจะลดความตั้งใจในการรับวัคซีน COVID ได้หรือไม่ ผลปรากฏว่าแม้ Model จะปฏิเสธการสร้างข้อความต่อต้านวัคซีนโดยตรง แต่ยังสามารถช่วยระบุได้ว่าข้อความใดในชุดตัวเลือกที่มีอยู่มีแนวโน้มจะมีประสิทธิภาพในการชักจูงมากที่สุด

สิ่งนี้ชี้ให้เห็นถึงความจำเป็นในการสร้าง Safeguard ที่ครอบคลุมยิ่งกว่าการบล็อกเพียงแค่ Harmful Prompt ที่ชัดเจน โดยระบบอาจต้องการกลไกป้องกันเพิ่มเติมจากการใช้ AI เพื่อจัดอันดับ ปรับให้เหมาะสม หรือกำหนดเป้าหมายการโน้มน้าวใจที่อาจก่อให้เกิดอันตราย

ยิ่งไปกว่านั้น งานวิจัยที่ใช้ Proprietary LLM อย่าง GPT-4 ยังมีความเสี่ยงจากการเปลี่ยนแปลงที่ Model Provider อาจดำเนินการได้ตลอดเวลา เนื่องจาก Model อาจถูกอัปเดตหรือยุติการให้บริการโดยไม่มีการแจ้งล่วงหน้า ซึ่งทำให้นักวิจัยรายอื่นยากหรือแทบเป็นไปไม่ได้ที่จะตรวจสอบหรือทำซ้ำผลการวิจัยที่อิงกับ AI ดังกล่าว

บทสรุป

LLM มีศักยภาพที่จะเป็นเครื่องมืออันมีคุณค่าสำหรับสังคมศาสตร์ ช่วยให้ Researcher สามารถทดสอบแนวคิด จัดลำดับความสำคัญของ Intervention และสำรวจสถานการณ์ต่างๆ ได้ด้วยต้นทุนที่ต่ำกว่า แต่ในขณะเดียวกัน ก็มีความเสี่ยงที่ระบบเหล่านี้อาจทำสิ่งต่างๆ ได้ดีพอจนทำให้เราเชื่อว่าตัวเองเข้าใจมากกว่าที่เป็นจริง

Silicon Sampling อาจเป็นประโยชน์สำหรับการสร้าง Hypothesis และทดสอบสมมติฐานเบื้องต้น แต่ไม่อาจทดแทนการรับฟังเสียงจากกลุ่มประชากรจริงได้ ความเสี่ยงที่แท้จริงจึงไม่ใช่การใช้ Synthetic Agent แต่คือการเข้าใจผิดว่า Model-generated Proxy คือตัวแทนที่แท้จริงของกลุ่มประชากรนั้นๆ

Why it matters

💡 งานวิจัยล่าสุดจากมหาวิทยาลัยฮาร์วาร์ดที่ตีพิมพ์ใน Nature เผยให้เห็นว่า GPT-4 สามารถทำนายพฤติกรรมมนุษย์ได้แม่นยำในระดับหนึ่ง แต่นั่นไม่ได้หมายความว่า AI เข้าใจมนุษย์จริงๆ ข้อมูลเชิงลึกนี้มีความสำคัญอย่างยิ่งสำหรับนักพัฒนา Data Scientist และองค์กรที่กำลังพิจารณานำ AI มาใช้ในงานวิจัยหรือวิเคราะห์พฤติกรรมผู้ใช้ เพราะการเข้าใจขีดจำกัดที่แท้จริงของ LLM จะช่วยให้คุณตัดสินใจได้อย่างถูกต้องว่าควรไว้วางใจ AI มากแค่ไหนในกระบวนการทำงานของคุณ

ข้อมูลอ้างอิงจาก https://theconversation.com/ai-can-predict-how-youll-respond-to-a-survey-but-thats-not-the-same-as-understanding-you-287069