Qwen2.5-Coder เปิดมิติใหม่ของ Open CodeLLMs

Key takeaway

• Qwen2.5-Coder เป็นโมเดลภาษาเพื่อการเขียนโค้ดรุ่นใหม่ที่พัฒนาต่อยอดจากสถาปัตยกรรม Qwen2.5 มาพร้อมกับ tokenizer ขนาดใหญ่ และมีให้เลือกหลายขนาดตั้งแต่ 0.5B ถึง 32B parameters
• โมเดลนี้ผ่านการ pre-training ด้วยข้อมูลมากกว่า 5.5 trillion tokens และสร้างสถิติใหม่ใน 10 benchmarks สำคัญ โดยเฉพาะรุ่น Qwen2.5-Coder-7B-Base ที่มีประสิทธิภาพเหนือกว่า StarCoder2 และ DeepSeek-Coder
• จุดเด่นของ Qwen2.5-Coder คือความยืดหยุ่นในการใช้งาน รองรับภาษาโปรแกรมมิ่งยอดนิยม 8 ภาษา สามารถจัดการ input ได้สูงถึง 128k tokens และรองรับ quantized formats หลายรูปแบบ ทำให้เหมาะกับผู้ใช้ที่มีทรัพยากรคอมพิวเตอร์จำกัด

Qwen ประกาศเปิดตัว Qwen2.5-Coder series โมเดลภาษาเพื่อการเขียนโค้ดรุ่นใหม่ล่าสุด ที่มาพร้อมความสามารถครบครัน ตอบโจทย์การใช้งานจริง และรองรับการทำงานที่หลากหลาย โดยพัฒนาต่อยอดจากสถาปัตยกรรม Qwen2.5 ที่มี tokenizer ขนาดใหญ่เป็นพื้นฐาน

โมเดลชุดนี้มีให้เลือกหลายขนาดตั้งแต่ 0.5B ถึง 32B parameters โดดเด่นด้วยการ pre-training ด้วยข้อมูลมากกว่า 5.5 trillion tokens ผ่านสถาปัตยกรรม 28 layers และผ่านการ fine-tuning ด้วย synthetic datasets ที่สร้างโดย CodeQwen1.5 พร้อม executor สำหรับทดสอบการทำงานของโค้ดจริง

ด้านประสิทธิภาพ Qwen2.5-Coder สร้างสถิติใหม่ใน 10 benchmarks สำคัญ รวมถึง HumanEval และ BigCodeBench โดยรุ่น Qwen2.5-Coder-7B-Base มีความแม่นยำเหนือกว่า StarCoder2 และ DeepSeek-Coder รองรับภาษาโปรแกรมมิ่งยอดนิยม 8 ภาษา และสามารถจัดการ input ได้สูงถึง 128k tokens

จุดเด่นสำคัญคือความยืดหยุ่นในการใช้งาน ด้วยตัวเลือกหลายขนาดและการรองรับ quantized formats อย่าง GPTQ, AWQ และ GGUF ทำให้เหมาะกับผู้ใช้ที่มีทรัพยากรคอมพิวเตอร์จำกัด

การเปิดตัวครั้งนี้นับเป็นความก้าวหน้าครั้งสำคัญของ coding language models แบบ open-source ที่มอบทั้งประสิทธิภาพและความคุ้มค่าให้กับนักพัฒนาและนักวิจัยที่ต้องการใช้ AI เพื่อเพิ่มประสิทธิภาพในการพัฒนาซอฟต์แวร์

Why it matters

💡 การเปิดตัว Qwen2.5-Coder ถือเป็นข่าวสำคัญที่นักพัฒนาและผู้สนใจด้านเทคโนโลยี AI ไม่ควรพลาด เพราะนี่คือการปฏิวัติวงการ Open Source Code LLMs ครั้งใหม่ ที่มาพร้อมความสามารถระดับท็อปในการเขียนโค้ด รองรับหลายภาษาโปรแกรมมิ่ง มีประสิทธิภาพสูงกว่าคู่แข่งในหลาย benchmark และที่สำคัญคือมีความยืดหยุ่นสูง สามารถปรับใช้ได้ตามทรัพยากรที่มี ทำให้เป็นเครื่องมือที่คุ้มค่าสำหรับการพัฒนาซอฟต์แวร์ในยุคปัจจุบัน

ข้อมูลอ้างอิงจาก https://www.marktechpost.com/2024/11/11/qwen-open-sources-the-powerful-diverse-and-practical-qwen2-5-coder-series-0-5b-1-5b-3b-7b-14b-32b/?utm_source=flipboard&utm_content=topic%2Fartificialintelligence