OpenAI อัพเกรด Feature ระดับองค์กรสำหรับลูกค้า API เพิ่มการควบคุมด้านความปลอดภัยและช่วยบริหารจัดการต้นทุนได้ดียิ่งขึ้น

OpenAI ได้ทำงานร่วมกับบริษัทระดับ Enterprise มากมาย เช่น Klarna, Morgan Stanley, Oscar, Salesforce และ Wix เพื่อช่วยให้พวกเขาสร้างโซลูชัน AI จากศูนย์ และสามารถ deploy AI ได้อย่างปลอดภัยทั่วทั้งองค์กรและผลิตภัณฑ์

ความปลอดภัยระดับองค์กรที่เพิ่มขึ้น

Private Link เป็นวิธีใหม่ที่ลูกค้าสามารถรับประกันการสื่อสารโดยตรงระหว่าง Azure และ OpenAI ในขณะที่ลดการเปิดเผยต่ออินเทอร์เน็ตแบบเปิด และ Multi-Factor Authentication (MFA) แบบ native เพื่อช่วยให้มั่นใจว่าสอดคล้องกับข้อกำหนดการควบคุมการเข้าถึงที่เพิ่มขึ้น สิ่งเหล่านี้เป็นส่วนเสริมใหม่ของ stack คุณสมบัติความปลอดภัยระดับองค์กรที่มีอยู่ของ Open AI ซึ่งรวมถึงการรับรอง SOC 2 Type II, single sign-on (SSO), การเข้ารหัสข้อมูลโดยใช้ AES-256 และ TLS 1.2 รวมถึงการควบคุมการเข้าถึงตามบทบาท (role-based access controls) อีกทั้งยังมีข้อตกลงพันธมิตรทางธุรกิจ (Business Associate Agreements) สำหรับบริษัทด้านการดูแลสุขภาพที่ต้องการให้สอดคล้องกับ HIPAA และนโยบายการเก็บข้อมูลเป็นศูนย์สำหรับลูกค้า API ที่มีกรณีการใช้งานที่มีคุณสมบัติเหมาะสม

การควบคุมการบริหารที่ดีขึ้น

ด้วยคุณลักษณะ Projects ใหม่ขององค์กร จะมีการควบคุมและกำกับดูแลโครงการต่างๆ ใน OpenAI ได้ละเอียดยิ่งขึ้น ซึ่งรวมถึงความสามารถในการกำหนดขอบเขตบทบาทและ API keys ให้กับโครงการเฉพาะ สามารถจำกัด/อนุญาตโมเดลใดที่จะทำให้พร้อมใช้งาน และกำหนดขีดจำกัดตามการใช้งานและอัตราเพื่อให้สิทธิ์การเข้าถึงและหลีกเลี่ยงการเกินกำหนดที่ไม่คาดคิด เจ้าของโครงการจะมีความสามารถในการสร้าง service account API keys ซึ่งให้สิทธิ์การเข้าถึงโครงการโดยไม่ต้องผูกกับผู้ใช้รายบุคคล

การปรับปรุง Assistants API

Open AI ได้ปรับปรุง Assistants API หลายอย่างเพื่อให้สามารถค้นหาข้อมูลได้แม่นยำยิ่งขึ้น มีความยืดหยุ่นในการกำหนดพฤติกรรมของ model และเครื่องมือที่ใช้ในการทำงาน รวมถึงควบคุมค่าใช้จ่ายได้ดียิ่งขึ้น โดยมีฟีเจอร์ที่น่าสนใจดังนี้

• ปรับปรุงการค้นหาด้วย 'file_search' ซึ่งสามารถรองรับไฟล์ได้สูงสุดถึง 10,000 ไฟล์ต่อ assistant เพิ่มขึ้น 500 เท่าจากเดิมที่จำกัดไว้ที่ 20 ไฟล์ นอกจากนี้ยังเร็วขึ้น รองรับการค้นหาแบบ parallel ผ่าน multi-threaded searches และมีการปรับปรุง reranking และ query rewriting ให้ดีขึ้น
• รองรับ streaming สำหรับการตอบกลับแบบ real-time และ conversational ซึ่งเป็นหนึ่งในคำขอยอดนิยมจากนักพัฒนาและองค์กร
• ควบคุมจำนวน tokens สูงสุดที่ใช้ต่อการรัน รวมถึงจำกัดจำนวน messages ก่อนหน้าและล่าสุดที่ใช้ในแต่ละรัน เพื่อให้คุณสามารถบริหารจัดการค่าใช้จ่าย token ได้
• เพิ่มพารามิเตอร์ 'tool_choice' เพื่อเลือกเครื่องมือเฉพาะ (เช่น 'file_search', 'code_interpreter' หรือ 'function') ในการรันแต่ละครั้ง
• รองรับ fine-tuned GPT-3.5 Turbo models ใน API (เริ่มต้นเราจะรองรับ fine-tunes ของ 'gpt-3.5-turbo-0125')

มีตัวเลือกเพิ่มเติมสำหรับการบริหารค่าใช้จ่าย

เพื่อช่วยให้องค์กรต่างๆ สามารถขยาย AI usage ของพวกเขาได้โดยไม่ต้องใช้งบประมาณเกินขอบเขต Open AI ได้เพิ่มวิธีใหม่อีก 2 วิธีเพื่อลดค่าใช้จ่ายในการทำงานแบบต่อเนื่องและ Asynchronous

1.ส่วนลดการใช้งานบน Committed Throughput: ลูกค้าที่มีระดับการใช้งาน tokens per minute (TPM) อย่างต่อเนื่องบน GPT-4 หรือ GPT-4 Turbo สามารถขอเข้าถึง provisioned throughput เพื่อรับส่วนลดตั้งแต่ 10-50% ตามขนาดของ commitment

2.ลดค่าใช้จ่ายใน Asynchronous Workloads: ลูกค้าสามารถใช้ Batch API ใหม่ของเรา(opens in a new window) เพื่อรันปริมาณงานที่ไม่เร่งด่วนแบบ Asynchronous โดยคิดราคา Batch API ลดลง 50% จากราคาที่ใช้ร่วมกัน และส่งผลลัพธ์ภายใน 24 ชั่วโมง ซึ่งเหมาะอย่างยิ่งสำหรับ กรณีการใช้งาน เช่น การประเมินแบบจำลอง การจำแนกแบบออฟไลน์ การสรุป และการสร้างข้อมูลสังเคราะห์ เป็นต้น

สรุปแล้ว Open AI มีแผนที่จะเพิ่ม Features ใหม่ๆ ที่มุ่งเน้นไปที่ความปลอดภัยระดับองค์กร การควบคุมการดูแลระบบ และการจัดการต้นทุนอย่างต่อเนื่อง

ข้อมูลอ้างอิงจาก

Introducing more enterprise-grade features for API customers