LLM SFT vs ORPO ต่างกันยังไง
- User
LLM SFT vs ORPO ต่างกันยังไง
Assistant
ความแตกต่างระหว่าง LLM SFT และ ORPO
Supervised Fine-Tuning (SFT) และ Odds Ratio Preference Optimization (ORPO) เป็นวิธีการฝึกฝนโมเดลภาษาขนาดใหญ่ที่มีความแตกต่างกันหลายประการ ต่อไปนี้คือความแตกต่างหลักๆ ระหว่างสองเทคนิคนี้:
โครงสร้างกระบวนการฝึกฝน
SFT (Supervised Fine-Tuning):
- เป็นขั้นตอนแรกในกระบวนการฝึกฝนแบบดั้งเดิมที่มักตามด้วยการปรับเทียบด้วย preference alignment[6]
- มุ่งเน้นการปรับโมเดลให้เข้ากับงานเฉพาะทางโดยใช้การฝึกสอนแบบมีผู้สอน[4]
- เป็นส่วนหนึ่งของกระบวนการฝึกฝนแบบหลายขั้นตอน ที่มักตามด้วย RLHF หรือ DPO[5]
ORPO (Odds Ratio Preference Optimization):
- รวมการฝึกสอนแบบ instruction tuning และ preference alignment ไว้ในกระบวนการเดียว[4][7]
- เป็นวิธีการแบบ "monolithic" ที่ไม่ต้องมีโมเดลอ้างอิง (reference model)[1][3]
- ลดความซับซ้อนของกระบวนการฝึกฝนโดยรวมขั้นตอนเข้าด้วยกัน[5]
ฟังก์ชันวัตถุประสงค์ (Objective Function)
SFT:
- ใช้ฟังก์ชันการสูญเสียแบบ negative log-likelihood (NLL) มาตรฐานเพื่อเพิ่มความน่าจะเป็นในการสร้างโทเค็นอ้างอิง[3]
- อาจเพิ่มความน่าจะเป็นในการสร้างทั้งผลลัพธ์ที่ต้องการและไม่ต้องการ[2]
ORPO:
- วัตถุประสงค์ของ ORPO ประกอบด้วยสองส่วน: ส่วนการสูญเสียของ SFT และส่วนการลงโทษแบบอัตราส่วนความน่าจะเป็น (odds ratio)[3]
- เพิ่มการลงโทษสำหรับรูปแบบการสร้างที่ไม่ต้องการในระหว่างการฝึกฝน[1]
- ใช้ค่าพารามิเตอร์ Lambda เพื่อควบคุมผลกระทบของการลงโทษเทียบกับการสูญเสียดั้งเดิม[1]
ข้อมูลที่ใช้ในการฝึกฝน
SFT:
- ใช้ชุดข้อมูลที่มีคำสั่งและผลลัพธ์ที่ต้องการ[4]
- ต้องการชุดข้อมูลทั่วไปของคำสั่งและการตอบสนอง[7]
ORPO:
- ต้องใช้ชุดข้อมูล preference ที่รวมถึงคำสั่ง คำตอบที่เลือก และคำตอบที่ปฏิเสธ[4]
- สามารถใช้ชุดข้อมูลแบบเดียวกับที่ใช้ใน DPO[2]
ประสิทธิภาพการใช้ทรัพยากร
SFT:
- ต้องการการฝึกฝนแบบ two-stage เมื่อต้องการปรับปรุงการจัดเรียงตามความต้องการ[5]
- ใช้ทรัพยากรคอมพิวเตอร์น้อยกว่า RLHF แต่ยังคงเป็นเพียงขั้นตอนแรกในกระบวนการหลายขั้นตอน[6]
ORPO:
- มีประสิทธิภาพมากกว่าในแง่ของทรัพยากรเนื่องจากไม่ต้องการโมเดลอ้างอิงแยกต่างหาก[3]
- ประหยัดหน่วยความจำและควรใช้ FLOPs น้อยกว่า[2]
- ต้องการ forward pass ครึ่งหนึ่งสำหรับแต่ละ batch ระหว่างการฝึกฝนเมื่อเทียบกับ DPO หรือ RLHF[3]
ผลลัพธ์การฝึกฝน
SFT:
- ปรับโมเดลให้เข้ากับโดเมนเฉพาะ แต่อาจไม่จัดการกับพฤติกรรมที่ไม่ต้องการได้อย่างเพียงพอ[2]
- ทำให้โมเดลมีความเชี่ยวชาญในงานเฉพาะทางโดยไม่สูญเสียความสามารถในการแก้ปัญหาทั่วไป[6]
ORPO:
- ในการเปรียบเทียบอัตราชนะและการกระจายรางวัลของ ORPO กับ SFT, PPO และ DPO พบว่ามีการเพิ่มขึ้นในทุกขนาดของโมเดล[2]
- ชนะเหนือ SFT และ PPO ในทุกระดับขนาดของโมเดล โดยมีอัตราชนะสูงสุดเมื่อเทียบกับ SFT และ PPO ทุกขนาดของโมเดลอยู่ที่ 78.0%[3]
- ในการประเมิน AlpacaEval2.0 ORPO ได้คะแนนสูงถึง 12.20% กับโมเดล Mistral ซึ่งดีกว่าวิธีการอื่นๆ[2]
ORPO เป็นนวัตกรรมที่ผสมผสานการฝึกฝนแบบ instruction tuning และ preference alignment ไว้ด้วยกัน ทำให้กระบวนการพัฒนา LLM มีประสิทธิภาพและประสิทธิผลมากขึ้น โดยไม่จำเป็นต้องแยกเป็นสองขั้นตอนอย่างในกรณีของ SFT ที่ตามด้วย DPO หรือ RLHF[1][4]
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.