Skip to content
TheChatArchiveThe Chat Archive
Perplexitysonar-reasoning-pro-high· PerplexityHugging Face LMArena Search Arena 24K

LLM SFT vs ORPO ต่างกันยังไง

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Perplexitysonar-reasoning-pro-high’s answer.
  1. User

    LLM SFT vs ORPO ต่างกันยังไง

  2. Perplexity Assistant

    ความแตกต่างระหว่าง LLM SFT และ ORPO

    Supervised Fine-Tuning (SFT) และ Odds Ratio Preference Optimization (ORPO) เป็นวิธีการฝึกฝนโมเดลภาษาขนาดใหญ่ที่มีความแตกต่างกันหลายประการ ต่อไปนี้คือความแตกต่างหลักๆ ระหว่างสองเทคนิคนี้:

    โครงสร้างกระบวนการฝึกฝน

    SFT (Supervised Fine-Tuning):

    • เป็นขั้นตอนแรกในกระบวนการฝึกฝนแบบดั้งเดิมที่มักตามด้วยการปรับเทียบด้วย preference alignment[6]
    • มุ่งเน้นการปรับโมเดลให้เข้ากับงานเฉพาะทางโดยใช้การฝึกสอนแบบมีผู้สอน[4]
    • เป็นส่วนหนึ่งของกระบวนการฝึกฝนแบบหลายขั้นตอน ที่มักตามด้วย RLHF หรือ DPO[5]

    ORPO (Odds Ratio Preference Optimization):

    • รวมการฝึกสอนแบบ instruction tuning และ preference alignment ไว้ในกระบวนการเดียว[4][7]
    • เป็นวิธีการแบบ "monolithic" ที่ไม่ต้องมีโมเดลอ้างอิง (reference model)[1][3]
    • ลดความซับซ้อนของกระบวนการฝึกฝนโดยรวมขั้นตอนเข้าด้วยกัน[5]

    ฟังก์ชันวัตถุประสงค์ (Objective Function)

    SFT:

    • ใช้ฟังก์ชันการสูญเสียแบบ negative log-likelihood (NLL) มาตรฐานเพื่อเพิ่มความน่าจะเป็นในการสร้างโทเค็นอ้างอิง[3]
    • อาจเพิ่มความน่าจะเป็นในการสร้างทั้งผลลัพธ์ที่ต้องการและไม่ต้องการ[2]

    ORPO:

    • วัตถุประสงค์ของ ORPO ประกอบด้วยสองส่วน: ส่วนการสูญเสียของ SFT และส่วนการลงโทษแบบอัตราส่วนความน่าจะเป็น (odds ratio)[3]
    • เพิ่มการลงโทษสำหรับรูปแบบการสร้างที่ไม่ต้องการในระหว่างการฝึกฝน[1]
    • ใช้ค่าพารามิเตอร์ Lambda เพื่อควบคุมผลกระทบของการลงโทษเทียบกับการสูญเสียดั้งเดิม[1]

    ข้อมูลที่ใช้ในการฝึกฝน

    SFT:

    • ใช้ชุดข้อมูลที่มีคำสั่งและผลลัพธ์ที่ต้องการ[4]
    • ต้องการชุดข้อมูลทั่วไปของคำสั่งและการตอบสนอง[7]

    ORPO:

    • ต้องใช้ชุดข้อมูล preference ที่รวมถึงคำสั่ง คำตอบที่เลือก และคำตอบที่ปฏิเสธ[4]
    • สามารถใช้ชุดข้อมูลแบบเดียวกับที่ใช้ใน DPO[2]

    ประสิทธิภาพการใช้ทรัพยากร

    SFT:

    • ต้องการการฝึกฝนแบบ two-stage เมื่อต้องการปรับปรุงการจัดเรียงตามความต้องการ[5]
    • ใช้ทรัพยากรคอมพิวเตอร์น้อยกว่า RLHF แต่ยังคงเป็นเพียงขั้นตอนแรกในกระบวนการหลายขั้นตอน[6]

    ORPO:

    • มีประสิทธิภาพมากกว่าในแง่ของทรัพยากรเนื่องจากไม่ต้องการโมเดลอ้างอิงแยกต่างหาก[3]
    • ประหยัดหน่วยความจำและควรใช้ FLOPs น้อยกว่า[2]
    • ต้องการ forward pass ครึ่งหนึ่งสำหรับแต่ละ batch ระหว่างการฝึกฝนเมื่อเทียบกับ DPO หรือ RLHF[3]

    ผลลัพธ์การฝึกฝน

    SFT:

    • ปรับโมเดลให้เข้ากับโดเมนเฉพาะ แต่อาจไม่จัดการกับพฤติกรรมที่ไม่ต้องการได้อย่างเพียงพอ[2]
    • ทำให้โมเดลมีความเชี่ยวชาญในงานเฉพาะทางโดยไม่สูญเสียความสามารถในการแก้ปัญหาทั่วไป[6]

    ORPO:

    • ในการเปรียบเทียบอัตราชนะและการกระจายรางวัลของ ORPO กับ SFT, PPO และ DPO พบว่ามีการเพิ่มขึ้นในทุกขนาดของโมเดล[2]
    • ชนะเหนือ SFT และ PPO ในทุกระดับขนาดของโมเดล โดยมีอัตราชนะสูงสุดเมื่อเทียบกับ SFT และ PPO ทุกขนาดของโมเดลอยู่ที่ 78.0%[3]
    • ในการประเมิน AlpacaEval2.0 ORPO ได้คะแนนสูงถึง 12.20% กับโมเดล Mistral ซึ่งดีกว่าวิธีการอื่นๆ[2]

    ORPO เป็นนวัตกรรมที่ผสมผสานการฝึกฝนแบบ instruction tuning และ preference alignment ไว้ด้วยกัน ทำให้กระบวนการพัฒนา LLM มีประสิทธิภาพและประสิทธิผลมากขึ้น โดยไม่จำเป็นต้องแยกเป็นสองขั้นตอนอย่างในกรณีของ SFT ที่ตามด้วย DPO หรือ RLHF[1][4]

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.