Skip to content
TheChatArchiveThe Chat Archive
Geminigemini-2.0-flash-grounding· GoogleHugging Face LMArena Search Arena 24K

LLM 성능 개선 방안중 강화학습과 관련된 최신 논문을 정리해줘

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Perplexitysonar-reasoning-pro-high’s answer.
  1. User

    LLM 성능 개선 방안중 강화학습과 관련된 최신 논문을 정리해줘

  2. Gemini Assistant

    강화 학습을 사용하여 LLM 성능을 개선하는 방법에 대한 최신 연구를 찾아보겠습니다.

    LLM 성능 개선을 위한 강화 학습 관련 최신 논문들을 정리해 드리겠습니다.

    1. DeepSeek-R1: 강화 학습을 통한 LLM의 추론 능력 향상[1][2][4]

    • DeepSeek에서 발표한 논문으로, 강화 학습(RL)을 통해 LLM의 추론 능력을 향상시키는 방법을 제시합니다.[1][5][6]
    • 지도 학습(SFT) 없이 순수 강화 학습만으로 모델의 추론 능력을 향상시킨 첫 번째 사례입니다.[1][3]
    • GRPO(Group Relative Policy Optimization) 알고리즘을 사용하여 학습 비용을 줄이고, 그룹 점수에서 기준선을 추정합니다.[1][2][3]
    • 정확성 보상과 형식 보상을 결합하여 모델이 특정 형식에 따라 추론하고 답변하도록 유도합니다.[1]

    2. Direct Preference Optimization (DPO)

    • 사람이나 AI의 선호도 데이터를 기반으로 Reward Model을 학습하는 기존 RLHF 방식에서 벗어나, 선호도 데이터로부터 직접적으로 Policy를 Learning하는 방법론을 제안합니다.[7]
    • 기존 RLHF의 두 단계 학습 과정을 단일 최적화 문제로 변형하여 학습 효율성을 높입니다.

    3. Reinforcement Learning from Human Feedback (RLHF)[7][8][9]

    • 사람의 피드백을 활용하여 LLM을 Fine-tuning하는 방법으로, Reward Model Learning과 Policy Learning의 두 가지 과정을 거칩니다.[6][7][9]
    • Reward Model Learning 과정에서는 Pairwise Dataset을 이용하여 Reward Model을 학습하고, Policy Learning 과정에서는 학습된 Reward Model을 이용하여 RL 알고리즘을 통해 LLM을 학습합니다.[7]

    4. 그 외 참고할 만한 내용

    • RLHF는 생성 모델, 리워드 모델, 레퍼런스 모델들의 상호 작용을 통해 강화 학습을 수행하며, 학습이 불안정하고 쉽게 성능 개선이 되지 않는 등의 문제점들이 있습니다.[12]
    • 보상 모델을 사용할 때 "보상 해킹(reward hacking)" 문제가 발생할 수 있으며, 보상 모델을 재학습시키는 데 추가 학습 자원이 필요하여 전체 학습 파이프라인을 복잡하게 만들 수 있습니다.[3]

    이 외에도 LLM의 성능 향상과 관련된 다양한 연구들이 진행되고 있으니, 참고하시면 좋을 것 같습니다.[11][13]

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.