Skip to content
TheChatArchiveThe Chat Archive
gpt-4.1-2025-04-14· OpenAIHugging Face LMArena Human Preference 140K

Est ce que tu connais l'algorithme de RL TD3 ?

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Metallama-4-maverick-17b-128e-instruct’s answer.
  1. User

    Est ce que tu connais l'algorithme de RL TD3 ?

  2. Assistant

    Oui, je connais l’algorithme TD3 (Twin Delayed Deep Deterministic Policy Gradient), qui est un algorithme de Reinforcement Learning (RL), plus précisément de la famille des actor-critic pour les environnements à espace d’actions continu.

    Voici un résumé de ce qu’est TD3 et de ses principales caractéristiques :


    Qu’est-ce que TD3 ?

    TD3 a été proposé par Fujimoto et al. en 2018 pour améliorer la stabilité et la performance de l’algorithme DDPG (Deep Deterministic Policy Gradient), qui souffrait de sur-estimation de la fonction de valeur et d’instabilité lors de l’entraînement.


    Principales idées de TD3

    1. Double Critic (Twin Q-networks) :

      • TD3 utilise deux réseaux critiques (Q-networks) pour estimer la valeur d’action. Lors de la mise à jour, il prend la plus petite des deux valeurs Q pour réduire le biais de sur-estimation.
    2. Target Policy Smoothing :

      • Lors de la mise à jour de la cible, TD3 ajoute un bruit gaussien à l’action cible pour rendre la politique plus robuste et éviter l’exploitation de petites erreurs dans la fonction de valeur.
    3. Delayed Policy Updates :

      • L’acteur (policy) est mis à jour moins fréquemment que les critiques (par exemple, une fois tous les deux ou trois pas de temps), ce qui stabilise l’apprentissage.

    Schéma général de TD3

    1. Collecte d’expérience dans un buffer de replay.
    2. Mise à jour des deux Q-networks en utilisant la plus petite valeur Q.
    3. Ajout de bruit à l’action cible lors de la mise à jour des cibles Q.
    4. Mise à jour de la politique (actor) moins fréquemment.
    5. Mise à jour lente des réseaux cibles (soft update).

    Pseudo-code simplifié

    for each iteration:
        # 1. Collecte d’expérience
        store (s, a, r, s') in replay buffer
    
        # 2. Mise à jour des Q-networks
        a_target = actor_target(s') + noise
        Q1_target = critic1_target(s', a_target)
        Q2_target = critic2_target(s', a_target)
        Q_target = r + gamma * min(Q1_target, Q2_target)
        critic1, critic2 = update(critic1, critic2, Q_target)
    
        # 3. Mise à jour de la policy (moins fréquemment)
        if iteration % policy_delay == 0:
            actor = update(actor, critic1)
            soft_update(actor_target, actor)
            soft_update(critic1_target, critic1)
            soft_update(critic2_target, critic2)
    

    Références


    Si tu veux des détails sur l’implémentation, des explications sur les hyperparamètres, ou un exemple de code, n’hésite pas à demander !

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.