Skip to content
The Chat Archive
gpt-3.5-turbo-0301· OpenAI WildChat-4.8M (AI2)

Soit X et Y deux variables aléatoires dont la distribution jointe p(x,y) est définie par…

  1. User

    Soit X et Y deux variables aléatoires dont la distribution jointe p(x,y) est définie par le tableau suivant : P(x,y) Y=1 Y=2 x=1 1/2 1/8 x=2 1/4 1/8 Calculer : H(X) et H(Y). Commenter

  2. Assistant

    Pour calculer H(X), on doit d'abord calculer la distribution marginale de X en additionnant les probabilités pour chaque valeur de Y :

    P(X=1) = P(X=1, Y=1) + P(X=1, Y=2) = 1/2 + 1/8 = 5/8 P(X=2) = P(X=2, Y=1) + P(X=2, Y=2) = 1/4 + 1/8 = 3/8

    Ensuite, on peut calculer l'entropie de X avec la formule :

    H(X) = -[ P(X=1) log2(P(X=1)) + P(X=2) log2(P(X=2)) ] = -[ (5/8) log2(5/8) + (3/8) log2(3/8) ] ≈ 0.9544 bits

    Pour calculer H(Y), on doit faire la même chose avec la distribution marginale de Y :

    P(Y=1) = P(X=1, Y=1) + P(X=2, Y=1) = 1/2 + 1/4 = 3/4 P(Y=2) = P(X=1, Y=2) + P(X=2, Y=2) = 1/8 + 1/8 = 1/4

    Ensuite, on peut calculer l'entropie de Y avec la formule :

    H(Y) = -[ P(Y=1) log2(P(Y=1)) + P(Y=2) log2(P(Y=2)) ] = -[ (3/4) log2(3/4) + (1/4) log2(1/4) ] ≈ 0.8113 bits

    Commentaire : L'entropie de X est plus grande que celle de Y, ce qui signifie que X est plus imprévisible que Y. Cela s'explique par le fait que la distribution marginale de X est plus équilibrée que celle de Y, ce qui donne une incertitude plus grande sur les valeurs de X. Par exemple, si on connaît la valeur de Y, on peut deviner avec une meilleure précision la valeur de X que l'inverse.