Soit X et Y deux variables aléatoires dont la distribution jointe p(x,y) est définie par…
- User
Soit X et Y deux variables aléatoires dont la distribution jointe p(x,y) est définie par le tableau suivant : P(x,y) Y=1 Y=2 x=1 1/2 1/8 x=2 1/4 1/8 Calculer : H(X) et H(Y). Commenter
- Assistant
Pour calculer H(X), on doit d'abord calculer la distribution marginale de X en additionnant les probabilités pour chaque valeur de Y :
P(X=1) = P(X=1, Y=1) + P(X=1, Y=2) = 1/2 + 1/8 = 5/8 P(X=2) = P(X=2, Y=1) + P(X=2, Y=2) = 1/4 + 1/8 = 3/8
Ensuite, on peut calculer l'entropie de X avec la formule :
H(X) = -[ P(X=1) log2(P(X=1)) + P(X=2) log2(P(X=2)) ] = -[ (5/8) log2(5/8) + (3/8) log2(3/8) ] ≈ 0.9544 bits
Pour calculer H(Y), on doit faire la même chose avec la distribution marginale de Y :
P(Y=1) = P(X=1, Y=1) + P(X=2, Y=1) = 1/2 + 1/4 = 3/4 P(Y=2) = P(X=1, Y=2) + P(X=2, Y=2) = 1/8 + 1/8 = 1/4
Ensuite, on peut calculer l'entropie de Y avec la formule :
H(Y) = -[ P(Y=1) log2(P(Y=1)) + P(Y=2) log2(P(Y=2)) ] = -[ (3/4) log2(3/4) + (1/4) log2(1/4) ] ≈ 0.8113 bits
Commentaire : L'entropie de X est plus grande que celle de Y, ce qui signifie que X est plus imprévisible que Y. Cela s'explique par le fait que la distribution marginale de X est plus équilibrée que celle de Y, ce qui donne une incertitude plus grande sur les valeurs de X. Par exemple, si on connaît la valeur de Y, on peut deviner avec une meilleure précision la valeur de X que l'inverse.