O conceito de entropia permeia diversas áreas do conhecimento e foi introduzido na Teoria da Informação por Claude Shannon, que desenvolveu uma forma de calcular a entropia 𝐸 de um sistema, a saber
em que é a probabilidade do i-ésimo resultado para a variável .
Por exemplo, considere uma sequência com duas letras A coloridas, a primeira azul e a segunda vermelha . Se essas duas letras fossem colocadas numa urna, a probabilidade de se retirar, sem observar, a letra azul, como na sequência original, é .Devolve-se a letra à urna e sorteia-se novamente. A probabilidade de sair vermelha é novamente , e nesse caso tem-se:
Para uma sequência com 4 letras A, as duas primeiras azuis e as duas últimas vermelhas , colocando-as numa urna e sorteando uma, a probabilidade de sair azul é . Devolve-se a letra e sorteia-se novamente. A probabilidade da segunda letra sorteada ser azul, como na sequência original, é novamente . Procedendo dessa forma para as duas letras vermelhas, tem-se:
Com base nessas informações, qual o valor da entropia 𝐸, no caso de uma sequência com 4 letras A, sendo as 3 primeiras azuis e a última vermelha
| a) |
|
| b) |
|
| c) |
|
| d) |
|
| e) |
3 |
Caso a sequência seja , em cada sorteio a probabilidade de sair a letra A azul é , enquanto a probabilidade de sair a letra A vermelha é . Nesse caso, a entropia pode ser calculada por
Como para quaisquer valores positivos e , e para qualquer base do logaritmo, temos
podemos reescrever a entropia da seguinte maneira: