Entrópia
A Wikipédiából, a szabad lexikonból.
Az entrópia a hőtan és az informatika fontos fogalma.
[szerkesztés] Hőtani értelmezés
Egy zárt termodinamikai rendszer a különböző állapotait meghatározott valószínűséggel veszi fel. A lehetséges állapotok összességét jellemzi az állapothalmaz: .
Az állapotok termodinamikai valószínűsége (hagyományosan) .
A rendszer entrópiája az xi állapotban
,
ahol k a Boltzmannn-állandó. A termodinamikai entrópia fogalmát és Clausius vezette be.
[szerkesztés] Informatikai értelmezés
A kommunikációs kapcsolatban a hírforrás, mint stochasztikus (véletlenszerű) kibernetikai rendszer működik. Állapotait véletlenszerűen veszi fel, s az eseményekről tudósító híreket véletlenszerűen sugározza (küldi). A forrás hírkészlete: , és a rendszer állapothalmaza (l. fent) között természetes az egy-egy értelmű megfeleltetés, ami ezért a hírkészlet és az állapot-valószínűségek között is fennáll. A forrás egy hírének az entrópiája:
.
A rendszer entrópiája ezek összegezésével adódik: .
A forrás-entrópia a híreinek átlagos hírértéke. A fizikai entrópia formulájához való hasonlóság nyomán "keresztelte el" Shannon.