Entrópia

A Wikipédiából, a szabad lexikonból.

Az entrópia a hőtan és az informatika fontos fogalma.

[szerkesztés] Hőtani értelmezés

Egy zárt termodinamikai rendszer a különböző állapotait meghatározott valószínűséggel veszi fel. A lehetséges állapotok összességét jellemzi az állapothalmaz: .

Az állapotok termodinamikai valószínűsége (hagyományosan) .

A rendszer entrópiája az x_i állapotban

,

ahol k a Boltzmannn-állandó. A termodinamikai entrópia fogalmát és Clausius vezette be.

[szerkesztés] Informatikai értelmezés

A kommunikációs kapcsolatban a hírforrás, mint stochasztikus (véletlenszerű) kibernetikai rendszer működik. Állapotait véletlenszerűen veszi fel, s az eseményekről tudósító híreket véletlenszerűen sugározza (küldi). A forrás hírkészlete: , és a rendszer állapothalmaza (l. fent) között természetes az egy-egy értelmű megfeleltetés, ami ezért a hírkészlet és az állapot-valószínűségek között is fennáll. A forrás egy hírének az entrópiája:

.

A rendszer entrópiája ezek összegezésével adódik: .

A forrás-entrópia a híreinek átlagos hírértéke. A fizikai entrópia formulájához való hasonlóság nyomán "keresztelte el" Shannon.