Разлика между версии на „Ентропия на Шанън“

м
редакция без резюме
м (r2.7.2) (Робот Добавяне: lt:Entropija (informacijos teorija))
мNo edit summary
 
Нека обозначим вероятностите за различните събития от дадено [[вероятностно пространство]] с <math>P_i</math>. Ентропията на Шанън, която понякога се нарича и „липса на информация“, в [[Статистическа механика|статистическата механика]] е еквивалентна на [[ентропия]]та. Функцията е дефинирана по следния начин:
:<math>S = -C\sum_i^N P_i \ln P_i = C \langle \ln P_i \rangle</math>, където C е константа, чииточийто смисъл ще стане ясен по-късно, а N е броят на възможните резултати (в статистическата механика - броят на възможните [[микросъстояние|микросъстояния]])
 
Нека например разгледаме ситуацията залагане на зарове. Притежателят на зара е измамник, който е обработил зара така, че да пада на определено число. Познаването на това число намалява стойността на функцията липса на информация, която понякога, за по-кратко се нарича и ентропия.