Разлика между версии на „Ентропия на Шанън“

м
м
м (м)
В рамките на [[теория на информацията|теорията на информацията]], централен обект на изследване е функцията '''ентропия на Шанън''' или '''липса на информация''', която ще обозначаваме с <math>S</math>.
 
Нека обозначим вероятностите за различните събития от дадено [[вероятностно пространство]] с <math>P_i</math>. Ентропията на Шанън, която понякога се нарича и „липса на информация“, която в [[Статистическа механика|статистическата механика]] е еквивалентна на [[ентропия]]та. Функцията е дефинирана по следния начин:
:<math>S = -C\sum_i^N P_i \ln P_i = C \langle \ln P_i \rangle</math>, където C е константа, чиито смисъл ще стане ясен по-късно, а N е броят на възможните резултати (в статистическата механика - броят на възможните [[микросъстояние|микросъстояния]])