Автор Nijat задал вопрос в разделе Другие языки и технологии
Дайте определение меры неопределенности. Проиллюстрируйте это понятие. и получил лучший ответ
Ответ от Ёергей Шманев[мастер]
Энтропия (от греч. ἐντροπία — поворот, превращение) в естественных науках — мера порядка системы, состоящей из единого элемента. В частности, в статистической физике — мера вероятности осуществления конкретного макроскопического состояния; в теории информации — мера конкретизации какого-либо опыта (испытания) , который должен иметь разные исходы, а значит и качество информации; в исторической науке, для экспликации феномена альтернативности истории (инвариантности и вариативности исторического процесса) .
Информационная энтропия — мера неопределённости или непредсказуемости информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения.
Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотой, поэтому неопределённость появления для некоторых букв меньше, чем для других. Если же учесть, что некоторые сочетания букв (в этом случае говорят об энтропии n-ого порядка, см. ниже) встречаются очень редко, то неопределённость ещё более уменьшается.
Для иллюстрации понятия информационной энтропии можно также прибегнуть к примеру из области термодинамической энтропии, получившему название демона Максвелла. Концепции информации и энтропии имеют глубокие связи друг с другом, но, несмотря на это, разработка теорий в статистической механике и теории информации заняла много лет, чтобы сделать их соответствующими друг другу.
Энтропия — это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения.
Источник: википедия)