Informační entropie Entropie je míra nejistoty náhodné proměnné (zdroje zprávy). Claude Shannon definuje "bit" jako jednotku entropie (což je nejistota hodu mincí). V tomto videu je informační entropie představena intuitivně za použití strojů a ano/ne otázek.