Небольшой аккуратный текст про энтропию и Кульбака-Лейблера.
Текст про энтропию с кучей картинок и перевод на русский.
Mutual information.