concept

Entropy Shannon

Thước đo lượng thông tin trung bình mà một nguồn sinh ra trên mỗi ký hiệu - tức mức độ bất định mà mỗi ký hiệu giải tỏa. Ký hiệu là H, tính bằng tổng -p·log₂(p) trên mọi khả năng. Một nguồn dễ đoán mang rất ít thông tin mỗi ký hiệu; một nguồn khó đoán mang nhiều. Tiếng Anh, nhờ tính dư thừa và quy luật của nó, chỉ chứa khoảng 1 đến 1,5 bit entropy cho mỗi chữ cái - thấp hơn nhiều so với 100+ phím trên bàn phím. Entropy cho ta biết một thông điệp có thể nén tới đâu mà không mất mát.