Shannon a mesuré les informations en bits, exactement de la même manière que nous mesurons la taille des fichiers informatiques. Donc, une chose qui confond beaucoup de gens, c`est que lorsque vous ajoutez du bruit à un signal, il ajoute des informations de bits au signal et le signal semble avoir plus d`informations. Dans un sens, il ne-si vous ajoutez du bruit à un signal, le signal contient plus de données. Mais vous ne pouvez pas séparer le bruit du signal une fois qu`il est dedans. La théorie de l`information étudie la quantification, le stockage et la communication de l`information. Il a été initialement proposé par Claude E. Shannon en 1948 pour trouver des limites fondamentales sur le traitement du signal et les opérations de communication telles que la compression des données, dans un document historique intitulé “une théorie mathématique de la communication”. Les applications des sujets fondamentaux de la théorie de l`information incluent la compression de données sans perte (par exemple, les fichiers ZIP), la compression de données avec perte (par exemple, MP3 et JPEG), et le codage de canal (par exemple pour DSL). Son impact a été crucial pour le succès des missions voyager dans l`espace lointain, l`invention du disque compact, la faisabilité des téléphones mobiles, le développement de l`Internet, l`étude de la linguistique et de la perception humaine, la compréhension des trous noirs, et de nombreux autres domaines. La théorie de Shannon traite principalement de l`encodeur, du canal, de la source de bruit et du décodeur. Comme indiqué ci-dessus, la théorie se concentre sur les signaux et la façon dont ils peuvent être transmis avec précision et efficacité; les questions de sens sont évitées autant que possible. En tant que fondement de sa théorie, Shannon développa un modèle de communication très simple et abstrait, comme le montre la figure. Parce que son modèle est abstrait, il s`applique dans de nombreuses situations, ce qui contribue à son large champ d`application et de pouvoir.

Le travail de Shannon visait à fournir exactement ce que le titre indiquait: une théorie de la communication, utile dans la compréhension des systèmes de télécommunication. Dans une conversation privée en 1961, Shannon a indiqué que les applications de son travail dans des zones en dehors de la théorie de la communication étaient «suspectes» [Rit86]. Il est courant dans la théorie de l`information de parler du «taux» ou de «l`entropie» d`une langue. Ceci est approprié, par exemple, lorsque la source d`information est la prose anglaise. Le taux d`une source d`information est lié à sa redondance et à la façon dont il peut être compressé, le sujet du codage source. (Ici, I (x) est l`auto-information, qui est la contribution entropie d`un message individuel, et EX est la valeur attendue.) Une propriété d`entropie est qu`il est maximisé quand tous les messages dans l`espace de message sont équiprobables p (x) = 1/n; c.-à-d., le plus imprévisible, auquel cas H (X) = log n. Dans le texte anglais typique, la lettre e se produit approximativement 200 fois aussi fréquemment que la lettre z. par conséquent, une façon d`améliorer l`efficacité de la transmission du signal est d`utiliser des codes plus courts pour les caractères plus fréquents, une idée employée dans la conception du code Morse. Par exemple, supposons qu`en général la moitié des caractères dans les messages que nous souhaitons envoyer sont la lettre A, un quart sont la lettre B, un huitième sont la lettre C, et un huitième sont la lettre D. La table Encoding 2 de M utilisant S résume cette information et montre un codage alternatif pour l`alphabet M. Maintenant, le message ABC serait transmis à l`aide de la séquence 010110, qui est également de six caractères de long. Pour voir que ce second codage est meilleur, en moyenne, que le premier nécessite un message plus typique.

Par exemple, supposons que 120 caractères de M soient transmis avec la distribution de fréquence indiquée dans ce tableau. Une mesure clé dans la théorie de l`information est «entropie». L`entropie quantifie la quantité d`incertitude impliquée dans la valeur d`une variable aléatoire ou le résultat d`un processus aléatoire. Par exemple, l`identification du résultat d`un flip de pièce équitable (avec deux résultats aussi probables) fournit moins d`information (entropie inférieure) que de préciser le résultat d`un rouleau d`un dé (avec six résultats tout aussi probables).