Logo
Unionpédia
Communication
Disponible sur Google Play
Nouveau! Téléchargez Unionpédia sur votre appareil Android™!
Télécharger
Accès plus rapide que le navigateur!
 

Entropie de Shannon

Indice Entropie de Shannon

En théorie de l'information, l'entropie de Shannon, ou plus simplement entropie, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou fournie par une source d'information.

53 relations: Analogique, Bell System Technical Journal, Bit, Chromosome, Claude Shannon, Clé de chiffrement, Codage de Huffman, Complexité de Kolmogorov, Compression de données, Consonne, Continuité (mathématiques), Edwin Thompson Jaynes, Entropie (thermodynamique), Entropie conditionnelle, Entropie conjointe, Entropie de Rényi, Entropie différentielle, Entropie métrique, Espérance mathématique, Fichier informatique, Formule de Boltzmann, Inégalité de Gibbs, Information, Information mutuelle, John von Neumann, John Wiley & Sons, Laboratoires Bell, Langage naturel, Léon Brillouin, Logarithme, Logarithme népérien, Loi de probabilité, Loi de probabilité d'entropie maximale, Loi de Zipf, LZH, Myron Tribus, Numérique, Octet, Physique statistique, Processus de Bernoulli, Produit cartésien, Puissance de deux, Recherche dichotomique, Redondance, Rudolf Clausius, Signal électrique, Théorème du codage de source, Théorie de l'information, Thermodynamique, Trois dimensions, ..., Variable aléatoire réelle, Willard Gibbs, 1957. Développer l'indice (3 plus) »

Analogique

force. Le terme analogique indique qu'une chose est suffisamment semblable à une autre, d'un certain point de vue, pour que leur analogie permette de dire de l'une ou de faire avec l'une ce qui s'applique aussi à l'autre.

Nouveau!!: Entropie de Shannon et Analogique · Voir plus »

Bell System Technical Journal

Bell System Technical Journal était une revue en langue anglaise publiée par AT&T qui portait sur tous les aspects scientifiques et techniques des communications électriques.

Nouveau!!: Entropie de Shannon et Bell System Technical Journal · Voir plus »

Bit

Le bit est l'unité la plus simple dans un système de numération, ne pouvant prendre que deux valeurs, désignées le plus souvent par les chiffres 0 et 1.

Nouveau!!: Entropie de Shannon et Bit · Voir plus »

Chromosome

Description de la structure d'un chromosome. Un chromosome (du grec ancien, « couleur » et, « corps, élément ») est un élément microscopique constitué d'une molécule d'ADN et de protéines, les histones et les protéines non histones.

Nouveau!!: Entropie de Shannon et Chromosome · Voir plus »

Claude Shannon

Claude Elwood Shannon (né le à Petoskey (Michigan) et mort le à Medford (Massachusetts)) est un ingénieur en génie électrique et mathématicien américain.

Nouveau!!: Entropie de Shannon et Claude Shannon · Voir plus »

Clé de chiffrement

Une clé est un paramètre utilisé en entrée d'une opération cryptographique (chiffrement, déchiffrement, scellement, signature numérique, vérification de signature).

Nouveau!!: Entropie de Shannon et Clé de chiffrement · Voir plus »

Codage de Huffman

Le codage de Huffman est un algorithme de compression de données sans perte.

Nouveau!!: Entropie de Shannon et Codage de Huffman · Voir plus »

Complexité de Kolmogorov

En informatique théorique et en mathématiques, plus précisément en théorie de l'information, la complexité de Kolmogorov, ou complexité aléatoire, ou complexité algorithmique d'un objet — nombre, image numérique, chaîne de caractères — est la taille du plus petit algorithme (dans un certain langage de programmation fixé) qui engendre cet objet.

Nouveau!!: Entropie de Shannon et Complexité de Kolmogorov · Voir plus »

Compression de données

La compression de données ou codage de source est l'opération informatique consistant à transformer une suite de bits A en une suite de bits B plus courte pouvant restituer les mêmes informations, ou des informations voisines, en utilisant un algorithme de décompression.

Nouveau!!: Entropie de Shannon et Compression de données · Voir plus »

Consonne

Une consonne est un type de son que l'on trouve dans les langues naturelles orales.

Nouveau!!: Entropie de Shannon et Consonne · Voir plus »

Continuité (mathématiques)

En mathématiques, la continuité est une propriété topologique d'une fonction.

Nouveau!!: Entropie de Shannon et Continuité (mathématiques) · Voir plus »

Edwin Thompson Jaynes

Edwin Thompson Jaynes (-) a été professeur de physique à l'université Washington à Saint-Louis.

Nouveau!!: Entropie de Shannon et Edwin Thompson Jaynes · Voir plus »

Entropie (thermodynamique)

L'entropie est une grandeur physique qui caractérise le degré de désorganisation d'un système.

Nouveau!!: Entropie de Shannon et Entropie (thermodynamique) · Voir plus »

Entropie conditionnelle

En théorie de l'information, l'entropie conditionnelle décrit la quantité d'information nécessaire pour connaitre le comportement d'une variable aléatoire Y, lorsque l'on connait exactement une variable aléatoire X. On note \Eta(Y|X) l'entropie conditionnelle de Y sachant X. On dit aussi parfois entropie de Y conditionnée par X. Comme les autres entropies, elle se mesure généralement en bits.

Nouveau!!: Entropie de Shannon et Entropie conditionnelle · Voir plus »

Entropie conjointe

Entropie conjointe. En théorie de l'information, l'entropie conjointe est une mesure d'entropie utilisée en théorie de l'information, qui mesure la quantité d'information contenue dans un système de deux variables aléatoires (ou plus de deux).

Nouveau!!: Entropie de Shannon et Entropie conjointe · Voir plus »

Entropie de Rényi

L'entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d'information contenue dans la probabilité de collision d'une variable aléatoire.

Nouveau!!: Entropie de Shannon et Entropie de Rényi · Voir plus »

Entropie différentielle

L'entropie différentielle est un concept de la théorie de l'information qui étend le concept de l'entropie de Shannon aux lois de probabilités continues.

Nouveau!!: Entropie de Shannon et Entropie différentielle · Voir plus »

Entropie métrique

En mathématiques et plus précisément, dans la théorie des systèmes dynamiques, l'entropie métrique, ou entropie de Kolmogorov (appelée également en anglais measure-theoretic entropy) est un outil développé par Kolmogorov vers le milieu des années 1950, issu du concept probabiliste d'entropie de la théorie de l'information de Shannon.

Nouveau!!: Entropie de Shannon et Entropie métrique · Voir plus »

Espérance mathématique

Avec un dé on peut obtenir chaque nombre entre 1 et 6 avec une probabilité de 1/6. Ainsi, l'espérance vaut \frac(1+2+3+4+5+6)6.

Nouveau!!: Entropie de Shannon et Espérance mathématique · Voir plus »

Fichier informatique

Pictogrammes représentant des fichiers. Un fichier informatique est, au sens commun, une collection, un ensemble de données numériques réunies sous un même nom, enregistrées sur un support de stockage permanent, appelé mémoire de masse, tel qu'un disque dur, un cédérom, une mémoire flash ou une bande magnétique, une série de cartes perforées et manipulées comme une unité.

Nouveau!!: Entropie de Shannon et Fichier informatique · Voir plus »

Formule de Boltzmann

Sur la tombe de Ludwig Boltzmann En physique statistique, la formule de Boltzmann (1877) définit l'entropie microcanonique d'un système physique à l'équilibre macroscopique, libre d'évoluer à l'échelle microscopique entre \Omega micro-états différents.

Nouveau!!: Entropie de Shannon et Formule de Boltzmann · Voir plus »

Inégalité de Gibbs

Willard Gibbs. En théorie de l'information, l'inégalité de Gibbs, nommée en l'honneur de Willard illard Gibbs.Gibbs, porte sur l'entropie d'une distribution de probabilités.

Nouveau!!: Entropie de Shannon et Inégalité de Gibbs · Voir plus »

Information

Pictogramme représentant une information. L’information est un de la discipline des sciences de l'information et de la communication (SIC).

Nouveau!!: Entropie de Shannon et Information · Voir plus »

Information mutuelle

Dans la théorie des probabilités et la théorie de l'information, l'information mutuelle de deux variables aléatoires est une quantité mesurant la dépendance statistique de ces variables.

Nouveau!!: Entropie de Shannon et Information mutuelle · Voir plus »

John von Neumann

John von Neumann (János Lajos Neumann) (János Lajos Neumann en hongrois), né le à Budapest et mort le à Washington, est un mathématicien et physicien américano-hongrois.

Nouveau!!: Entropie de Shannon et John von Neumann · Voir plus »

John Wiley & Sons

John Wiley & Sons, Inc. (ou Wiley) est une maison d'édition américaine fondée en 1807 et présente à l'international, spécialisée dans la publication de revues scientifiques, d'ouvrages techniques, universitaires et encyclopédiques.

Nouveau!!: Entropie de Shannon et John Wiley & Sons · Voir plus »

Laboratoires Bell

Nokia Bell Labs, plus connus sous l'appellation de Bell Labs, ou Les Bell Labs), furent fondés en 1925 et implantés à Murray Hill dans l'État américain du New Jersey. En 2009, ils font partie du centre de recherche et développement d'Alcatel-Lucent racheté en 2016 par Nokia. Les Laboratoires Bell ont déposé jusqu'en 2012 plus de. Les recherches menées par les Laboratoires Bell ont pris une importance capitale dans des domaines tels que les télécommunications (réseau téléphonique, transmission télévisuelle, communications satellite) et l'informatique (Unix, C et C++). Ce sont des Laboratoires Bell que proviennent aussi le transistor, la cellule photoélectrique, le laser et le développement des communications par fibre optique.

Nouveau!!: Entropie de Shannon et Laboratoires Bell · Voir plus »

Langage naturel

Un langage naturel.

Nouveau!!: Entropie de Shannon et Langage naturel · Voir plus »

Léon Brillouin

Léon Nicolas Brillouin, né le à Sèvres et mort le à New York, est un physicien franco-américain, essentiellement connu pour ses travaux en mécanique quantique et en physique du solide.

Nouveau!!: Entropie de Shannon et Léon Brillouin · Voir plus »

Logarithme

e et 10. En mathématiques, un logarithme est la fonction réciproque d'une exponentiation, c'est-à-dire que le logarithme de base d'un nombre réel strictement positif est la puissance à laquelle il faut élever la base pour obtenir ce nombre.

Nouveau!!: Entropie de Shannon et Logarithme · Voir plus »

Logarithme népérien

Le logarithme népérien, ou logarithme naturel, ou encore jusqu'au logarithme hyperbolique, transforme, comme les autres fonctions logarithmes, les produits en sommes.

Nouveau!!: Entropie de Shannon et Logarithme népérien · Voir plus »

Loi de probabilité

400px En théorie des probabilités et en statistique, une loi de probabilité décrit le comportement aléatoire d'un phénomène dépendant du hasard.

Nouveau!!: Entropie de Shannon et Loi de probabilité · Voir plus »

Loi de probabilité d'entropie maximale

En statistique et en théorie de l'information, une loi de probabilité d'entropie maximale a une entropie qui est au moins aussi grande que celle de tous les autres membres d'une classe spécifiée de lois de probabilité.

Nouveau!!: Entropie de Shannon et Loi de probabilité d'entropie maximale · Voir plus »

Loi de Zipf

La loi de Zipf est une observation empirique concernant la fréquence des mots dans un texte.

Nouveau!!: Entropie de Shannon et Loi de Zipf · Voir plus »

LZH

LZH est un format de fichier sous DOS généré par le logiciel de compression Lha.

Nouveau!!: Entropie de Shannon et LZH · Voir plus »

Myron Tribus

Myron Tribus (-) est un mathématicien et scientifique américain.

Nouveau!!: Entropie de Shannon et Myron Tribus · Voir plus »

Numérique

On dit numérique une information qui se présente sous forme de nombres associés à une indication de la grandeur physique à laquelle ils s'appliquent, permettant les calculs, les statistiques, la vérification des modèles mathématiques.

Nouveau!!: Entropie de Shannon et Numérique · Voir plus »

Octet

En informatique, un octet est un multiplet de codant une information.

Nouveau!!: Entropie de Shannon et Octet · Voir plus »

Physique statistique

La physique statistique a pour but d'expliquer le comportement et l'évolution de systèmes physiques comportant un grand nombre de particules (on parle de systèmes macroscopiques), à partir des caractéristiques de leurs constituants microscopiques (les particules).

Nouveau!!: Entropie de Shannon et Physique statistique · Voir plus »

Processus de Bernoulli

En probabilités et en statistiques, un processus de Bernoulli est un processus stochastique discret qui consiste en une suite de variables aléatoires indépendantes qui prennent leurs valeurs parmi deux symboles.

Nouveau!!: Entropie de Shannon et Processus de Bernoulli · Voir plus »

Produit cartésien

Illustration d'un produit cartésien A x B où A.

Nouveau!!: Entropie de Shannon et Produit cartésien · Voir plus »

Puissance de deux

En arithmétique, une puissance de deux désigne un nombre noté sous la forme où est un entier naturel.

Nouveau!!: Entropie de Shannon et Puissance de deux · Voir plus »

Recherche dichotomique

La recherche dichotomique, ou recherche par dichotomie.

Nouveau!!: Entropie de Shannon et Recherche dichotomique · Voir plus »

Redondance

La redondance se rapporte à la qualité ou à l'état d'être en surnombre, par rapport à la logique.

Nouveau!!: Entropie de Shannon et Redondance · Voir plus »

Rudolf Clausius

Rudolf Julius Emmanuel Clausius (Köslin, province de Poméranie, – Bonn) est un physicien prussien connu pour ses contributions majeures à la thermodynamique.

Nouveau!!: Entropie de Shannon et Rudolf Clausius · Voir plus »

Signal électrique

Signaux électriques sur l'écran d'un oscilloscope: signal rectanglaire (haut), signal harmonique ou sinusoïdal (bas). Un signal électrique est une grandeur électrique dont la variation dans le temps transporte une information, d'une source à une destination.

Nouveau!!: Entropie de Shannon et Signal électrique · Voir plus »

Théorème du codage de source

Le théorème du codage de source (ou premier théorème de Shannon, ou encore théorème de codage sans bruit) est un théorème en théorie de l'information, énoncé par Claude Shannon en 1948, qui énonce la limite théorique pour la compression d'une source.

Nouveau!!: Entropie de Shannon et Théorème du codage de source · Voir plus »

Théorie de l'information

La théorie de l'information, sans précision, est le nom usuel désignant la théorie de l'information de Shannon, qui est une théorie utilisant les probabilités pour quantifier le contenu moyen en information d'un ensemble de messages, dont le codage informatique satisfait une distribution statistique que l'on pense connaître.

Nouveau!!: Entropie de Shannon et Théorie de l'information · Voir plus »

Thermodynamique

La thermodynamique est la branche de la physique qui traite de la dépendance des propriétés physiques des corps à la température, des phénomènes où interviennent des échanges thermiques, et des transformations de l'énergie entre différentes formes.

Nouveau!!: Entropie de Shannon et Thermodynamique · Voir plus »

Trois dimensions

Trois dimensions, tridimensionnel ou 3D sont des expressions qui caractérisent l'espace qui nous entoure, tel que perçu par notre vision, en ce qui concerne la largeur, la hauteur et la profondeur.

Nouveau!!: Entropie de Shannon et Trois dimensions · Voir plus »

Variable aléatoire réelle

Une variable aléatoire réelle est une variable aléatoire à valeurs dans \textstyle\R, ou une partie de \textstyle\R; c'est une fonction définie depuis l'ensemble des résultats possibles d'une expérience aléatoire, dont on doit pouvoir déterminer la probabilité qu'elle prenne une valeur donnée ou un ensemble donné de valeurs.

Nouveau!!: Entropie de Shannon et Variable aléatoire réelle · Voir plus »

Willard Gibbs

Josiah Willard Gibbs (New Haven, - New Haven) est un physico-chimiste américain.

Nouveau!!: Entropie de Shannon et Willard Gibbs · Voir plus »

1957

L'année 1957 est une année commune qui commence un mardi.

Nouveau!!: Entropie de Shannon et 1957 · Voir plus »

Redirections ici:

Entropie (théorie de l'information).

SortantEntrants
Hey! Nous sommes sur Facebook maintenant! »