Peut-on tirer du travail d’un système simplement parce qu’on sait dans quel état il se trouve ? Et, à l’inverse, que coûte le fait d’oublier ? Ces deux questions ont une réponse commune, d’une simplicité déconcertante :
À la température $T$, un bit d’information vaut $k_B T\ln 2$ d’énergie. C’est le travail maximal que l’on peut extraire en connaissant un bit sur un système, et c’est la chaleur minimale qu’il faut dissiper pour effacer un bit.
À température ambiante, cela fait $3\times10^{-21}$ joule : presque rien. Mais ce presque rien est ce qui empêche le second principe de la thermodynamique de s’effondrer, et c’est la clé du lien entre l’entropie des physiciens et l’information des informaticiens. « L’information est physique », répétait Rolf Landauer : elle est inscrite dans des livres, des mémoires, des molécules, et doit donc obéir aux lois de la physique, à commencer par celles de la thermodynamique.
Cette page suit la trame d’un bel article d’Eric Lutz et Sergio Ciliberto paru dans Physics Today en 2015 (voir les sources), en l’étoffant là où un calcul ou une image permettent d’y voir plus clair, et en la prolongeant jusqu’aux trous noirs. Elle complète la page Entropie et information.
Qu’est-ce que l’information ? Une réponse intuitive : ce que vous ne saviez pas déjà. Si l’on vous annonce que la Terre est ronde, vous n’apprenez rien. Si l’on vous annonce que le prix du pétrole doublera demain (et que c’est vrai), vous apprenez beaucoup. Un message informe d’autant plus qu’il était improbable.
Claude Shannon a quantifié cette idée en 1948. Pour une source qui émet les messages $x$ avec les probabilités $p(x)$, la quantité moyenne d’information par message, ou entropie de Shannon, vaut
$\displaystyle H=-\sum_x p(x)\,\log_2 p(x)\quad\text{(en bits).}$
Le cas le plus simple est celui d’un système à deux états (pile ou face, gauche ou droite, aimanté vers le haut ou vers le bas). Si l’état est connu d’avance, l’examiner n’apprend rien : $H=0$. Si les deux états sont équiprobables, l’incertitude est maximale et la lever apporte exactement un bit, l’unité d’information : la réponse à une question par oui ou non dont on ignore tout.
L'entropie d'un système à deux états. Elle mesure l'incertitude avant de regarder, ou, ce qui revient au même, l'information gagnée en regardant. Un système à deux états stocke au plus un bit.
Les physiciens préfèrent le logarithme népérien : $H=-\sum p\ln p$, et le bit vaut alors $\ln 2\approx0{,}69$. Ce n’est qu’un changement d’unité, comme passer des pouces aux centimètres.
Un siècle plus tôt, Rudolf Clausius avait introduit une tout autre entropie. Le point de départ est une observation banale : une tasse de thé chaud refroidit dans la pièce, jamais l’inverse. Les phénomènes spontanés ont un sens. Clausius le traduit par une grandeur $S$, l’entropie thermodynamique, qui varie de $\frac{Q}{T}$ lorsqu’un corps reçoit réversiblement la chaleur $Q$ à la température $T$, et qui, contrairement à l’énergie, n’est pas conservée :
Second principe. L’entropie d’un système isolé ne peut qu’augmenter. Elle ne peut diminuer quelque part que si elle augmente au moins autant ailleurs.
William Thomson (lord Kelvin) en donne en 1851 une formulation équivalente, qui servira de fil rouge à toute la page : il est impossible de produire du travail de façon cyclique en puisant de la chaleur dans une seule source. Pas de bateau qui avancerait en refroidissant l’océan.
Pour un système maintenu à la température $T$, le second principe limite le travail récupérable :
$\displaystyle W_{\max}=-\Delta F=-(\Delta E-T\Delta S),$
où $F=E-TS$ est l’énergie libre. Toute l’énergie n’est pas utilisable : il y a une part perdue, $T\Delta S$.
Entre les deux, Ludwig Boltzmann puis Willard Gibbs avaient donné à l’entropie de Clausius un sens microscopique. Un état macroscopique (un gaz à telle pression et telle température) est compatible avec un nombre gigantesque d’états microscopiques (les positions et vitesses de toutes les molécules). Si $p_i$ est la probabilité du micro-état $i$,
$\displaystyle S=-k_B\sum_i p_i\ln p_i .$
C’est, à la constante de Boltzmann près, la formule de Shannon :
$\displaystyle S=k_B\,H\quad(H\text{ en unités naturelles}),\qquad\text{soit}\qquad 1\ \text{bit}\;\longleftrightarrow\;k_B\ln 2\approx 10^{-23}\ \mathrm{J\,K^{-1}}.$
L’entropie thermodynamique d’un système est donc l’information qui nous manque pour connaître son micro-état quand on n’en connaît que la description macroscopique. Un litre d’air ambiant cache ainsi environ $10^{24}$ bits. La constante $k_B$ n’a rien de profond : elle est là parce que l’on mesure les températures en kelvins plutôt qu’en joules.
Simple coïncidence de formules ? (La légende veut que von Neumann ait conseillé à Shannon le mot « entropie » au motif que « personne ne sait vraiment ce que c’est ».) Toute la suite montre que non : l’identification a des conséquences mesurables, en joules.
En 1867, James Clerk Maxwell imagine un être minuscule, « aux facultés si aiguisées qu’il peut suivre chaque molécule dans sa course ». Un récipient rempli de gaz est divisé en deux par une paroi percée d’une petite porte, que le démon manœuvre. Au départ, la température est la même partout ; mais la température n’est qu’une moyenne, et certaines molécules vont plus vite que d’autres. Le démon ouvre la porte aux molécules rapides qui viennent de la gauche et aux molécules lentes qui viennent de la droite, et la ferme aux autres.
Les molécules rapides sont en magenta, les lentes en bleu. Le démon (l'œil) ne laisse passer que les rapides vers la droite et les lentes vers la gauche : un écart de température se creuse tout seul. Congédiez le démon : la porte reste ouverte et les températures s'égalisent.
Peu à peu, le compartiment de droite se réchauffe et celui de gauche se refroidit. Avec cet écart de température, on peut faire tourner un moteur thermique. Si la porte est sans frottement, le démon n’a fourni aucun travail : on a fabriqué du travail à partir d’une seule source de chaleur, et diminué l’entropie d’un système isolé. Le second principe est violé.
Maxwell n’y voyait pas un paradoxe mais une leçon : le second principe serait une loi statistique, vraie seulement pour des êtres trop grossiers pour voir les molécules. Ses successeurs ont été moins sereins. Si le démon est lui-même un objet physique (un automate, un circuit, une molécule), alors l’ensemble « gaz + démon » est un système isolé ordinaire, auquel le second principe doit s’appliquer. Quelque part, le démon doit payer. Mais où ? Il faudra cent quinze ans pour répondre correctement.
Remarquez ce que fait exactement le démon : il acquiert de l’information (la vitesse et la position de chaque molécule qui se présente) et agit en conséquence. C’est une machine à rétroaction.
En 1929, Leó Szilárd réduit le démon à sa plus simple expression. Le gaz ne contient plus qu’une seule molécule, dans une boîte en contact avec un thermostat à la température $T$. Le démon glisse une cloison au milieu, regarde de quel côté est la molécule, puis utilise la cloison comme un piston : la molécule, en la bombardant, la repousse et soulève un poids.
Le cycle de Szilard, étape par étape. La boîte revient exactement à son état initial après avoir fourni du travail… mais la mémoire du démon, elle, a changé. Le cycle n'est vraiment bouclé qu'une fois la mémoire remise à zéro.
Combien de travail récupère-t-on ? Un gaz d’une seule molécule obéit encore, en moyenne, à la loi des gaz parfaits : $pV=k_B T$. Pendant que le volume disponible double, de $\frac V2$ à $V$,
$\displaystyle W=\int_{V/2}^{V}p\,\mathrm{d}V=k_B T\int_{V/2}^{V}\frac{\mathrm{d}V}{V}=k_B T\ln 2 .$
La molécule ne perd pas d’énergie (sa température reste $T$) : ce travail est intégralement puisé, sous forme de chaleur, dans le thermostat, dont l’entropie diminue de $\frac{Q}{T}=k_B\ln 2$. Exactement un bit.
Le « 2 » du logarithme est celui des deux compartiments, c’est-à-dire celui du bit. Voilà, historiquement, le premier lien quantitatif entre information et énergie :
Connaître un bit sur un système en équilibre à la température $T$ permet d’en extraire au plus le travail $k_B T\ln 2$.
Sans l’information, rien n’est possible : si le démon accroche le poids au hasard, il se trompe une fois sur deux, et la cloison comprime alors le « gaz » au lieu de le détendre. En moyenne, le travail est nul.
Supposons que la mesure du démon soit erronée avec la probabilité $\varepsilon$. Quand sa mémoire indique « gauche », la molécule est à gauche avec la probabilité $1-\varepsilon$ seulement. S’il laisse la cloison aller jusqu’au bout, il risque la catastrophe : dans les cas d’erreur, il comprime la molécule dans un volume nul, ce qui coûte un travail infini.
La bonne stratégie consiste à arrêter la cloison là où le partage des volumes reflète ce que l’on sait : une fraction $1-\varepsilon$ du volume à gauche, une fraction $\varepsilon$ à droite. Le travail moyen vaut alors
$\displaystyle W=(1-\varepsilon)\,k_B T\ln\frac{1-\varepsilon}{1/2}+\varepsilon\,k_B T\ln\frac{\varepsilon}{1/2}=k_B T\,\big[\ln 2-H(\varepsilon)\big],$
où $H(\varepsilon)=-\varepsilon\ln\varepsilon-(1-\varepsilon)\ln(1-\varepsilon)$ est l’entropie de l’erreur (la courbe tracée plus haut, à l’unité près). Le crochet est exactement la quantité d’information que la mesure apporte réellement sur la position : un bit, moins l’incertitude qui subsiste.
Avec $10\,\%$ d’erreurs, la mesure ne vaut plus que $0{,}53$ bit, et l’on ne récupère que $0{,}53\;k_B T\ln 2$. Avec $50\,\%$ d’erreurs, la mesure ne vaut rien, et le travail aussi. Le travail extractible est proportionnel à l’information acquise, pas au nombre de mesures effectuées. Nous retrouverons cette quantité sous le nom d’information mutuelle.
Szilárd comprend que le second principe ne survit que si l’intervention du démon produit, quelque part, au moins $k_B\ln 2$ d’entropie. Il l’attribue, sans trop préciser, à l’acte de mesure.
L’égalité $S=k_B H$ peut sembler étrange. $S$ parle de chaleur échangée avec un réservoir ; $H$, de messages dans un canal de communication. En 1957, Edwin Jaynes montre qu’il s’agit bien de la même chose, et que toute la physique statistique peut se reconstruire comme un problème d’inférence : que puis-je dire d’un système dont je ne connais que quelques grandeurs macroscopiques ?
Le micro-état (positions et vitesses de $10^{24}$ molécules) contient l’information complète, mais il est inaccessible. Le macro-état (pression, volume, température) est mesurable, mais très incomplet. L’entropie mesure le fossé entre les deux : la quantité d’information perdue quand on se contente de la description macroscopique.
La formule $W_{\max}=-(\Delta E-T\Delta S)$ se relit alors ainsi : l’énergie n’est entièrement convertible en travail que si l’on connaît le micro-état. Une molécule dont on connaît la position et la vitesse peut pousser un piston placé au bon endroit au bon moment ; un gaz dont on ne connaît que la température ne peut que chauffer ce qui l’entoure. Le terme $T\Delta S$ est le prix de notre ignorance. La machine de Szilard en est l’illustration la plus pure : un bit d’ignorance en moins, $k_B T\ln 2$ de travail en plus.
Si l'entropie est une ignorance, elle dépend de celui qui ignore. Cette idée choque, et pourtant elle est déjà à l'œuvre dans un vieux problème, le paradoxe de Gibbs.
Retirez la cloison qui sépare deux gaz différents : ils se mélangent, et l'entropie augmente de $k_B\ln 2$ par molécule. Retirez la cloison entre deux volumes du même gaz : rien ne change, l'entropie non plus. Mais que signifie « différents » ? Imaginez deux gaz que rien, dans vos instruments, ne permet de distinguer (deux isotopes, avant qu'on sache les séparer). Pour vous, ils sont identiques, il n'y a pas d'entropie de mélange, et vos prédictions sont correctes : aucune de vos expériences ne révélera jamais d'anomalie. Le jour où quelqu'un invente une membrane qui laisse passer l'un et pas l'autre, il peut extraire du travail du mélange, exactement $k_B T\ln 2$ par molécule, et pour lui l'entropie de mélange existe bel et bien.
Jaynes en tirait cette conclusion : l'entropie n'est pas une propriété du micro-état, mais du jeu de variables que l'on mesure et que l'on contrôle. Elle est « subjective » au même titre que le choix de décrire un gaz par sa pression et son volume : une fois ce choix fait, plus rien n'est arbitraire. Le démon de Maxwell n'est rien d'autre qu'un observateur qui dispose de variables supplémentaires.
Conséquence troublante : dire que l’entropie d’un système isolé augmente, c’est dire que notre information sur son micro-état ne peut que se dégrader spontanément.
Rolf Landauer, physicien chez IBM, se demande en 1961 quelles opérations d’un ordinateur dégagent nécessairement de la chaleur. Sa réponse repose sur une distinction.
Or la mécanique, classique comme quantique, est réversible au niveau microscopique : deux états distincts de l’univers ne peuvent pas évoluer vers le même état. Si les deux états de la mémoire se confondent, la différence entre eux n’a pas disparu : elle a été repoussée ailleurs, dans les innombrables degrés de liberté de l’environnement, où elle est devenue inaccessible. L’information effacée n’est pas détruite, elle est transformée en chaleur.
L'effacement vu dans l'espace des états. Les régions colorées représentent l'ensemble des états possibles du bit et de son environnement. Leur surface totale est conservée par les lois de la mécanique (théorème de Liouville). Si le bit n'occupe plus qu'un état au lieu de deux, l'environnement doit en occuper deux fois plus : son entropie augmente de $k_B\ln 2$.
Principe de Landauer. L’effacement d’un bit d’information dans un environnement à la température $T$ s’accompagne d’un dégagement de chaleur d’au moins $k_B T\ln 2$.
Considérons la mémoire (le système) et son environnement (un réservoir à la température $T$). D’après le second principe, l’entropie totale ne peut pas diminuer :
$\Delta S_{\text{tot}}=\Delta S_{\text{mém}}+\Delta S_{\text{rés}}\geqslant 0 .$
Le réservoir est si grand qu’il reste à l’équilibre : s’il reçoit la chaleur $Q$, son entropie varie de $\Delta S_{\text{rés}}=\frac{Q}{T}$. Donc $Q\geqslant -T\,\Delta S_{\text{mém}}$.
Avant l’effacement, le bit est inconnu : $H=\ln 2$. Après, il vaut 0 à coup sûr : $H=0$. En admettant $S=k_B H$, on a $\Delta S_{\text{mém}}=-k_B\ln 2$, et donc
$Q\geqslant k_B T\ln 2 .$
Deux remarques. D’abord, le principe de Landauer n’est pas une loi nouvelle : c’est le second principe, appliqué à une mémoire, à condition de compter l’incertitude sur le bit comme une entropie à part entière. C’est cette condition qui est le vrai contenu physique. Ensuite, à la limite $Q=k_B T\ln 2$, l’entropie totale est constante : un effacement idéal est logiquement irréversible mais thermodynamiquement réversible. L’entropie n’est pas créée, elle est déménagée de la mémoire vers l’environnement.
Pour s’en convaincre sans formule, reprenons la boîte de Szilard et utilisons-la comme mémoire : molécule à gauche pour « 0 », à droite pour « 1 ». Comment la remettre à « 0 » sans regarder ce qu’elle contient ?
La compression isotherme de $V$ à $\frac V2$ coûte le travail $k_B T\ln 2$, intégralement cédé au thermostat sous forme de chaleur. C’est exactement le cycle de Szilard, parcouru en sens inverse. Extraire du travail d’un bit connu et effacer un bit inconnu sont les deux sens d’une même transformation.
Ce petit modèle fait apparaître deux précisions utiles.
En 2012, l’équipe de Sergio Ciliberto, à l’École normale supérieure de Lyon, réalise l’expérience de pensée de Landauer. Le bit est une bille de silice de deux micromètres, dans l’eau, piégée par un laser dans un potentiel à deux puits : bille à gauche pour « 0 », à droite pour « 1 ». La barrière entre les puits est assez haute pour que l’agitation thermique ne fasse pas sauter la bille : la mémoire est stable.
Pour effacer, on suit un protocole proposé par Bennett : on abaisse la barrière, on incline le potentiel vers la droite (en déplaçant doucement le liquide), on relève la barrière, puis on redresse. D’où qu’elle parte, la bille finit à droite. En filmant la trajectoire, on calcule le travail fourni à chaque cycle, qui sur un cycle complet est égal à la chaleur cédée à l’eau.
L’animation ci-dessous refait l’expérience numériquement, sur quatre cents billes à la fois, dont la moitié part de chaque puits. Chaque bille subit la force du potentiel et les chocs aléatoires de l’eau (c’est une équation de Langevin, une chaîne de Markov en temps continu).
Choisissez la durée du protocole (dans une unité arbitraire : le temps que met une bille à diffuser sur la distance entre les puits). À gauche, le potentiel se déforme et entraîne les billes ; à la fin, les deux couleurs sont indiscernablement mêlées dans le puits de droite : l'information sur le puits de départ est perdue. À droite, chaque point reporte la chaleur moyenne dissipée par bit. Un effacement brutal dissipe beaucoup ; un effacement lent s'approche de la limite de Landauer sans jamais passer dessous. (Avec quatre cents billes seulement, chaque point fluctue de quelques centièmes.)
C’est exactement ce qu’a trouvé l’équipe lyonnaise : la chaleur dissipée décroît quand on ralentit le protocole, à peu près comme $k_B T\ln 2+\frac{B}{\tau}$ où $\tau$ est la durée, et tend vers la limite de Landauer sans la franchir. Le terme en $\frac1\tau$ est le prix de la précipitation : c’est du frottement, de l’irréversibilité ordinaire, que l’on peut réduire autant que l’on veut en prenant son temps. Le terme $k_B T\ln 2$, lui, est incompressible. En 2014, l’équipe de John Bechhoefer a confirmé la limite à quelques pour cent près, et l’on a depuis vérifié le principe sur des bits magnétiques nanométriques et sur des systèmes quantiques (un ion piégé).
Nous avons maintenant toutes les pièces. Longtemps, on a cru, à la suite de Szilárd, de Léon Brillouin et de Dennis Gabor, que le démon payait au moment de la mesure : pour voir une molécule, il faut l’éclairer, et dans une enceinte à la température $T$ le photon utilisé doit se détacher du rayonnement ambiant, donc porter une énergie supérieure à $k_B T$, qui finit dissipée. L’argument est juste pour ce dispositif de mesure, mais il n’a rien de général. Bennett a montré qu’une mesure est une copie, que l’on peut en principe réaliser de façon réversible, sans coût minimal.
En 1982, Bennett déplace le projecteur (Oliver Penrose avait eu la même idée dès 1970). Le démon doit noter ce qu’il observe. Après un cycle, le gaz est revenu à son état initial, mais pas la mémoire du démon, qui contient le résultat de la mesure. Pour que la machine fonctionne vraiment en cycle, cette mémoire doit être remise à zéro. Et là, le principe de Landauer s’applique : effacer le bit dissipe au moins $k_B T\ln 2$, précisément ce que la machine de Szilard venait de gagner. Le démon ne viole pas le second principe : au mieux, il fait match nul.
Suivons les comptes de la machine de Szilard, étape par étape. Tout est exprimé en bits ($k_B\ln 2$ d’entropie par bit).
| étape | incertitude sur la molécule | incertitude sur la mémoire | ce que la mémoire sait de la molécule | entropie du thermostat (variation) | total |
|---|---|---|---|---|---|
| départ | 1 | 0 | 0 | 0 | 1 |
| après la mesure | 1 | 1 | 1 | 0 | 1 |
| après la détente | 1 | 1 | 0 | −1 | 1 |
| après l’effacement | 1 | 0 | 0 | 0 | 1 |
Le total s’obtient en ajoutant les deux incertitudes et l’entropie du thermostat, puis en retranchant ce que la mémoire sait de la molécule (pour ne pas compter deux fois la même incertitude).
Lisez la deuxième ligne : après la mesure, la mémoire est aussi incertaine que la molécule (pour un observateur extérieur, elle indique « G » ou « D » à pile ou face), mais les deux sont parfaitement corrélées. L’incertitude totale n’a pas changé : connaître l’une, c’est connaître l’autre. Tout le tour de passe-passe du démon est là. La détente consomme cette corrélation : à la fin, la molécule est de nouveau n’importe où, sans rapport avec la mémoire, et la corrélation perdue a servi à pomper un bit d’entropie hors du thermostat. Il reste un bit aléatoire dans la mémoire, que l’effacement renvoie au thermostat.
À aucun moment l’entropie totale n’a diminué. Le démon n’a fait que déplacer un bit d’entropie du thermostat vers sa mémoire, puis de sa mémoire vers le thermostat.
L'histoire que l'on raconte d'ordinaire (« Brillouin avait tort, c'est l'effacement qui coûte, pas la mesure ») est un peu trop tranchée. En 2009, Takahiro Sagawa et Masahito Ueda ont montré que le coût peut se répartir différemment entre la mesure et l'effacement selon la façon dont la mémoire est construite. Seule leur somme est contrainte :
$W_{\text{mesure}}+W_{\text{effacement}}\;\geqslant\;k_B T\,I,$
où $I$ est l'information acquise. Avec une mémoire symétrique (deux états de même énergie), la mesure peut être gratuite et l'effacement coûte $k_B T\ln 2$ : c'est le scénario de Bennett. Avec une mémoire dissymétrique, on peut alléger l'effacement et alourdir la mesure. Ce qui est impossible, c'est d'échapper aux deux. Et le démon peut aussi refuser d'effacer : il lui faut alors une mémoire toujours plus grande, qui se remplit de bits aléatoires. Il n'a pas fait disparaître l'entropie du gaz, il l'a stockée.
Pendant près d’un siècle et demi, tout cela est resté expérience de pensée. Erwin Schrödinger écrivait encore en 1952 que l’on n’expérimente jamais sur un seul atome ou une seule molécule, « pas plus qu’on n’élève des ichtyosaures au zoo ». Depuis les années 2000, les ichtyosaures sont au zoo.
Un démon de lumière. En 2008, l’équipe de Mark Raizen (Austin) piège des atomes dans un puits magnétique et y introduit une barrière optique à sens unique, formée de deux faisceaux laser accolés. Le premier change l’état interne de l’atome ; le second repousse les atomes qui sont dans l’état initial, et laisse passer les autres. Un atome qui arrive du bon côté rencontre d’abord le premier faisceau, change d’état, traverse le second sans encombre, puis retombe dans son état initial en émettant un photon : le voilà de l’autre côté, et il ne peut plus revenir. En balayant lentement cette « diode à atomes » à travers le piège, on rassemble les atomes dans un coin en les refroidissant. Où est passée l’entropie ? Dans le photon émis à chaque passage, parti dans une direction aléatoire : la lumière, d’abord parfaitement ordonnée, emporte l’information sur l’atome qui a traversé. L’équipe a vérifié que l’entropie gagnée par la lumière dépasse toujours celle perdue par les atomes. En 2007, l’équipe de David Leigh (Édimbourg) avait réalisé un démon chimique, une molécule en forme d’anneau enfilé sur un axe et munie d’une « porte » commandée par la lumière.
Une machine de Szilard sur un escalier. En 2010, l’équipe de Masaki Sano (Tokyo) place une bille de quelques centaines de nanomètres, agitée par le mouvement brownien, dans un potentiel en forme d’escalier incliné. Laissée à elle-même, la bille descend en moyenne, mais l’agitation thermique lui fait parfois gravir une marche. Une caméra la surveille : chaque fois qu’elle vient de monter, on bascule le potentiel pour lui barrer la route du retour. La bille grimpe l’escalier, et gagne de l’énergie potentielle, sans que personne ne l’ait poussée : seule l’information sur sa position a été utilisée. C’est la première conversion mesurée d’information en énergie.
Une bille brownienne sur un escalier d'énergie (chaque marche représente $0{,}8\ kT$, et chaque bosse à franchir $3\ kT$ environ). Sans démon, elle dévale la pente par à-coups. Faites intervenir le démon : dès qu'il voit la bille franchir une crête, il pose une cloison derrière elle (trait orange). La cloison ne pousse pas la bille et ne lui fournit aucun travail ; elle ne fait que sélectionner les fluctuations favorables.
Un électron pour molécule. En 2014, l’équipe de Jukka Pekola (Helsinki) construit une machine de Szilard électronique : la « molécule » est un unique électron, qui peut se trouver sur l’un ou l’autre de deux îlots métalliques minuscules, et le travail extrait par cycle approche $k_B T\ln 2$.
Ajoutées à l’expérience de Lyon, ces réalisations donnent à la physique de l’information ce qui lui manquait : une base expérimentale.
Ces expériences ont accompagné un renouveau théorique. En 2008, Sagawa et Ueda intègrent l’information au second principe lui-même. Pour un système à la température $T$ sur lequel on effectue des mesures, le travail maximal extractible devient
$\displaystyle W_{\max}=-\Delta F+k_B T\,I,$
où $I$ est l’information mutuelle entre le système et le résultat des mesures (en unités naturelles).
L’information mutuelle est la bonne mesure de « ce que la mémoire sait du système ». Si $X$ désigne l’état du système et $M$ le contenu de la mémoire,
$\displaystyle I=H(X)-H(X\mid M),$
c’est-à-dire l’incertitude sur le système avant la mesure, moins celle qui subsiste une fois la mémoire lue. Elle est nulle si la mémoire n’a aucun rapport avec le système, et vaut $H(X)$ si la mesure est parfaite. Pour la machine de Szilard avec un taux d’erreur $\varepsilon$, on retrouve $I=\ln 2-H(\varepsilon)$, la formule du dépliant plus haut.
L'information mutuelle est la partie commune aux deux incertitudes : ce que l'on apprend sur le système en lisant la mémoire (et réciproquement). C'est elle, et elle seule, qui se convertit en travail.
La formule met l’information, l’entropie et l’énergie sur le même plan. Appliquée à un moteur qui fonctionne entre une source chaude à $T_2$ et une source froide à $T_1$, elle donne
$\displaystyle W_{\max}=\left(1-\frac{T_1}{T_2}\right)Q_2+k_B T_1\,I .$
Sans mesure ($I=0$), on reconnaît le rendement de Carnot. Avec mesure et rétroaction, le moteur fait mieux, et peut même fonctionner avec une seule source ($T_1=T_2$), ce qu’interdit la formulation de Kelvin. Il n’y a pas de contradiction : dans un moteur ordinaire, la source froide sert à évacuer l’entropie ; ici, ce rôle est tenu par la mémoire, qui absorbe l’entropie sous forme de bits. La mémoire est un réservoir d’un nouveau genre, qui n’échange ni chaleur ni travail, mais de l’information. Et si l’on inclut dans le bilan le coût de sa remise à zéro, l’énoncé de Kelvin est rétabli.
À l’échelle d’une bille brownienne, le travail fourni lors d’une transformation fluctue d’un essai à l’autre. Le second principe, $W\geqslant\Delta F$, ne porte que sur la moyenne ; certaines réalisations individuelles le « violent » (dans l’expérience de Lyon, certains effacements dissipent moins que $k_B T\ln 2$, et quelques-uns absorbent même de la chaleur). Ces fluctuations ne sont pas quelconques. Christopher Jarzynski a montré en 1997 que
$\displaystyle \left\langle \mathrm{e}^{-(W-\Delta F)/k_B T}\right\rangle=1,$
égalité exacte, même très loin de l’équilibre, dont l’inégalité $\langle W\rangle\geqslant\Delta F$ est une conséquence. En présence de mesures et de rétroaction, Sagawa et Ueda ont obtenu la généralisation
$\displaystyle \left\langle \mathrm{e}^{-(W-\Delta F)/k_B T-I}\right\rangle=1,$
où $I$ est cette fois l’information acquise lors de chaque réalisation. Elle entraîne $\langle W\rangle\geqslant\Delta F-k_B T\langle I\rangle$ : on peut fournir moins de travail que $\Delta F$ (ou en extraire davantage), dans la limite exacte de l’information dont on dispose. Maxwell avait raison sur un point : le second principe est bien une loi statistique. Mais c’est une statistique qui inclut le démon.
Le principe de Landauer ne concerne pas que la touche « effacer ». Il s’applique à toute opération logiquement irréversible, c’est-à-dire qui a moins de sorties distinctes que d’entrées. Une porte ET reçoit deux bits et n’en rend qu’un : quand elle répond 0, impossible de savoir si l’entrée était 00, 01 ou 10. De l’information est perdue à chaque opération, donc de la chaleur est produite.
À température ambiante, $k_B T\ln 2\approx3\times10^{-21}\ \mathrm{J}$, soit $0{,}018$ électronvolt. Effacer un gigaoctet à la limite de Landauer dissiperait $2\times10^{-11}$ joule, de quoi soulever un grain de sable d’une quinzaine de micromètres. Les transistors actuels dissipent encore plusieurs milliers de fois plus par opération, mais l’écart se réduit depuis des décennies, et l’évacuation de la chaleur est devenue le principal obstacle à la miniaturisation. Les extrapolations que citent Lutz et Ciliberto plaçaient la rencontre avec la limite vers 2035 : une frontière fixée non par la technologie, mais par le second principe.
Peut-on la contourner ? Oui, en n’effaçant rien. Bennett a montré dès 1973 que tout calcul peut être mené avec des opérations logiquement réversibles (des portes qui ont autant de sorties que d’entrées, comme la porte de Toffoli), en conservant les résultats intermédiaires puis en « décalculant » pour les défaire proprement. Un tel ordinateur pourrait, en principe, calculer avec une dissipation aussi faible que l’on veut, à condition de calculer lentement. Ce n’est pas qu’une curiosité : les ordinateurs quantiques sont, par construction, des machines réversibles.
Les cellules sont des machines à traiter de l’information : elles copient leur ADN, lisent des concentrations chimiques dans leur milieu, communiquent. Et elles le font remarquablement près des limites fondamentales. Bennett notait que l’enzyme qui transcrit l’ADN en ARN ne dissipe qu’une vingtaine de $k_B T$ par nucléotide copié, bien mieux que n’importe quel circuit électronique.
Le principe de Landauer devient alors un outil. Pankaj Mehta et David Schwab ont calculé en 2012 le coût énergétique minimal qu’une cellule doit payer pour « mesurer » la concentration d’une molécule dans son environnement : apprendre a un prix, et il existe un compromis entre la précision de la mesure et l’énergie dépensée. De même, le moteur qui fait tourner le flagelle de la bactérie Escherichia coli, et qui change de sens selon la concentration d’une protéine régulatrice, a été modélisé comme un démon de Maxwell : sa sensibilité extrême se paie en énergie consommée.
Il y a un endroit de l’Univers où la question « où va l’information ? » se pose avec une acuité particulière.
Vers 1970, John Wheeler soumet une énigme à son étudiant Jacob Bekenstein. Je prends une tasse de thé chaud (de l’entropie) et je la jette dans un trou noir. Or un trou noir, vu de l’extérieur, est l’objet le plus simple qui soit : il est entièrement décrit par sa masse, sa charge et son moment cinétique. La tasse a disparu, son entropie aussi. L’entropie de l’Univers accessible a diminué : le trou noir est le démon de Maxwell ultime, une poubelle à entropie.
C’est le paradoxe du démon, à l’envers. Et la solution a la même forme : il faut que le trou noir lui-même porte une entropie, qui augmente quand on y jette quelque chose. Bekenstein remarque qu’une grandeur se comporte exactement ainsi. Stephen Hawking venait de démontrer que l’aire de l’horizon d’un trou noir ne peut jamais diminuer, ce qui ressemble furieusement à un second principe. Bekenstein propose donc, en 1972, que l’entropie d’un trou noir soit proportionnelle à l’aire de son horizon, et énonce un second principe généralisé : la somme de l’entropie ordinaire, hors des trous noirs, et de l’entropie des trous noirs ne diminue jamais.
Cherchons la plus petite quantité d’information que l’on puisse jeter dans un trou noir, et voyons de combien l’horizon grandit.
Le messager le plus économe est un photon. Pour qu’il ne porte qu’un bit environ (« je suis tombé dedans »), il faut qu’on ne puisse même pas dire où il est entré : sa longueur d’onde doit être de l’ordre de la taille du trou noir, $\lambda\sim R$. Son énergie est alors $E\sim\frac{hc}{R}$, et la masse du trou noir augmente de $\delta M=\frac{E}{c^2}\sim\frac{h}{Rc}$.
Le rayon de l’horizon est le rayon de Schwarzschild, $R=\frac{2GM}{c^2}$, et son aire $A=4\pi R^2=\frac{16\pi G^2M^2}{c^4}$. Donc
$\displaystyle \delta A=\frac{32\pi G^2 M}{c^4}\,\delta M\sim\frac{32\pi G^2 M}{c^4}\cdot\frac{h}{Rc}=\frac{16\pi\,G h}{c^3}.$
La masse $M$ a disparu du résultat ! Chaque bit ajouté augmente l’aire de la même quantité, quelle que soit la taille du trou noir, et cette quantité est, à un facteur numérique près, le carré de la longueur de Planck $\ell_P=\sqrt{G\hbar/c^3}\approx1{,}6\times10^{-35}\ \mathrm m$. Le nombre de bits engloutis est donc proportionnel à l’aire, comptée en aires de Planck.
Hawking trouve d’abord l’idée absurde : qui dit entropie dit température, et un corps qui a une température rayonne. Or rien ne sort d’un trou noir. En 1974, en voulant réfuter Bekenstein, il découvre que si : à cause des effets quantiques au voisinage de l’horizon, un trou noir émet un rayonnement thermique, à la température
$\displaystyle T_H=\frac{\hbar c^3}{8\pi G M k_B},$
ce qui fixe le coefficient de proportionnalité de Bekenstein :
$\displaystyle S_{\text{trou noir}}=k_B\,\frac{A}{4\,\ell_P^{\,2}}\qquad\text{avec}\qquad \ell_P^{\,2}=\frac{G\hbar}{c^3}.$
Un quart de l’aire de l’horizon, mesurée en aires de Planck : dans cette seule formule figurent la gravitation ($G$), la relativité ($c$), la mécanique quantique ($\hbar$) et la thermodynamique ($k_B$).
On peut relire ces formules avec les lunettes de cette page. Quand un trou noir absorbe l’énergie $\delta E$, son entropie augmente de $\delta S=\frac{\delta E}{T_H}$ (c’est la relation de Clausius, qui se vérifie directement sur les deux formules précédentes). Pour y faire disparaître un bit, c’est-à-dire augmenter son entropie de $k_B\ln 2$, il faut donc lui fournir
$\displaystyle \delta E=k_B T_H\ln 2 .$
Un trou noir efface l’information exactement à la limite de Landauer, à sa propre température. On vérifie d’ailleurs que l’énergie du photon du dépliant précédent, de longueur d’onde comparable à l’horizon, varie comme $k_B T_H$ : toutes deux sont proportionnelles à $\frac{\hbar c}{R}$. Et comme cette température est minuscule pour un trou noir stellaire (soixante milliardièmes de kelvin pour une masse solaire), l’effacement y est extraordinairement bon marché : c’est la raison pour laquelle les trous noirs peuvent contenir tant d’entropie.
Car ils en contiennent une quantité prodigieuse. Un trou noir d’une masse solaire, de trois kilomètres de rayon, a une entropie de $10^{77}\ k_B$, dix milliards de milliards de fois celle du Soleil. Aucun objet de même taille ne peut faire mieux : le trou noir est l’état d’entropie maximale, ce vers quoi tout s’effondre si l’on tasse trop d’information dans une région.
Quelques entropies, en unités de $k_B$ (ordres de grandeur). Le seul trou noir central de notre Galaxie contient autant d'entropie que tout le rayonnement fossile de l'Univers observable. L'entropie de l'Univers est, de très loin, dominée par ses trous noirs.
Autre surprise : l’entropie d’un trou noir croît comme sa surface, alors que celle de tout système ordinaire croît comme son volume. La quantité maximale d’information que peut contenir une région de l’espace serait donc fixée par l’aire de sa frontière, à raison d’un bit pour quelques aires de Planck. C’est le principe holographique, évoqué sur la page Entropie et information.
Reste une question, la plus difficile. Tout au long de cette page, l’information « effacée » n’était jamais détruite : elle partait dans l’environnement, et un démon assez habile aurait pu, en principe, la reconstituer. Les lois microscopiques sont réversibles. Avec un trou noir, c’est moins clair. Puisqu’il rayonne, il perd de la masse et finit par s’évaporer entièrement (en $10^{67}$ ans pour une masse solaire). Selon le calcul de Hawking, le rayonnement émis est parfaitement thermique : il ne dépend que de la masse du trou noir, pas de ce qui y est tombé. Une encyclopédie et un tas de sable de même masse donneraient exactement les mêmes cendres. L’information serait alors détruite pour de bon, en contradiction avec la mécanique quantique. C’est le paradoxe de l’information, formulé par Hawking en 1976.
La plupart des physiciens pensent aujourd’hui que l’information ressort, subtilement encodée dans les corrélations du rayonnement, comme elle l’est dans la fumée d’un livre qui brûle. Don Page a montré en 1993 à quoi devrait alors ressembler l’entropie du rayonnement au cours du temps (elle croît, puis décroît jusqu’à zéro), et des calculs menés depuis 2019 retrouvent cette courbe à partir de la gravité elle-même. Comment l’information franchit l’horizon reste en revanche mal compris ; la question touche à la nature de l’espace-temps, et rejoint les idées présentées sur la page ER = EPR. Elle mériterait une page à elle seule.
Sources :