04.- Información, orden y aleatoriedad

Para entender la autoorganización debemos entender
la teoría de la información: cómo se representa, comunica y procesa en los sistemas complejos

Introducción

Esta unidad sobre la teoría de la información, en el ámbito de este curso, se desarrolla abarcando 3 aspectos:
1º.- La entropía que caracteriza el desorden;
2º.- El vínculo entre la física y la información que se muestra en el llamado ‘demonio de Maxwell‘;
3º.- En las bases para cuantificar la información, que parten de la expresión de la 2ª Ley de la Termodinámica en la mecánica estadística.
Así se pretende llegar a la noción del contenido de información para poder medir la cantidad de información.

Nota aparte.
En YouTube, dentro del sitio Veritasium en español , hay un video muy adecuado para ver antes de entrar en el contenido de esta unidad. Es una explicación clara y sencilla a qué es la información.

4.1.- LA ENTROPÍA

Esta sección se complementa con un modelo de NETLOGO, ‘GasLab Two Gas ‘que puede descargarse de la propia Biblioteca de Modelos de la aplicación (Sample Models >>> Chemistry & Physics >>> GasLab). Mi transcripción es N04.- GasLab Two Gas

Referencias y lecturas complementarias

1.- Artículo sobre la «Entropía«.

4.2.- EL DEMONIO DE MAXWELL

El demonio de Maxwell es el nombre de una criatura imaginaria ideada en 1867 por el físico escocés James Clerk Maxwell como parte de un experimento mental diseñado para ilustrar la segunda ley de la termodinámica.

El demonio que trabaja a nivel microscópico, podría operar un muro (presumiblemente de construcción de fricción baja) dejando moléculas veloces únicas pasar a través de él. De este modo, el trabajo del demonio resultaría en moléculas lentas (i.e. fríos) en un lado del muro, y las calientes por otro lado. Aun así movimiento de uniformidad de temperatura a una ruptura de frío/caliente viola la Segunda Ley.

Imagen: A la izquierda el recipiente con las moléculas aun mezcladas. A la derecha las moléculas ya ordenadas por el demonio.
By User:Htkym – Own work, CC BY 2.5, https://commons.wikimedia.org/w/index.php?curid=1625737

Maxwell no vio que la inteligencia o la habilidad de observar de sus demonios estaba relacionada con la termodinámica del sistema. Tenía la fuerte intuición que la física del gas y la mente del demonio estaban completamente separados en términos de la noción de energía.
En 1929 el físico húngaro Leó Szilárd pensó que es esencial para entender la termodinámica de todo el sistema, considerar el proceso de información (medición) cuando el demonio decide si una partícula es rápida o lenta:

Esta sección se complementa con un modelo de NetLogo, ‘GasLab Maxwells Demon ‘que puede descargarse de la propia Biblioteca de Modelos de la aplicación (Sample Models >>> Chemistry & Physics >>> GasLab).

Referencias y lecturas complementarias

1.- Artículo «Demonio de Maxwell«

2.- Artículo sobre «Leó Szilárd»

4.3.- TERMODINÁMICA Y MECÁNICA ESTADÍSTICA

La mecánica estadística es un marco general para relacionar las propiedades microscópicas con las macroscópicas. Las primeras son propiedades mecánicas como posiciones y velocidades de las moléculas y las fuerzas que actúan sobre ellas. Las macroscópicas hacen referencia a propiedades como la temperatura o la presión. Ambas propiedades, microscópicas y macroscópicas, se unen en la mecánica estadística.

Referencias y lecturas complementarias

1.- Artículo sobre la «física estadística«

2.- Otro excelente video de Veritasium en español con el sugerente título «Pocos Entienden Esto de la Física Moderna…«, tratando la entropía de forma muy comprensible. (25:57)

3.- Un interesante post sobre la entropía desde el punto de vista de la mecánica estadística: «La entropía esa gran desconocida»

4.4.- LA 2ª LEY EN LA MECÁNICA ESTADÍSTICA

En mecánica estadística la entropía mide la cantidad de microestados compatibles con un macroestado. La idea es que el orden de un sistema o su entropía es una función del número de posibles microestados, o dicho de otra forma, de las posibles descripciones del estado del sistema:

4.5.- TEORÍA DE LA INFORMACIÓN: NOCIÓN DE INFORMACIÓN

Los macroestados con mayor entropía pueden corresponder a más microestados, luego, conocido el macroestado existe una mayor incertidumbre sobre cual es microestado real del sistema.
De esta forma, la entropía mide la falta de conocimiento del microestado, de ahí que la información necesaria para conocer el microestado de un sistema (conocido su macroestado) coincida con la entropía. Cuando se produce una disminución de la entropía se puede decir que ha aumentado nuestro conocimiento del microestado del sistema, o existe menos incertidumbre sobre dicho microestado (Tomado de la Wikipedia).

Para establecer la teoría de la información, Claude Shannon se planteo cómo transmitir señales de forma más efectiva y eficiente a través de los cables. Para ello adaptó las ideas de la mecánica estadística, la entropía de Boltzmann, al campo de la comunicación.

La teoría de la información se resume en estos conceptos

Los conceptos desarrollados en estas últimas secciones: entropía de Boltzmann, de Shannon y cantidad de información se complementan con sendos modelos de NETLOGO para realizar estos cálculos:

1.- Entropía de Boltzmann. Puede descargarse aquí. (Transcripción N04.- Slot Machine)

2.- Entropía de Shannon. Puede descargarse aquí. (Transcripción N04.- Coin flip information)

3.- Cantidad de información en un texto. Puede descargarse aquí. (Transcripción N04.- Text information content)

4.- Cantidad de información en el mapa logístico. Puede descargarse aquí. (Transcripción N04.- Logistic Map Information)