Programación Lógica y Recuperación de Información

Entre los diversos modelos y teorías [1] [2] de la comunicación y la información que surgen en las décadas de los años 40 y 50 del siglo XX (e.g. el modelo de H. D. Laswell para representar los elementos del proceso comunicativo, que se resume en la frase o fórmula "¿Quién dice qué a quién a través de qué canal y con qué efecto?"), destaca, por su posterior influencia en numerosos campos, especialmente en el área de la computación y el procesamiento automatizado de la información, el modelo matemático de los ingenieros de telecomunicaciones Claude E. Shannon y Warren Weaver (Bell Laboratories). El artículo de Shannon "A Mathematical Theory of Communication" (1948) supone el punto de arranque del desarrollo de la Teoría Matemática de la Información, fundamental en la comprensión y análisis de los procesos informativos y comunicativos desde una perspectiva cuantificable y predecible. Las aportaciones de Shannon a este respecto, han sido fundamentales, por ejemplo, en el desarrollo de la criptografía y los sistemas de compresión de datos [1] [2].

Shannon trató de establecer a través de esta teoría una ecuación matemática para poder medir el valor informativo de los mensajes, tomando en consideración la "información" como un valor cuantificable en los procesos de comunicación. Inició sus investigaciones al respecto sobre la base de los avances que en el mundo de la ingeniería se habían producido como consecuencia directa del esfuerzo bélico de la II Guerra Mundial, y concretamente tomando como punto de partida sus estudios sobre cibernética en general y sobre una máquina capaz de predecir el movimiento de un móvil, con aplicaciones militares, en particular. La principal aplicación del modelo matemático de información, como era de esperar dado su especial carácter "mecanicista" y algorítmico, se ha producido en el lenguaje entre máquinas.

En un plano más general, Shannon y Weaver afirman en su teoría matemática de la información que en cualquier sistema comunicativo hay que resolver los siguientes problemas:

• Problema técnico: con qué precisión puede transmitirse la información.
• Problema semántico: el más significativo en el mundo de la información. Implica con qué precisión es recibida la información por el receptor, en relación con el significado original dado al mensaje.
• Problema de la efectividad: se refiere a la efectividad con la que el significado original recibido por el receptor, afecta a su conducta.

El eje central del modelo matemático de información es el concepto de "información relevante", también denominado "concepto de pertinencia", que en el campo matemático se traduce por la idea de "probabilidad". A grandes rasgos, implica que, a menor probabilidad de acontecer un suceso, o menor conocimiento implícito, sobre el hecho reflejado, en el proceso comunicativo, mayor relevancia informativa en el caso de acontecer dicho suceso, ya que:

• El receptor valora como especialmente "informativo" un hecho que desconoce previamente.
• El estado previo de conocimiento del receptor determina la relevancia informativa que para él poseerá un hecho determinado.

La cantidad de información recibida respecto de la ocurrencia de un evento, es inversamente proporcional a su probabilidad. Una probabilidad de ocurrencia grande, ofrece una cantidad de información menor, y por ello implica menor relevancia informativa. La relación entre cantidad de información (I) y probabilidad de la ocurrencia (p), o medida de la información, se expresa formalmente en el modelo matemático de Shannon y Weaver mediante la ecuación I=log₂1/p, donde:

• p es la probabilidad del mensaje transmitido.
• log₂ es el logaritmo de 1/p en base 2.

Un concepto muy importante introducido por Shannon y Weaver en su teoría es el de "entropía", o información promedio de un mensaje (cantidad de información media). Siendo iguales las probabilidades de una serie de mensajes, la fórmula matemática que permite determinar la entropía total es H=log₂N (donde N es igual al número de mensajes posibles en el conjunto). El término "entropía" [1] [2] se toma prestado del dominio de estudio de la termodinámica, en el que adquiere un sentido diferente. Así, el "principio de entropía universal" establece que los sistemas termodinámicos sometidos a fenómenos aleatorios o cíclicos, tienden ha adoptar los estados que requieren menor consumo de energía.

Gráficamente, el esquema comunicativo implícito en el modelo matemático de la información se puede resumir de la siguiente forma:

                          (distorsiona)
             Transmisión*     Ruido      Receptor        (interpreta)
Emisor ------>         ------->   ------->      -------> Destinatario
       Mensaje          Señal**    Señal**     Decodifica

 (*) El mensaje es codificado por el transmisor
(**) A través de un canal

El canal es el soporte a través del cual se "transporta" la información. El concepto de "código" es inherente a este esquema, entendiendo por tal el conjunto de signos, comunes al emisor y al receptor, que permiten la codificación de un mensaje y por tanto la comunicación. No puede haber comunicación sin un consenso previo acerca del código a utilizar tanto por parte del emisor como por parte del receptor.

El modelo de Shannon y Weaver tiene muchas aplicaciones, referidas sobre todo a situaciones de comunicación no humana (en las que tiene muchas limitaciones), específicamente lenguaje entre máquinas y telecomunicaciones, donde las posibilidades de error o ambigüedad en la utilización del código son mínimas. Según el planteamiento de este modelo, se entiende por "información" los datos o conocimientos que estos originan, considerados novedosos o relevantes por un receptor en un momento dado, a fin de paliar su ignorancia o reducir su incertidumbre sobre una materia.

Un ejemplo práctico de aplicación de los principios matemáticos y algorítmicos de la Teoría de la Información a los sistemas automáticos de tratamiento y recuperación de información (en este caso en combinación con procesos de inferencia bayesiana), es Autonomy, programa del que se hacía eco Abraldes hace ya algún tiempo.

Así mismo, la mayoría de las heurísticas utilizadas para el establecimiento de árboles de decisión mediante algoritmos de aprendizaje, se basan en la teoría matemática de la información. Los árboles de decisión son una forma de representación del conocimiento que permite "clasificar ejemplos en un número finito de clases" (fuente). Las heurísticas son criterios, métodos o principios que permiten decidir, de entre varias alternativas de acción, cuál será la más efectiva para cumplir determinada meta. Permiten restringir el número de evaluaciones, de forma que repercuten en una mejora de los tiempos empleados en la búsqueda de soluciones.

Shannon es por otra parte, dentro del contexto de la Teoría Matemática de la Información desarrollada junto con Weaver, autor de una aportación fundamental al desarrollo de la computación: la asociación del sistema binario a un circuito eléctrico (de relés en un principio), sobre la base de teoremas de lógica matemática. En el sistema binario, la circulación de corriente se corresponde generalmente al 1, y el 0 al estado contrario (ausencia de corriente).

Shannon comenzó sus trabajos al respecto en Alemania (1938), estudiando la aplicación de la teoría del Álgebra de Boole [1] [2] a la representación de circuitos lógicos, y desarrollando una incipiente Teoría de la Información. En 1948 publica, como ya dijimos al principio, "A mathematical theory of communication", trabajo en el que expone la posibilidad de automatizar operaciones matemáticas complejas por medio de los circuitos de relés utilizados en telefonía, haciendo uso de la lógica binaria (los fundamentos de la aplicación de la aritmética binaria, luego utilizados por los pioneros de la computación en el siglo XX -Atanasoff, von Neumann, entre otros-, fueron establecidos en parte por Charles Babbage ya en la primera mitad del siglo XIX) y el álgebra booleana. Este principio descompone cualquier problema matemático complejo en una mínima expresión, representada mediante código binario, que permite únicamente dos posibles estados: sí-no, 0-1, abierto-cerrado...

"En los circuitos electrónicos, desde el punto de vista lógico, suele representarse la presencia de tensión en un punto del circuito [...] por medio de un 1, correspondiendo el 0 a la ausencia de tensión. Si se hacen las consideraciones anteriores, se dice que se está utilizando lógica positiva (utilizada en la mayoría de los casos). Por otro lado, si se asocia el 0 a la presencia de tensión y el 1 a la ausencia de la misma, se dice que se utiliza lógica negativa." (p. 23)

En Informática Básica; E. Alcalde et al; Ed. McGraw-Hill, 1989; ISBN: 84-7615-241-8

En el libro que se acaba de citar, concretamente en el capítulo 2 (página 23 y siguientes), se explica de forma sencilla y clara las formas de representación de la información mediante sistemas de numeración en el ámbito de la computación digital.

El término que utiliza Shannon para denominar la bivalencia del sistema binario es el de información. La unidad básica de la representación binaria en computación, unidad básica de información para Shannon, es el "bit" (binary digit) y se corresponde a uno de los dos estados de valor descritos.

El modelo matemático de Shannon y Weaver presenta algunas limitaciones desde el punto de vista de los modelos comunicativos (o modelos de comunicación social):

En las situaciones de comunicación cotidianas, el cálculo de probabilidades no es un acto previo, de hecho éste no forma parte del conjunto de habilidades que hacen posible los procesos de verbalización del pensamiento y aprehensión de la realidad exterior al sujeto, y en definitiva los procesos comunicativos que caracterizan al ser humano en su interacción social.

El modelo da por sentado la existencia de un único código comunicativo. Sin embargo, en la comunicación humana se hallan presentes "subcódigos", que son todos aquellos elementos culturales, ideológicos, afectivos, económicos, etc., que subyacen en la forma de expresión del lenguaje humano. Los subcódigos comunicativos condicionan, tanto el sentido inicial dado al mensaje, como el sentido en que dicho mensaje es interpretado por el receptor, lo que hace que la comunicación entre humanos no tenga siempre un sentido idéntico y unívoco. Así mismo, son la razón por la cual los mensajes pueden tener diferente interpretación a lo largo del tiempo, a medida que los subcódigos subyacentes a un determinado significado van variando.

El valor concedido a la información varía de un individuo a otro: no existe una valoración unitaria, de forma que el concepto y el valor de la relevancia es distinto si tomamos en consideración diferentes receptores. Tampoco la información se halla totalmente relacionada con lo novedoso o desconocido por un individuo: su estado de conocimiento previo sin duda condiciona el valor informativo y la relevancia de los hechos comunicados.

Con posterioridad a la aparición de la Teoría Matemática de la Información, otros autores, como Osgood y Schramm en su "modelo circular", aportarán un concepto de información y comunicación no meramente basado en parámetros "matemáticos" o "probabilísticos", de simple transmisión de información de un punto a otro (una visión "física" de la comunicación en definitiva), en un intento de superar el modelo matemático de Shannon y Weaver y sus limitaciones en el estudio y comprensión de los procesos comunicativos de las sociedades humanas. Para estos teóricos, "comunicación" será sinónimo de "poner en común algo", atribuyendo al término un sentido que coincide con el significado etimológico de la palabra, y se interesarán acerca de qué es lo que se pone en común (comunicación interpersonal y comunicación colectiva).

Se puede encontrar una explicación más detallada de Teoría de la Información de Shannon y sus fundamentos matemáticos, algorítimos y lógicos, en los enlaces que se relacionan a continuación:

• Claude Shannon. El profeta tecnológico que cambió el planeta.
• Claude Elwood Shannon (en portugués).
• Claude Elwood Shannon (en The MacTutor History of Mathematics archive).
• Heroes of Cyberspace: Claude Shannon (C. A. Gimon).
• The Alan Turing Home Page.
• A Mathematical Theory of Communication by Claude E. Shannon.
• Information Theory (página monográfica de Lucent Technologies - Bell Laboratories).
• Communication Theory (colección de enlaces).
• The Shannon-Weaver Model (en CCMS - Communication studies, cultural studies, media studies infobase).
• Information Theory of Claude Shannon & Warren Weaver (cap. 4 de "A First Look at Communication Theory"; E. Griffin; McGraw-Hill, 1997).
• Information Theory, Inference, and Learning Algorithms (D. MacKay).
• A Short Course in Information Theory, 8 lectures by David J.C. MacKay.
• Information: the concept; Information and Probability Distributions; Information in discrete distributions (Marijke van Gans).
• Information Theory Primer (T. Schneider).
• On the Genealogy of Information (R. Capurro).
• Information Theory (forma parte de una serie de pequeños ensayos y entradas, "Notebooks", sobre temas muy diversos, realizadas por C. Rohilla Shalizi, complementadas cada una con una selección de enlaces; tiene un "weblog" en el que escribe sobre temas así mismo muy diversos).
• Communication Theory (formato PS; capítulo 27 de la obra "Probability Theory: the logic of science", E. T. Jaynes).
• A New Version of Algorithmic Information Theory (G. J. Chaitin).
• The Transmission Model of Communication (D. Chandler).
• Tools For Thought: The People and Ideas of the Next Computer Revolution (Howard Rheingold; Simon & Schuster, 1985).
• History of Cybernetics and Systems Science (en Principia Cybernetica Web).
• La entropía de Kolmogorov (sobre el concepto de Entropía en el contexto de la Teoría de la información de Shannon; en Tio Petros).
• La definición de entropía (en Bitácora de matemáticas).
• Introducción a la Lógica Matemática (S. V. Chapa Vergara).
• De representación, velocidad, capacidad y prefijos binarios (sobre el sistema binario y sus unidades de medida).
• Álgebra de Boole: Del Silogismo Aristotélico a los Circuitos Integrados (J. Borge Holthoefer. En A Parte Rei. Revista de filosofía, nº 25, enero 2003; en formato PDF).

[0] comentarios | # | lista |