Despido (teoría de información)

El despido en la teoría de información es el número de trozos usados para transmitir un mensaje menos el número de trozos de la información actual en el mensaje. Informalmente, es la cantidad "del espacio" gastado usado para transmitir ciertos datos. La compresión de datos es una manera de reducir o eliminar el despido no deseado, mientras las sumas de control son un modo de añadir el despido deseado con objetivos de la detección de errores comunicándose sobre un canal ruidoso de la capacidad limitada.

Definición cuantitativa

En la descripción del despido de datos iniciales, recuerde que el precio de una fuente de información es la entropía media por símbolo. Para fuentes memoryless, esto es simplemente la entropía de cada símbolo, mientras, en el caso más general de un proceso estocástico, es

:

el límite, como n va al infinidad, de la entropía conjunta de los primeros símbolos n divididos en n. Es común en la teoría de información de hablar del "precio" o "la entropía" de una lengua. Esto es apropiado, por ejemplo, cuando la fuente de información es la prosa inglesa. El precio de una memoria que menos fuente es simplemente, desde por definición no hay ninguna interdependencia de los mensajes sucesivos de una memoria menos fuente.

El precio absoluto de una lengua o fuente es simplemente

:

el logaritmo del cardinality del espacio del mensaje o alfabeto. (Esta fórmula a veces se llama la función de Hartley.) Esto es el precio posible máximo de la información que se puede transmitir con ese alfabeto. (El logaritmo se debería tomar a una base apropiada para la unidad de medida en el uso.) El precio absoluto es igual al precio actual si la fuente es la memoria menos y tiene una distribución uniforme.

El despido absoluto se puede definir entonces como

:

la diferencia entre el precio absoluto y el precio.

La cantidad se llama el despido relativo y da la relación de compresión de datos posible máxima, cuando expresado como el porcentaje por el cual una talla del archivo se puede disminuir. (Cuando expresado como una proporción de la talla del archivo original a la talla del archivo comprimida, la cantidad da la relación de compresión máxima que se puede conseguir.) Complementario al concepto del despido relativo es la eficacia, definida como de modo que. Una memoria menos fuente con una distribución uniforme tiene el despido cero (y así eficacia del 100%) y no se puede comprimir.

Otras nociones de despido

Una medida de despido entre dos variables es la información mutua o una variante normalizada. Una medida de despido entre muchas variables da la correlación total.

El despido de datos comprimidos se refiere a la diferencia entre la longitud de datos comprimida esperada de mensajes (o velocidad de transferencia de datos esperada) y la entropía (o precio de la entropía). (Aquí suponemos que los datos sean ergodic e inmóvil, p.ej, una fuente memoryless.) Aunque la diferencia del precio pueda ser arbitrariamente pequeña como aumentado, la diferencia actual, no puede, aunque se pueda teóricamente saltar del modo superior por 1 en caso de la entropía finita memoryless fuentes.

Véase también



Buscar