Teoría de la información

De Wikipedia, la enciclopedia libre

Teoría de la información es una rama de la teoría matemática de la probabilidad y la estadística que estudia la información y todo lo relacionado con ella: canales, compresión de datos, criptografía y temas relacionados.

Fue iniciada por Claude E. Shannon a través de un artículo publicado en el Bell System Technical Journal en 1948, titulado Una teoría matemática de la comunicación (texto completo en inglés).

La información es tratada como magnitud física y para caracterizar la información de una secuencia de símbolos se utiliza la Entropía. Se parte de la idea de que los canales no son ideales, aunque muchas veces se idealicen las no linealidades, para estudiar diversos métodos para enviar información o la cantidad de información útil que se puede enviar a través de un canal.

---

• Fuentes de información
  • Teorema de muestreo de Nyquist-Shannon
  • Entropía
  • Negentropía
  • Información mutua

• Canales
  • Capacidad

• Compresión de datos
  • Códigos fuente
  • Códigos no-singulares
  • Códigos unívocamente decodificables
    • Extensión de código
  • Códigos prefijo o instantáneos

• Control de errores
  • FEC
  • ARQ
    • Parada y espera
    • Rechazo múltiple
    • Rechazo selectivo
  • Técnicas híbridas
    • Concatenación de códigos
    • Tipo 1
    • Tipo 2

• Detección de errores
  • Bits de redundancia
    • Métodos de control de errores
      • Paridad
        • Códigos autochequeo y autocorrectores
          • Códigos de bloque
            • Distancia Hamming
          • Paridad horizontal y vertical
      • Códigos lineales
        • Códigos cíclicos
          • CRC16
          • CRC32