Informationstheorie

Vou tentar colocar um método alternativo de aprendizado em prática. Para aqueles que se interessarem por outros assuntos, dirijam-se por gentileza a outro post.

Informationstheorie:
In der Informationstheorie wird die sichere(verlustfreie) Übertragung von Nachrichten über ein unzuverlässiges Medium beschrieben, damit die Datenübetragung über ein unzuverlässiges Kanal auf der Empfägerseite noch interpretierbar ist. Dabei wird eine mathematische Beschreibung von Grenzen zu sicherer Übertragung und Codierung von Daten definiert. Die von Shannon veröffentlichte "a(the) mathematical theory of communication" fasst die Aspekte der Kommunikation über ein Kanal zusammen, und wie dieses Signal(inhaltig) zwischen Quelle und Sinke zu interpretieren sind.

- Diskrete Informationsquelle -> Eine Quelle gibt Daten zu diskreten Zeitpunkten aus einem Symbolvorrat.

- Gedächtnislose diskrete Informationsquelle -> (d.m.s.)Ausgangsbeobachtungen die statistisch unabhängig voneinander zu interpretieren sind. Sie hängen weder von dem vorherigen noch von dem nächsten Symbol ab.

- Zeitinvariante diskrete Informationsquelle -> (i.i.d.) Die a-priori Wahscheinlichkeit der Symbole sind zu jedem Zeitpunkt gleich. Die Statistik der Quelle ändert sich nicht.

Information ist die Verringerung der Unsicherheit eines Kommunikationssystems.

(I am searching here for math formula in HTML code)
- Informationsmaß nach Hartley für diskrete Quellen
- Informationsmaß nach Shannon für diskrete Quellen
- Mittlerer Informationsgehalt, die Entropie
- Ungleichung der Informationstheorie
- Schranken für die Entropie einer DMS
- Binäre Entropiefunktion
- Gekoppelte Informationsquelle
- Verbundentropie
- Bendingte Entropie