Entropie
Aus Zeitwörter
Begriff
Mithilfe der Entropie ist das grundlegende Problem der Zeit und deren Unumkehrbarkeit, insofern als Vergangenheit und Zukunft nicht einfach vertauschbar sind (Zeitachsenmanipulation), mathematisch und physikalisch durch die Thermodynmaik beschreibbar geworden. Entropie bezeichnet in der Physik eine thermodynamische Zustandsgröße. Die Entropie in einem System ändert sich bei der Abgabe und Aufnahme von Wärme. Nach dem zweiten Hauptsatz der Thermodynamik kann Entropie in geschlossenen Systemen nicht abnehmen. Entsteht Entropie, ist diese ohne äußeres Zutun irreversible. Klassisches Beispiel für das Entstehen von Entropie ist Entstehung von Wärme bei Reibung. In der statistischen Thermodynamik gilt: Ein abgeschlossenes System neigt dazu, den wahrscheinlichsten Zustand (und damit ein Maximum der Entropie) anzunehmen. Der Zeitpfeil und das Streben zur Unordnung bzw. dem thermischen Gleichgewicht, welche mithilfe der Newtonschen Mechanik lange nicht beschreibbar waren, werden so Mitte des 19. Jahrhunderts mathematisch präzisierbar.
Medienwissenschaftliche Perspektive
In der Informationstheorie ist Entropie das Maß für den mittleren Informationsgehalt einer Nachricht. Dies ist besonders in Hinblick auf technische Anwendungen bei der Übertragung von Nachrichtenflüssen relevant. Hierdurch werden Probleme der Codierung, Redundanz, Übertragungsgenauigkeit, Kanalkapazität usw. untersucht. In der Informationstheorie von Shannon wird Information auf den Aspekt des „Neuigkeitswertes“ eingeengt. Dieser Wert hängt mit der Eintrittswahrscheinlichkeit zusammen, semantische Zusammenhänge oder Relationen zu bestimmten Größen oder Systemen werden ignoriert. Es geht darum, dass eine Nachricht aus einem bestimmten Vorrat von Zeichen eindeutig codiert wird. Das System muss so konstruiert werden, dass es für jede mögliche Auswahl funktioniert. Nach Shannons schematischer Darstellung besteht ein idealisiertes Kommunikationssystem (siehe auch Echtzeit) aus Sender, Nachricht und Empfänger. Nimmt man an, der Sender übermittelt eine Folge von Zeichen z1, z2, . . , zn aus einem endlichen Vorrat von n Zeichen, die mit Wahrscheinlichkeiten p1, p2, . . . , pn auftreten, an einen Empfänger. Für eine erfolgreiche Übertragung, muss die Zeichenfolge vom Sender codiert und vom Empfänger decodiert werden, dabei ist die Übertragung üblicherweise Störungen ausgesetzt. Möglicherweise contra-intuitiv hat das Zeichen, welches am unsichersten vorkommt, den höchsten Neuigkeitenwert. In formaler Übereinstimmung mit der Berechnung der Entropie der Thermodynamik von Boltzmann wird von Shannon und Weaver das Maß zur Mittelwertbildung als Entropie bezeichnet. Die Entropie ist damit ein Maß für künftige Information.
Stark vereinfacht und in konkreter Anwendung als Nachrichtenkommunikation lässt sich mit der Shannon-Entropie sagen: Wie groß ist die geringste Anzahl an Bits, die ich benötige um eine Nachricht erfolgreich und eindeutig zu übertragen.
Die Shannon-Entropie ist allgemeiner als die thermodynamische Entropie und muss nicht dem zweiten Hauptsatz der Thermodynamik genügen.
Weiterführendes
Peter C. Hägele, Was hat Entropie mit Information zu tun, http://www.uni-ulm.de/~phaegele/Vorlesung/Grundlagen_II/_information.pdf (Zuletzt aufgerufen 21.10.2017)
C. E. Shannon, A mathematical theory of communication, ACM SIGMOBILE Mobile Computing and Communications Review 5, Nr. 1 (2001): 3–55 (Zuletzt aufgerufen 21.10.2017)
Kurt Schonhammer, Der Entropiebegriff in der Thermodynamik und der Statistischen Mechanik, http://num.math.uni-goettingen.de/schaback/info/inf/sitzungen/06_01_06_Schoenhammer.pdf (Zuletzt aufgerufen 21.10.2017)
https://de.wikipedia.org/wiki/Entropie_(Informationstheorie)