Entropie
Aus Zeitwörter
Begriff
Mithilfe der Entropie ist das grundlegende Problem der Zeit und deren Unumkehrbarkeit, insofern als Vergangenheit und Zukunft nicht einfach vertauschbar sind (Zeitachsenmanipulation), mathematisch und physikalisch durch die Thermodynmaik beschreibbar geworden. Entropie bezeichnet in der Physik eine thermodynamische Zustandsgröße. Die Entropie in einem System ändert sich bei der Abgabe und Aufnahmen von Wärme. Nach dem zweiten Hauptsatz der Thermodynamik kann Entropie in geschlossenen Systemen nicht abnehmen. Entsteht Entropie ist diese ohne äußeres Zutun irreversible. Klassisches Beispiel für das entstehen von Entropie ist Entstehung von Wärme bei Reibung. In der statischen Thermodynamik gilt: Ein abgeschlossenes System neigt dazu, den wahrscheinlichsten Zustand (und damit ein Maximum der Entropie) anzunehmen. Der Zeitpfeil und das streben zur Unordnung bzw. dem thermischen Gleichgewichts, welche Mithilfe der Netwtonschen Mechanik lange nicht beschreibbar waren, werde so Mitte des 19. Jhr. mathematisch präzesierbar.
Medienwissenschaftliche Perspektive
In der Informationstheorie ist Entropie das Maß für den mittleren Informationsgehalt einer Nachricht. Dies ist besonders im Hinblick auf technische Anwendungen bei der Übertragung von Nachrichtenflüssen relevant. Hierdurch werden Probleme der Codierung, Redundanz, Übertragungsgenauigkeit, Kanalkapazität usw. untersucht. In der Informationstheorie von Shanon wird Information auf den Aspekt des „Neuigkeitswertes“ eingeengt. Dieser Wert hängt mit der Eintrittwahrscheinlichkeit zusammen, semantische Zusammenhänge oder Relationen zu bestimmten Größen oder Systemen werden ignoriert. Es geht darum, dass eine Nachricht aus einem bestimmten Vorrat von Nachrichten wurde. Das System muss so konstruiert werden, dass es für jede mögliche Auswahl funktioniert. Nach Shannon schematischer Darstellung besteht ein idealisiertes Kommunikationssystem aus Sender, Nachricht und Empfänger. Nimmt man an, der Sender übermittelt eine Folge von Zeichen z1, z2, . . , an aus einem endlichen Vorrat von n Zeichen, die mit Wahrscheinlichkeiten p1, p2, . . . , pn auftreten an einen Empfänger. Für eine erfolgreiche Übertragung, muss die Zeichenfolge vom Sender codiert und vom Empfänger decodiert werden, dabei ist die Übertragung üblicherweise Störungen ausgesetzt. Möglicherweise contra-intuitiv ist das Zeichen, welches am sichersten vorkommt, den höchsten Neuigkeitenwert. Der Neuigkeitswert eines einzelnen Zeichens ai aus n möglichen Zeichen ist Hi(n) = log pi. In formaler Übereinstimmung mit der Entropie der Statischen Thermodynamik von Boltzmannwird wird von Shannon und Weaver das Maß zur Mittelwertbildung als Entropie bezeichnet. Die Entropie ist damit ein Maß für künftige information.[1]
Stark vereinfacht und in konkreter Anwendung als Nachrichtenkommunikation lässt sich mit der Shannon Entropie sagen: wie groß ist die geringste Anzahl an Bits, die ich benötige um eine Nachricht erfolgreich zu übertragen.
Die Shannon-Entropie ist allgemeiner als die thermodynamische Entropie und muss nicht dem zweiten Hauptsatz der Thermodynamik genügen.
Artefakte
Weiterführendes
Peter C. Hägele, Was hat Entropie mit Information zu tun, http://www.uni-ulm.de/~phaegele/Vorlesung/Grundlagen_II/_information.pdf (Zuletzt aufgerufen 21.10.2017)
C. E. Shannon, “A mathematical theory of communication,” ACM SIGMOBILE Mobile Computing and Communications Review 5, no. 1 (2001): 3–55 (Zuletzt aufgerufen 21.10.2017)
Kurt Schonhammer, Der Entropiebegriff in der Thermodynamik und der Statistischen Mechanik, http://num.math.uni-goettingen.de/schaback/info/inf/sitzungen/06_01_06_Schoenhammer.pdf (Zuletzt aufgerufen 21.10.2017)
Textverweise