Entropie
Aus Zeitwörter
Begriff
Entropie bezeichnet in der Physik eine thermodynamische Zustandsgröße. Die Entropie in einem System ändert sich bei der Abgabe und Aufnahmen von Wärme. Nach dem zweiten Hauptsatz der Thermodynamik kann Entropie in geschlossenen Systemen nicht abnehmen. Entsteht Entropie ist diese ohne äußeres Zutun irreversible. Klassisches Beispiel für das entstehen von Entropie ist Entstehung von Wärme bei Reibung.
In der Informationstheorie ist Entropie das Maß für den mittleren Informationsgehalt einer Nachricht. Dies ist besonders im Hinblick auf technische Anwendungen bei der Übertragung von Nachrichtenflüssen relevant. Hierdurch werden Probleme der Codierung, Redundanz, Übertragungsgenauigkeit, Kanalkapazität usw. untersucht. In der Informationstheorie von Shanon wird Information auf den Aspekt des „Neuigkeitswertes“ eingeengt. Dieser Wert hängt mit der Eintrittwahrscheinlichkeit zusammen, semantische oder Relationen zu bestimmten Größen oder Systemen wird ignoriert. Es geht darum, dass eine Nachricht aus einem bestimmten Vorrat von Nachrichten wurde. Das System muss so konstruiert werden, dass es für jede mögliche Auswahl funktioniert. Nach Shannon schematischer Darstellung besteht ein idealisiertes Kommunikationssystem aus Sender, Nachricht und Empfänger. Nimmt man an, der Sender übermittelt eine Folge von Zeichen z1, z2, . . , an aus einem endlichen Vorrat von n Zeichen, die mit Wahrscheinlichkeiten p1, p2, . . . , pn auftreten an einen Empfänger. Für eine erfolgreiche Übertragung, muss die Zeichenfolge vom Sender codiert und vom Empfänger decodiert werden, dabei ist die Übertragung üblicherweise Störungen ausgesetzt. Möglicherweise contra-intuitiv ist das Zeichen, welches am sichersten vorkommt, den höchsten Neuigkeitenwert. Der Neuigkeitswert eines einzelnen Zeichens ai aus n möglichen Zeichen ist Hi(n) = log pi. In formaler Übereinstimmung mit der Entropie der Statischen Thermodynamik von Boltzmannwird wird von Shannon und Weaver das Maß zur Mittelwertbidlung als Entropie bezeichnet. H(n)(p1,p2,...,pn) =Σni=1piHi(n) =Σ N− i pilog pi. Die Entropie ist damit ein Maß für künftige information.
Stark vereinfacht und in konkreter Anwendung,lässt sich mit der Shannon Entropie sagen: wie groß ist die geringste Anzahl an Bits, die ich benötige um eine Nachricht erfolgreich zu übertragen.
Medienwissenschaftliche Perspektive
Thermodynamischer Zeitpfeil, Un-Zeit der Information: Boltzmann- vs. Shannon-Entropie
Artefakte
Weiterführendes
Textverweise
(nur einfügen, wenn man Fußnoten im Text hat…. und dann nichts selbst runterschreiben)