Entropie: Unterschied zwischen den Versionen

Aktuelle Version vom 8. November 2017, 17:57 Uhr

Begriff

Mithilfe der Entropie ist das grundlegende Problem der Zeit und deren Unumkehrbarkeit, insofern als Vergangenheit und Zukunft nicht einfach vertauschbar sind (Zeitachsenmanipulation), mathematisch und physikalisch durch die Thermodynmaik beschreibbar geworden. Entropie bezeichnet in der Physik eine thermodynamische Zustandsgröße. Die Entropie in einem System ändert sich bei der Abgabe und Aufnahme von Wärme. Nach dem zweiten Hauptsatz der Thermodynamik kann Entropie in geschlossenen Systemen nicht abnehmen. Entsteht Entropie, ist diese ohne äußeres Zutun irreversible. Klassisches Beispiel für das Entstehen von Entropie ist Entstehung von Wärme bei Reibung. In der statistischen Thermodynamik gilt: Ein abgeschlossenes System neigt dazu, den wahrscheinlichsten Zustand (und damit ein Maximum der Entropie) anzunehmen. Der Zeitpfeil und das Streben zur Unordnung bzw. dem thermischen Gleichgewicht, welche mithilfe der Newtonschen Mechanik lange nicht beschreibbar waren, werden so Mitte des 19. Jahrhunderts mathematisch präzisierbar.

Entropy Informationsgehalt eines Zeichens © Akribix

Medienwissenschaftliche Perspektive

In der Informationstheorie ist Entropie das Maß für den mittleren Informationsgehalt einer Nachricht. Dies ist besonders in Hinblick auf technische Anwendungen bei der Übertragung von Nachrichtenflüssen relevant. Hierdurch werden Probleme der Codierung, Redundanz, Übertragungsgenauigkeit, Kanalkapazität usw. untersucht. In der Informationstheorie von Shannon wird Information auf den Aspekt des „Neuigkeitswertes“ eingeengt. Dieser Wert hängt mit der Eintrittswahrscheinlichkeit zusammen, semantische Zusammenhänge oder Relationen zu bestimmten Größen oder Systemen werden ignoriert. Es geht darum, dass eine Nachricht aus einem bestimmten Vorrat von Zeichen eindeutig codiert wird. Das System muss so konstruiert werden, dass es für jede mögliche Auswahl funktioniert. Nach Shannons schematischer Darstellung besteht ein idealisiertes Kommunikationssystem (siehe auch Echtzeit) aus Sender, Nachricht und Empfänger. Nimmt man an, der Sender übermittelt eine Folge von Zeichen z₁, z₂, . . , z_n aus einem endlichen Vorrat von n Zeichen, die mit Wahrscheinlichkeiten p₁, p₂, . . . , p_n auftreten, an einen Empfänger. Für eine erfolgreiche Übertragung, muss die Zeichenfolge vom Sender codiert und vom Empfänger decodiert werden, dabei ist die Übertragung üblicherweise Störungen ausgesetzt. Möglicherweise contra-intuitiv hat das Zeichen, welches am unsichersten vorkommt, den höchsten Neuigkeitenwert. In formaler Übereinstimmung mit der Berechnung der Entropie der Thermodynamik von Boltzmann wird von Shannon und Weaver das Maß zur Mittelwertbildung als Entropie bezeichnet. Die Entropie ist damit ein Maß für künftige Information.

Stark vereinfacht und in konkreter Anwendung als Nachrichtenkommunikation lässt sich mit der Shannon-Entropie sagen: Wie groß ist die geringste Anzahl an Bits, die ich benötige um eine Nachricht erfolgreich und eindeutig zu übertragen.

Die Shannon-Entropie ist allgemeiner als die thermodynamische Entropie und muss nicht dem zweiten Hauptsatz der Thermodynamik genügen.

Weiterführendes

Peter C. Hägele, Was hat Entropie mit Information zu tun, http://www.uni-ulm.de/~phaegele/Vorlesung/Grundlagen_II/_information.pdf (Zuletzt aufgerufen 21.10.2017)

C. E. Shannon, A mathematical theory of communication, ACM SIGMOBILE Mobile Computing and Communications Review 5, Nr. 1 (2001): 3–55 (Zuletzt aufgerufen 21.10.2017)

Kurt Schonhammer, Der Entropiebegriff in der Thermodynamik und der Statistischen Mechanik, http://num.math.uni-goettingen.de/schaback/info/inf/sitzungen/06_01_06_Schoenhammer.pdf (Zuletzt aufgerufen 21.10.2017)

https://de.wikipedia.org/wiki/Entropie_(Informationstheorie)

@@ Zeile 2: / Zeile 2: @@
 '''Begriff'''
 -------------
-Entropie bezeichnet in der Physik eine thermodynamische Zustandsgröße. Die Entropie in einem System ändert sich bei der Abgabe und Aufnahmen von Wärme. Nach dem zweiten Hauptsatz der Thermodynamik kann Entropie in geschlossenen Systemen nicht abnehmen. Entsteht Entropie ist diese ohne äußeres Zutun irreversible. Klassisches Beispiel für das entstehen von Entropie ist Entstehung von Wärme bei Reibung.
+Mithilfe der Entropie ist das grundlegende Problem der Zeit und deren Unumkehrbarkeit, insofern als Vergangenheit und Zukunft nicht einfach vertauschbar sind ([[Zeitachsenmanipulation]]), mathematisch und physikalisch durch die Thermodynmaik beschreibbar geworden.
+Entropie bezeichnet in der Physik eine thermodynamische Zustandsgröße. Die Entropie in einem System ändert sich bei der Abgabe und Aufnahme von Wärme. Nach dem zweiten Hauptsatz der Thermodynamik kann Entropie in geschlossenen Systemen nicht abnehmen. Entsteht Entropie, ist diese ohne äußeres Zutun irreversible. Klassisches Beispiel für das Entstehen von Entropie ist Entstehung von Wärme bei Reibung. In der statistischen Thermodynamik gilt: Ein abgeschlossenes System neigt dazu, den wahrscheinlichsten Zustand (und damit ein Maximum der Entropie) anzunehmen. Der Zeitpfeil und das Streben zur Unordnung bzw. dem thermischen Gleichgewicht, welche mithilfe der Newtonschen Mechanik lange nicht beschreibbar waren, werden so Mitte des 19. Jahrhunderts mathematisch präzisierbar.
-In der Informationstheorie ist Entropie das Maß für den mittleren Informationsgehalt einer Nachricht.  Dies ist besonders im Hinblick auf technische Anwendungen bei der Übertragung von Nachrichtenflüssen relevant. Hierdurch werden Probleme der Codierung, Redundanz, Übertragungsgenauigkeit, Kanalkapazität usw. untersucht. In der Informationstheorie von Shanon wird Information auf den Aspekt des „Neuigkeitswertes“  eingeengt. Dieser Wert hängt mit der Eintrittwahrscheinlichkeit zusammen, semantische oder Relationen zu bestimmten Größen oder Systemen wird ignoriert. Es geht darum, dass eine Nachricht aus einem bestimmten Vorrat von Nachrichten wurde. Das System muss so konstruiert werden, dass es für jede mögliche Auswahl funktioniert. Nach Shannon schematischer Darstellung besteht ein idealisiertes  Kommunikationssystem aus Sender, Nachricht und Empfänger. Nimmt man an, der Sender übermittelt eine Folge von Zeichen  z1, z2, . . , an aus einem endlichen Vorrat von n Zeichen, die mit Wahrscheinlichkeiten p1, p2, . . . , pn auftreten an einen Empfänger. Für eine erfolgreiche Übertragung, muss die  Zeichenfolge vom Sender codiert und vom Empfänger decodiert werden, dabei ist die Übertragung üblicherweise Störungen ausgesetzt. Möglicherweise contra-intuitiv ist das Zeichen, welches am sichersten vorkommt, den höchsten Neuigkeitenwert. Der Neuigkeitswert eines einzelnen Zeichens a<sub>i</sub> aus n möglichen Zeichen ist H<sub>i</sub><sup>(n)</sup> = log p<sub>i</sub>.  In formaler Übereinstimmung mit der Entropie der Statischen Thermodynamik von Boltzmannwird wird von Shannon und Weaver das Maß zur Mittelwertbidlung als Entropie bezeichnet.  H(<sup>n)</sup>(p1,p2,...,pn) =Σ<sup>n</sup><sub>i=1</sub>p<sub>i</sub>H<sub>i</sub><sup>(n)</sup> =Σ <sup>N</sup><sub>− i</sub> p<sub>i</sub>log p<sub>i</sub>. Die Entropie ist damit ein Maß für künftige information.
+[[File:Entropy InformationInSign2.png|Entropy Informationsgehalt eines Zeichens © Akribix |miniatur]]
-Stark vereinfacht und in konkreter Anwendung,lässt sich mit der Shannon Entropie sagen: wie groß ist die geringste Anzahl an Bits, die ich benötige um eine Nachricht erfolgreich zu übertragen.
 '''Medienwissenschaftliche Perspektive'''
 -------------
-Thermodynamischer Zeitpfeil, Un-Zeit der Information: Boltzmann- vs. Shannon-Entropie
+In der Informationstheorie ist Entropie das Maß für den mittleren Informationsgehalt einer Nachricht.  Dies ist besonders in Hinblick auf technische Anwendungen bei der Übertragung von Nachrichtenflüssen relevant. Hierdurch werden Probleme der Codierung, Redundanz, Übertragungsgenauigkeit, Kanalkapazität usw. untersucht. In der Informationstheorie von Shannon wird Information auf den Aspekt des „Neuigkeitswertes“  eingeengt. Dieser Wert hängt mit der Eintrittswahrscheinlichkeit zusammen, semantische Zusammenhänge oder Relationen zu bestimmten Größen oder Systemen werden ignoriert. Es geht darum, dass eine Nachricht aus einem bestimmten Vorrat von Zeichen eindeutig codiert wird. Das System muss so konstruiert werden, dass es für jede mögliche Auswahl funktioniert. Nach Shannons schematischer Darstellung besteht ein idealisiertes Kommunikationssystem (siehe auch [[Echtzeit]]) aus Sender, Nachricht und Empfänger. Nimmt man an, der Sender übermittelt eine Folge von Zeichen  z<sub>1</sub>, z<sub>2</sub>, . . , z<sub>n</sub> aus einem endlichen Vorrat von n Zeichen, die mit Wahrscheinlichkeiten p<sub>1</sub>, p<sub>2</sub>, . . . , p<sub>n</sub> auftreten, an einen Empfänger. Für eine erfolgreiche Übertragung, muss die  Zeichenfolge vom Sender codiert und vom Empfänger decodiert werden, dabei ist die Übertragung üblicherweise Störungen ausgesetzt. Möglicherweise contra-intuitiv hat das Zeichen, welches am unsichersten vorkommt, den höchsten Neuigkeitenwert. In formaler Übereinstimmung mit der Berechnung der Entropie der Thermodynamik von Boltzmann wird von Shannon und Weaver das Maß zur Mittelwertbildung als Entropie bezeichnet. Die Entropie ist damit ein Maß für künftige Information.
-'''Artefakte'''
+Stark vereinfacht und in konkreter Anwendung als Nachrichtenkommunikation lässt sich mit der Shannon-Entropie sagen: Wie groß ist die geringste Anzahl an Bits, die ich benötige um eine Nachricht erfolgreich und eindeutig zu übertragen.
--------------
+Die Shannon-Entropie ist allgemeiner als die thermodynamische Entropie und muss nicht dem zweiten Hauptsatz der Thermodynamik genügen.
 '''Weiterführendes'''
 -------------
+Peter C. Hägele, Was hat Entropie mit Information zu tun, http://www.uni-ulm.de/~phaegele/Vorlesung/Grundlagen_II/_information.pdf (Zuletzt aufgerufen 21.10.2017)
-'''Textverweise'''
+C. E. Shannon, A mathematical theory of communication, ACM SIGMOBILE Mobile Computing and Communications Review 5, Nr. 1 (2001): 3–55 (Zuletzt aufgerufen 21.10.2017)
--------------
-(nur einfügen, wenn man Fußnoten im Text hat…. und dann nichts selbst runterschreiben)
+Kurt Schonhammer, Der Entropiebegriff in der Thermodynamik und der Statistischen Mechanik, http://num.math.uni-goettingen.de/schaback/info/inf/sitzungen/06_01_06_Schoenhammer.pdf (Zuletzt aufgerufen 21.10.2017)
+https://de.wikipedia.org/wiki/Entropie_(Informationstheorie)

Entropie: Unterschied zwischen den Versionen

Aus Zeitwörter

Aktuelle Version vom 8. November 2017, 17:57 Uhr