Theorem von Bayes/Beispiel: Spam Mail filtering: Unterschied zwischen den Versionen

Aus MM*Stat

Wechseln zu: Navigation, Suche
Zeile 56: Zeile 56:
  
 
betrachtet, da sich die totale Wahrscheinlichkeit hier rauskürzt. Man schaut also darauf wie viel wahrscheinlicher ist es, dass eine E-Mail mit dem Text ''Deutscher Strassenpenner...'' eine SPAM E-Mail ist im Verhältnis dazu sie keine SPAM E-Mail ist. <math>c</math> liegt meist in einem Bereich von 5 - 10.
 
betrachtet, da sich die totale Wahrscheinlichkeit hier rauskürzt. Man schaut also darauf wie viel wahrscheinlicher ist es, dass eine E-Mail mit dem Text ''Deutscher Strassenpenner...'' eine SPAM E-Mail ist im Verhältnis dazu sie keine SPAM E-Mail ist. <math>c</math> liegt meist in einem Bereich von 5 - 10.
 +
 +
=== Problem: Wahrscheinlichkeit des E-Mail Textes ===
 +
 +
Die Wahrscheinlichkeit, dass der gesamte E-Mail Text so auftritt ist jedoch sehr gering. Um diese Problem zu umgehen wird angenommen, dass eine (bedingte) Unabhängigkeit der Worte gilt, also:
 +
 +
<br><br>
 +
<math>
 +
P(Deutscher\text{ }Strassenpenner...|SPAM) = P(Deutscher|SPAM)\cdot P(Strassenpenner|SPAM)\cdot ...
 +
</math>
 +
<br><br>
 +
bzw.
 +
<br><br>
 +
<math>
 +
P(Deutscher\text{ }Strassenpenner...|\overline{SPAM}) = P(Deutscher|\overline{SPAM})\cdot P(Strassenpenner|\overline{SPAM})\cdot ...
 +
</math>
 +
<br><br>
 +
 +
Die Wahrscheinlichkeit, dass dieser Text als SPAM E-Mail auftritt, wird zurückgeführt auf die Wahrscheinlichkeit das jedes der Einzelworte in einer SPAM E-Mail auftritt.
 +
 +
Damit haben wir alle Daten zusammen um den obigen Quotienten zu schätzen und nachzuschauen, ob er größer oder kleiner als <math>c</math> ist:
 +
 +
* Anhand der eingegangenen E-Mails und der E-Mails im Junk Ordner können wir <math>P(SPAM)</math> und <math>P(\overline{SPAM})</math> schätzen.
 +
* Anhand der Texte der E-Mails im Nicht-Junk-Ordnern und der E-Mails im Junk Ordner können wir für jedes Wort
 +
<math>P(Wort|SPAM)</math> und <math>P(Wort|\overline{SPAM})</math> schätzen.

Version vom 5. Juli 2020, 07:08 Uhr

Beispiel: E-Mail filtering

https://de.wikipedia.org/wiki/Satz_von_Bayes Jeder der E-Mail benutzt kennt das Problem: man erhält Tag für Tag Spam-Mails, die meist von der E-Mail-Software in den Junk Ordner verschoben wird. Eine Methode um Spam-Mails zu erkennen ist der Bayes-Filter.

Deutscher Strassenpenner wurde zum Superreichen mit einem Vermögen von 82.000.000 Euro (Mio. Euro) ...und das in nur einem Jahr!

Diese Geschichte ist erst paar Tage alt. Doch schon sehr viele TV-Sender berichteten darüber...

...

Für Anfänger hat er jetzt eine Webseite erstellt, die jedem ganz leicht zeigt wie er es gemacht hat und wie es geht!

1000 Mal möchte er dieses System kostenfrei weitergeben. Danach wird es 1499 Euro kosten. Es ist nur noch für 49 Interessenten kostenfrei erhältlich, danach wird die Seite offline genommen!

Bayes Filter

Der Bayes Filter berechnet die Wahrscheinlichkeit des Ereignisses SPAM = {E-Mail ist SPAM} anhand der Worte, die in der E-Mail verwendet werden.



Wird die totale Wahrscheinlichkeit



weiter aufgelöst, dann sieht man die Anwendung des Theorem von Bayes. Wäre jetzt



dann würde eine E-Mail als SPAM Mail klassifiziert und in den Junk Ordner verschoben statt in die Inbox.

Problem: Totale Wahrscheinlichkeit

Um sich die Berechnung der totalen Wahrscheinlichkeit zu ersparen wird stattdessen



betrachtet, da sich die totale Wahrscheinlichkeit hier rauskürzt. Man schaut also darauf wie viel wahrscheinlicher ist es, dass eine E-Mail mit dem Text Deutscher Strassenpenner... eine SPAM E-Mail ist im Verhältnis dazu sie keine SPAM E-Mail ist. liegt meist in einem Bereich von 5 - 10.

Problem: Wahrscheinlichkeit des E-Mail Textes

Die Wahrscheinlichkeit, dass der gesamte E-Mail Text so auftritt ist jedoch sehr gering. Um diese Problem zu umgehen wird angenommen, dass eine (bedingte) Unabhängigkeit der Worte gilt, also:





bzw.



Die Wahrscheinlichkeit, dass dieser Text als SPAM E-Mail auftritt, wird zurückgeführt auf die Wahrscheinlichkeit das jedes der Einzelworte in einer SPAM E-Mail auftritt.

Damit haben wir alle Daten zusammen um den obigen Quotienten zu schätzen und nachzuschauen, ob er größer oder kleiner als ist:

  • Anhand der eingegangenen E-Mails und der E-Mails im Junk Ordner können wir und schätzen.
  • Anhand der Texte der E-Mails im Nicht-Junk-Ordnern und der E-Mails im Junk Ordner können wir für jedes Wort

und schätzen.