Grundbegriffe
Erwartungswert
Der Erwartungswert einer Zufallsvariablen X {\displaystyle X} , symbolisiert mit E [ X ] {\displaystyle E[X]} oder μ {\displaystyle \mu } , ist das stochastische Pendant zum arithmetischen Mittel einer empirischen Häufigkeitsverteilung .
Er ist derjenige Wert der Zufallsvariablen , dessen Eintreffen vor der Durchführung des Zufallsexperimentes im Mittel zu erwarten ist.
Wenn das Zufallsexperiment sehr oft wiederholt wird, ist E [ X ] {\displaystyle E[X]} der Wert, der bei einer großen Zahl von x {\displaystyle x} -Werten als Durchschnitt zu "erwarten" ist.
Erwartungswert einer diskreten Zufallsvariable
Sei X {\displaystyle X} eine diskrete Zufallsvariable mit den Realisationen x i {\displaystyle x_{i}} und der zugehörigen Wahrscheinlichkeitsfunktion f ( x i ) {\displaystyle f(x_{i})} .
Dann ist der Erwartungswert der Zufallsvariablen X {\displaystyle X} bzw. der Verteilung von X {\displaystyle X} gegeben durch
E [ X ] = μ = ∑ i x i ⋅ f ( x i ) {\displaystyle \,E[X]=\mu =\sum \nolimits _{i}x_{i}\cdot f(x_{i})}
Seien X {\displaystyle X} und Y {\displaystyle Y} zwei diskrete Zufallsvariablen mit den Realisationen x i , y j {\displaystyle x_{i},y_{j}} und der zugehörigen zweidimensionalen Wahrscheinlichkeitsfunktion f ( x i , y j ) {\displaystyle f(x_{i},y_{j})} .
Dann sind die Erwartungswerte der Randverteilungen von X {\displaystyle X} und Y {\displaystyle Y} gegeben durch
E [ X ] = ∑ i ∑ j x i ⋅ f ( x i , y j ) = ∑ i x i ⋅ ∑ j f ( x i , y j ) = ∑ i x i ⋅ f ( x i ) {\displaystyle E[X]=\sum \nolimits _{i}\sum \nolimits _{j}x_{i}\cdot f(x_{i},y_{j})=\sum \nolimits _{i}x_{i}\cdot \sum \nolimits _{j}f(x_{i},y_{j})=\sum \nolimits _{i}x_{i}\cdot f(x_{i})}
E [ Y ] = ∑ j ∑ i y j ⋅ f ( x i , y j ) = ∑ j y j ⋅ ∑ i f ( x i , y j ) = ∑ j y j ⋅ f ( y j ) {\displaystyle E[Y]=\sum \nolimits _{j}\sum \nolimits _{i}y_{j}\cdot f(x_{i},y_{j})=\sum \nolimits _{j}y_{j}\cdot \sum \nolimits _{i}f(x_{i},y_{j})=\sum \nolimits _{j}y_{j}\cdot f(y_{j})}
Seien X {\displaystyle X} und Y {\displaystyle Y} zwei diskrete Zufallsvariablen mit den Realisationen x i , y j {\displaystyle x_{i},y_{j}} und den zugehörigen bedingten Verteilungen f ( x i | y j ) {\displaystyle f(x_{i}|y_{j})} und f ( y j | x i ) {\displaystyle f(y_{j}|x_{i})} .
Dann sind die Erwartungswerte der bedingten Verteilungen von X {\displaystyle X} und Y {\displaystyle Y} gegeben durch
E [ X | y j ] = ∑ i x i ⋅ f ( x i | y j ) {\displaystyle E[X|y_{j}]=\sum \nolimits _{i}x_{i}\cdot f(x_{i}|y_{j})}
E [ Y | x i ] = ∑ j y j ⋅ f ( y j | x i ) {\displaystyle E[Y|x_{i}]=\sum \nolimits _{j}y_{j}\cdot f(y_{j}|x_{i})}
Erwartungswert einer stetigen Zufallsvariable
Sei X {\displaystyle X} eine stetige Zufallsvariable mit den Realisationen x {\displaystyle x} und der zugehörigen Dichtefunktion f ( x ) {\displaystyle f(x)} .
Dann ist der Erwartungswert der Zufallsvariablen X {\displaystyle X} bzw. der Verteilung von X {\displaystyle X} gegeben durch
E [ X ] = μ = ∫ − ∞ + ∞ x ⋅ f ( x ) d x {\displaystyle E[X]=\mu =\int \nolimits _{-\infty }^{+\infty }x\cdot f(x)\,dx}
Seien X {\displaystyle X} und Y {\displaystyle Y} zwei stetige Zufallsvariablen mit den Realisationen x , y {\displaystyle x,y} und der zugehörigen zweidimensionalen Dichtefunktion f ( x , y ) {\displaystyle f(x,y)} .
Dann sind die Erwartungswerte der Randverteilungen von X {\displaystyle X} und Y {\displaystyle Y} gegeben durch
E [ X ] = ∫ − ∞ + ∞ ∫ − ∞ + ∞ x ⋅ f ( x , y ) d x d y = ∫ − ∞ + ∞ x ( ∫ − ∞ + ∞ f ( x , y ) d y ) d x = ∫ − ∞ + ∞ x ⋅ f ( x ) d x {\displaystyle E[X]=\int _{-\infty }^{+\infty }\int _{-\infty }^{+\infty }x\cdot f(x,y)\,dx\,dy=\int _{-\infty }^{+\infty }x\left(\int _{-\infty }^{+\infty }f(x,y)\,dy\right)\,dx=\int _{-\infty }^{+\infty }x\cdot f(x)\,dx}
E [ Y ] = ∫ − ∞ + ∞ ∫ − ∞ + ∞ y ⋅ f ( x , y ) d x d y = ∫ − ∞ + ∞ y ( ∫ − ∞ + ∞ f ( x , y ) d x ) d y = ∫ − ∞ + ∞ y ⋅ f ( y ) d y {\displaystyle E[Y]=\int _{-\infty }^{+\infty }\int _{-\infty }^{+\infty }y\cdot f(x,y)\,dx\,dy=\int _{-\infty }^{+\infty }y\left(\int _{-\infty }^{+\infty }f(x,y)\,dx\right)\,dy=\int _{-\infty }^{+\infty }y\cdot f(y)\,dy}
Seien X {\displaystyle X} und Y {\displaystyle Y} zwei stetige Zufallsvariablen mit den Realisationen x , y {\displaystyle x,y} und den zugehörigen bedingten Verteilungen f ( x | y ) {\displaystyle f(x|y)} und f ( y | x ) {\displaystyle f(y|x)} .
Dann sind die Erwartungswerte der bedingten Verteilungen von X {\displaystyle X} und Y {\displaystyle Y} gegeben durch
E [ X | y ] = ∫ − ∞ + ∞ x ⋅ f ( x | y ) d x {\displaystyle E[X|y]=\int _{-\infty }^{+\infty }x\cdot f(x|y)\,dx\,}
E [ Y | x ] = ∫ − ∞ + ∞ y ⋅ f ( y | x ) d x {\displaystyle E[Y|x]=\int _{-\infty }^{+\infty }y\cdot f(y|x)\,dx}
Varianz
Die Varianz , symbolisiert mit V a r ( X ) {\displaystyle Var(X)} oder σ 2 {\displaystyle \sigma ^{2}} , ist im allgemeinen als Erwartungswert der quadrierten Abweichungen der Zufallsvariablen von ihrem Erwartungswert definiert:
V a r ( X ) = = E [ ( X − E [ X ] ) 2 ] = E [ X 2 − 2 ⋅ X ⋅ E [ X ] + E [ X ] 2 ] = E [ X 2 ] − E [ 2 ⋅ X ⋅ E [ X ] ] + E [ E [ X ] 2 ] = E [ X 2 ] − 2 ⋅ E [ X ] ⋅ E [ X ] + E [ X ] 2 = E [ X 2 ] − E [ X ] 2 . {\displaystyle {\begin{aligned}Var(X)=&=E\left[(X-E[X])^{2}\right]\\&=E\left[X^{2}-2\cdot X\cdot E[X]+E[X]^{2}\right]\\&=E\left[X^{2}\right]-E\left[2\cdot X\cdot E[X]\right]+E\left[E[X]^{2}\right]\\&=E\left[X^{2}\right]-2\cdot E[X]\cdot E[X]+E[X]^{2}\\&=E\left[X^{2}\right]-E\left[X\right]^{2}.\end{aligned}}}
Varianz einer diskreten Zufallsvariable
Sei X {\displaystyle X} eine diskrete Zufallsvariable mit den Realisationen x i {\displaystyle x_{i}} und der zugehörigen Wahrscheinlichkeitsfunktion f ( x i ) {\displaystyle f(x_{i})} .
Dann ist die Varianz der Zufallsvariablen X {\displaystyle X} bzw. der Verteilung von X {\displaystyle X} gegeben durch
V a r ( X ) = σ 2 = ∑ i ( x i − E [ X ] ) 2 ⋅ f ( x i ) = ∑ i x i 2 ⋅ f ( x i ) − ( E [ X ] ) 2 {\displaystyle Var(X)=\sigma ^{2}=\sum \nolimits _{i}(x_{i}-E[X])^{2}\cdot f(x_{i})=\sum \nolimits _{i}x_{i}^{2}\cdot f(x_{i})-(E[X])^{2}}
Seien X {\displaystyle X} und Y {\displaystyle Y} zwei diskrete Zufallsvariablen mit den Realisationen x i , y j {\displaystyle x_{i},y_{j}} und der zugehörigen zweidimensionalen Wahrscheinlichkeitsfunktion f ( x i , y j ) {\displaystyle f(x_{i},y_{j})} .
Dann sind die Varianzen der Randverteilungen von X {\displaystyle X} und Y {\displaystyle Y} gegeben durch
V a r ( X ) = E [ ( X − E [ X ] ) 2 ] = ∑ i ∑ j ( x i − E [ X ] ) 2 ⋅ f ( x i , y j ) = ∑ i ( x i − E [ X ] ) 2 ⋅ ∑ j f ( x i , y j ) = ∑ i ( x i − E [ X ] ) 2 ⋅ f ( x i ) = ∑ i x i 2 ⋅ f ( x i ) − ( E [ X ] ) 2 {\displaystyle Var(X)=E[(X-E[X])^{2}]=\sum \nolimits _{i}\sum \nolimits _{j}(x_{i}-E[X])^{2}\cdot f(x_{i},y_{j})=\sum \nolimits _{i}(x_{i}-E[X])^{2}\cdot \sum \nolimits _{j}f(x_{i},y_{j})=\sum \nolimits _{i}(x_{i}-E[X])^{2}\cdot f(x_{i})=\sum \nolimits _{i}x_{i}^{2}\cdot f(x_{i})-(E[X])^{2}}
V a r ( Y ) = E [ ( Y − E [ Y ] ) 2 ] = ∑ j ∑ i ( y j − E [ Y ] ) 2 ⋅ f ( x i , y j ) = ∑ j ( y j − E [ Y ] ) 2 ⋅ ∑ i f ( x i , y j ) = ∑ j ( y j − E [ Y ] ) 2 ⋅ f ( y j ) = ∑ j y j 2 ⋅ f ( y j ) − ( E [ Y ] ) 2 {\displaystyle Var(Y)=E[(Y-E[Y])^{2}]=\sum \nolimits _{j}\sum \nolimits _{i}(y_{j}-E[Y])^{2}\cdot f(x_{i},y_{j})=\sum \nolimits _{j}(y_{j}-E[Y])^{2}\cdot \sum \nolimits _{i}f(x_{i},y_{j})=\sum \nolimits _{j}(y_{j}-E[Y])^{2}\cdot f(y_{j})=\sum \nolimits _{j}y_{j}^{2}\cdot f(y_{j})-(E[Y])^{2}}
Seien X {\displaystyle X} und Y {\displaystyle Y} zwei diskrete Zufallsvariablen mit den Realisationen x i , y j {\displaystyle x_{i},y_{j}} und den zugehörigen bedingten Verteilungen f ( x i | y j ) {\displaystyle f(x_{i}|y_{j})} und f ( y j | x i ) {\displaystyle f(y_{j}|x_{i})} .
Dann sind die Varianzen der bedingten Verteilungen von X {\displaystyle X} und Y {\displaystyle Y} gegeben durch
V a r ( X | y j ) = ∑ i ( x i − E [ X | y j ] ) 2 ⋅ f ( x i | y j ) = ∑ i x i 2 ⋅ f ( x i | y j ) − ( E [ X | y j ] ) 2 {\displaystyle Var(X|y_{j})=\sum \nolimits _{i}(x_{i}-E[X|y_{j}])^{2}\cdot f(x_{i}|y_{j})=\sum \nolimits _{i}x_{i}^{2}\cdot f(x_{i}|y_{j})-(E[X|y_{j}])^{2}}
V a r ( Y | x i ) = ∑ j ( y j − E [ Y | x i ] ) 2 ⋅ f ( y j | x i ) = ∑ j y j 2 ⋅ f ( y j | x i ) − ( E [ Y | x i ] ) 2 {\displaystyle Var(Y|x_{i})=\sum \nolimits _{j}(y_{j}-E[Y|x_{i}])^{2}\cdot f(y_{j}|x_{i})=\sum \nolimits _{j}y_{j}^{2}\cdot f(y_{j}|x_{i})-(E[Y|x_{i}])^{2}}
Varianz einer stetigen Zufallsvariable
Sei X {\displaystyle X} eine stetige Zufallsvariable mit den Realisationen x {\displaystyle x} und der zugehörigen Dichtefunktion f ( x ) {\displaystyle f(x)} .
Dann ist die Varianz der Zufallsvariablen X {\displaystyle X} bzw. der Verteilung von X {\displaystyle X} gegeben durch
V a r ( X ) = σ 2 = ∫ − ∞ + ∞ ( x − E [ X ] ) 2 ⋅ f ( x ) d x = ∫ − ∞ + ∞ x 2 ⋅ f ( x ) d x − ( E [ X ] ) 2 {\displaystyle Var(X)=\sigma ^{2}=\int \nolimits _{-\infty }^{+\infty }(x-E[X])^{2}\cdot f(x)\,dx=\int \nolimits _{-\infty }^{+\infty }x^{2}\cdot f(x)\,dx-(E[X])^{2}}
Seien X {\displaystyle X} und Y {\displaystyle Y} zwei stetige Zufallsvariablen mit den Realisationen x , y {\displaystyle x,y} und der zugehörigen zweidimensionalen Dichtefunktion f ( x , y ) {\displaystyle f(x,y)} .
Dann sind die Varianzen der Randverteilungen von X {\displaystyle X} und Y {\displaystyle Y} gegeben durch
V a r ( X ) = ∫ − ∞ + ∞ ( x − E [ X ] ) 2 ⋅ f ( x ) d x = ∫ − ∞ + ∞ x 2 ⋅ f ( x ) d x − ( E [ X ] ) 2 {\displaystyle Var(X)=\int _{-\infty }^{+\infty }(x-E[X])^{2}\cdot f(x)\,dx=\int _{-\infty }^{+\infty }x^{2}\cdot f(x)\,dx-(E[X])^{2}}
V a r ( Y ) = ∫ − ∞ + ∞ ( y − E [ Y ] ) 2 ⋅ f ( y ) d y = ∫ − ∞ + ∞ y 2 ⋅ f ( y ) d y − ( E [ Y ] ) 2 {\displaystyle Var(Y)=\int _{-\infty }^{+\infty }(y-E[Y])^{2}\cdot f(y)\,dy=\int _{-\infty }^{+\infty }y^{2}\cdot f(y)\,dy-(E[Y])^{2}}
Seien X {\displaystyle X} und Y {\displaystyle Y} zwei stetige Zufallsvariablen mit den Realisationen x , y {\displaystyle x,y} und den zugehörigen bedingten Verteilungen f ( x | y ) {\displaystyle f(x|y)} und f ( y | x ) {\displaystyle f(y|x)} .
Dann sind die Varianzen der bedingten Verteilungen von X {\displaystyle X} und Y {\displaystyle Y} gegeben durch
V a r ( X | y ) = ∫ − ∞ + ∞ ( x − E [ X | y ] ) 2 ⋅ f ( x | y ) d x {\displaystyle Var(X|y)=\int _{-\infty }^{+\infty }(x-E[X|y])^{2}\cdot f(x|y)\,dx}
V a r ( Y | x ) = ∫ − ∞ + ∞ ( y − E [ Y | x ] ) 2 ⋅ f ( y | x ) d y {\displaystyle Var(Y|x)=\int _{-\infty }^{+\infty }(y-E[Y|x])^{2}\cdot f(y|x)\,dy}
Standardabweichung
Als Standardabweichung σ {\displaystyle \sigma } wird die Wurzel aus der Varianz bezeichnet, also
σ = V a r ( X ) = σ 2 {\displaystyle \sigma ={\sqrt {Var(X)}}={\sqrt {\sigma ^{2}}}} .
Sie ist ein Parameter, der die Streuung der Wahrscheinlichkeitsverteilung von X {\displaystyle X} beschreibt.
Ein großer Wert der Standardabweichung weist darauf hin, dass die Zufallsvariable X {\displaystyle X} Werte in einem großen Bereich um den Erwartungswert annehmen kann.
Ein kleiner Wert der Standardabweichung bedeutet, dass die Werte von X {\displaystyle X} hauptsächlich nahe am Erwartungswert liegen.
Standardisierung
Vielfach erweist sich eine Transformation, durch die sowohl eine Zentrierung als auch eine Normierung erreicht wird, als günstig.
Eine derart standardisierte Zufallsvariable Z {\displaystyle Z} ist definiert durch
Z = X − E [ X ] σ X {\displaystyle Z={\frac {X-E[X]}{\sigma _{X}}}}
Sie hat den Erwartungswert E [ Z ] = 0 {\displaystyle E[Z]=0} und die Varianz V a r ( Z ) = 1 {\displaystyle Var(Z)=1} .
Tschebyschev-Ungleichung
Die Tschebyschev-Ungleichung gibt eine Abschätzung für die Wahrscheinlichkeit an, dass die Zufallsvariable X {\displaystyle X} einen Wert innerhalb bzw. außerhalb eines zentralen Bereiches um den Erwartungswert annimmt.
Dafür ist nur die Kenntnis des Erwartungswertes und der Varianz von X {\displaystyle X} , jedoch nicht die Kenntnis der Verteilung von X {\displaystyle X} erforderlich.
Ausgegangen wird von einem zentralen Schwankungsintervall um μ {\displaystyle \mu } :
[ μ − k ⋅ σ ; μ + k ⋅ σ ] {\displaystyle [\mu -k\cdot \sigma ;\mu +k\cdot \sigma ]}
Definition:
Für eine Zufallsvariable X {\displaystyle X} mit Erwartungswert μ {\displaystyle \mu } und Varianz σ 2 {\displaystyle \sigma ^{2}} gilt bei beliebigem k > 0 {\displaystyle k>0}
P ( μ − k ⋅ σ ≤ X ≤ μ + k ⋅ σ ) ≥ 1 − 1 k 2 {\displaystyle P(\mu -k\cdot \sigma \leq X\leq \mu +k\cdot \sigma )\geq 1-{\frac {1}{k^{2}}}}
Für k ⋅ σ = a {\displaystyle k\cdot \sigma =a} , folgt
P ( μ − a ≤ X ≤ μ + a ) ≥ 1 − σ 2 k 2 {\displaystyle P(\mu -a\leq X\leq \mu +a)\geq 1-{\frac {\sigma ^{2}}{k^{2}}}}
Für das Komplementärereignis , dass die Zufallsvariable X {\displaystyle X} einen Wert außerhalb des k-fachen zentralen Schwankungsintervalls { | X − μ | > k ⋅ σ } {\displaystyle \{|X-\mu |>k\cdot \sigma \}} annimmt, gilt gemäß den Regeln der Wahrscheinlichkeitsrechnung :
P ( | X − μ | > k ⋅ σ ) < 1 / k 2 {\displaystyle P(|X-\mu |>k\cdot \sigma )<1/k^{2}}
bzw. für k ⋅ σ = a {\displaystyle k\cdot \sigma =a}
P ( | X − μ | > a ) ≤ σ 2 / a 2 . {\displaystyle P(|X-\mu |>a)\leq \sigma ^{2}/a^{2}{\mbox{.}}}
Die tatsächlichen Wahrscheinlichkeiten der Ereignisse { | X − μ | > k ⋅ σ } {\displaystyle \{|X-\mu |>k\cdot \sigma \}} und { | X − μ | ≤ k ⋅ σ } {\displaystyle \{|X-\mu |\leq k\cdot \sigma \}} hängen von der konkreten Verteilung von X {\displaystyle X} ab.
Zusatzinformationen
Erwartungswert von Linearkombinationen
Seien X {\displaystyle X} und Y {\displaystyle Y} zwei Zufallsvariablen mit den Erwartungswerten E [ X ] , E [ Y ] {\displaystyle E[X],E[Y]} und a , b {\displaystyle a,b} beliebig. Dann
gilt
für Y = a + b X {\displaystyle \,Y=a+bX}
E [ Y ] = E [ a + b X ] = a + b E [ X ] {\displaystyle \,E[Y]=E[a+bX]=a+bE[X]}
für Z = X + Y {\displaystyle \,Z=X+Y}
E [ Z ] = E [ X + Y ] = E [ X ] + E [ Y ] {\displaystyle \,E[Z]=E[X+Y]=E[X]+E[Y]}
E [ X ⋅ Y ] = E [ X ] ⋅ E [ Y ] {\displaystyle \,E[X\cdot Y]=E[X]\cdot E[Y]}
Varianz von Linearkombinationen
Seien X {\displaystyle X} und Y {\displaystyle Y} zwei Zufallsvariablen mit den Varianzen V a r ( X ) , V a r ( Y ) {\displaystyle Var(X),Var(Y)} und a , b {\displaystyle a,b} beliebige reelle Zahlen. Dann gilt:
für Y = a + b X {\displaystyle \,Y=a+bX}
V a r ( Y ) = V a r ( a + b X ) = b 2 ⋅ V a r ( X ) {\displaystyle \,Var(Y)=Var(a+bX)=b^{2}\cdot Var(X)}
V a r ( Z ) = V a r ( X ) + V a r ( Y ) {\displaystyle \,Var(Z)=Var(X)+Var(Y)}
σ Z = σ X + Y = σ X 2 + σ Y 2 {\displaystyle \sigma _{Z}=\sigma _{X+Y}={\sqrt {\sigma _{X}^{2}+\sigma _{Y}^{2}}}}
Linearkombinationen von Zufallsvariablen
Erwartungswerte und Varianzen von Linearkombinationen von Zufallsvariablen
Z {\displaystyle \,Z}
E [ Z ] {\displaystyle \,E[Z]}
V a r ( Z ) {\displaystyle \,Var(Z)}
a ⋅ X ± b ⋅ Y {\displaystyle a\cdot X\pm b\cdot Y}
a ⋅ E [ X ] ± b ⋅ E [ Y ] {\displaystyle a\cdot E[X]\pm b\cdot E[Y]}
a 2 ⋅ V a r ( X ) + b 2 ⋅ V a r ( Y ) ± 2 ⋅ a ⋅ b ⋅ C o v ( X , Y ) {\displaystyle a^{2}\cdot Var(X)+b^{2}\cdot Var(Y)\pm 2\cdot a\cdot b\cdot Cov(X,Y)}
X + Y ( a = b = 1 ) {\displaystyle X+Y\;(a=b=1)}
E [ X ] + E [ Y ] {\displaystyle \,E[X]+E[Y]}
V a r ( X ) + V a r ( Y ) + 2 ⋅ C o v ( X , Y ) {\displaystyle \,Var(X)+Var(Y)+2\cdot Cov(X,Y)}
X − Y ( a = 1 , b = − 1 ) {\displaystyle X-Y\;(a=1,\quad b=-1)}
E [ X ] − E [ Y ] {\displaystyle \,E[X]-E[Y]}
V a r ( X ) + V a r ( Y ) − 2 ⋅ C o v ( X , Y ) {\displaystyle \,Var(X)+Var(Y)-2\cdot Cov(X,Y)}
1 2 ⋅ ( X + Y ) ( a = b = 1 2 ) {\displaystyle {\frac {1}{2}}\cdot (X+Y)\;(a=b={\frac {1}{2}})}
1 2 ⋅ ( E [ X ] + E [ Y ] ) {\displaystyle \,{\frac {1}{2}}\cdot (E[X]+E[Y])}
1 4 ⋅ V a r ( X ) + 1 4 ⋅ V a r ( Y ) + 1 2 ⋅ C o v ( X , Y ) {\displaystyle \,{\frac {1}{4}}\cdot Var(X)+{\frac {1}{4}}\cdot Var(Y)+{\frac {1}{2}}\cdot Cov(X,Y)}