Expected Value & Variance & Covariance



| Expected Value

  • Discrete Case: $\mathsf {E(x)= \sum x_{i} \cdot P(X=x_{i})}$        
  • Continuous Case: $\mathsf {E(x)= \int_{-\infty}^{\infty} x \cdot f(x)dx }$ 
  • Properties   (a, b $ \in \mathbb{R}$)  
       If X$\geq$ 0, then E(X)$\geq$ 0         
       Proof 
       $\mathsf { E(X)=\sum_{x}x\cdot P(X=x)=\sum_{x>0} x\cdot P(X=x)\geq \sum_{x>0} 0 \cdot P(X=x)=0}$               
 
       E(aX) = a E(X) 
       Proof
       $\mathsf {E(aX)=\sum _{x}a\cdot x \cdot P(X=x)=a \sum_{x} x \cdot P(X=x)=a \cdot E(x) }$ 

        E(X+Y) = E(X) + E(Y)


| Variance
  • $\mathsf{ Var= E(X^2)- E(X)^2 }$ 
     Proof 
      $\mathsf{Var= E[x- E(x)^2] = E[(x- \mu)^2)]= \sum_{x} (x_{i}-\mu)^2 \cdot P(X=x)}$ 
            $\mathsf{= \sum_{x}(x^2 - 2\mu x + \mu^2) \cdot P(X=x)} $
            $\mathsf{ = \sum_{x}x^2\cdot P(X=x)-2\mu \cdot \sum_{x}x\cdot P(X=x)+ \mu^2 \sum_{x}P(X=x)}$ 
            $\mathsf{=E(x^2)-2\mu^2+\mu^2 = E(x^2)-\mu^2 = E(x^2)-E(x)^2}$ 

  • Properties   (a, b $ \in \mathbb{R}$)  
        Var(a)=0  (All values are same, then there is no variance) 

        Var (aX+b)= $a^2 \cdot$Var(x)
        Proof 
        From $\mathsf {E(aX+b)=aE(X)+b}$, and $\mathsf {E[(aX+b)^2]=a^2E(X^2)+2abE(X)+b^2}$ 
        $\mathsf {Var(aX+b)=E[(aX+b)^2]-[E(aX+b)]^2}$ 
                         $\mathsf {=a^2E(X^2)+2abE(X)+b^2-[aE(X)+b]^2}$ 
                         $\mathsf {=a^2E(X^2)+2abE(X)+b^2-[a^2(E(X))^2+2abE(X)+b^2]}$ 
                         $\mathsf {=a^2[E(X^2)-E(X)^2]=a^2\cdot Var(X)}$   
 
        Var(X+Y)= Var(X)+Var(Y)+ 2Cov(X,Y)
        Proof
        From $\mathsf {E(X+Y)=E(X)+E(Y)}$, and $\mathsf {E[(X+Y)^2]=E(X^2)+2E(XY)+E(Y^2)}$ 
        $\mathsf {Var(X+Y)=E[(X+Y)^2]-[E(X+Y)]^2}$
                          $\mathsf {=E(X^2)+E(Y^2)+2E(XY)-[ (E(X))^2 + (E(Y))^2 +2E(X)E(Y)] }$ 
                          $\mathsf {=E(X^2)-(E(X))^2+E(Y^2)-(E(Y))^2+2 [E(XY)-E(X)E(Y)] }$ 
                          $\mathsf {=Var(X)+Var(Y)+2Cov(X,Y)}$ 

       Var(X+Y)= Var(X)+Var(Y), iff X and Y are uncorrelated



| Covariance
  • A measure of how much two random variables change together!
  • Cov(X,Y)=E{ [X-E(X)][Y-E(Y)] } = E(XY)-E(X)E(Y)
       

|If X and Y are independent, then 
  • P(X=x, Y=y)=P(X=x)P(Y=y)
  • E(XY)=E(X)E(Y), 
     Proof
      $\mathsf {E(XY)=\sum_{x,y}xy \cdot P(X=x,Y=y)= \sum_{x}\sum_{y}xy \cdot P(X=x)P(Y=y)}$        
      $\mathsf {=\sum_{x} x\cdot P(X=x) \cdot \sum_{y}y \cdot P(Y=y)=E(X)E(Y)}$ 
      
  •  Cov (X,Y)=0
      Proof
      E(XY)-E(X)E(Y)=E(X)E(Y)-E(X)E(Y)=0



No comments:

Post a Comment