ML VII Modelos gráficos probabilísticos, Redes Bayesianas

Bueno, hasta ahora hemos visto 101 diapositivas en 5 artículos, lo cual indica mas o menos 20 diapositivas por artículo, espero sus comentarios para saber si quieren más resumido o más extenso el contenido.

La probabilidad nos ha acompañado al largo de todo el curso mediante fórmulas pero una forma de representarla es también gráficamente.

Una gráfica de modelo probabilístico es una representación esquemática de una distribución de probabilidad. 

En un modelo gráfico, las variables aleatorias se representan como nodos y las dependencias estadísticas se representan utilizando los enlaces entre los nodos. 

El gráfico resultante puede tener las siguientes propiedades: 

• Cíclico / Acíclico 

• Dirigida / No Dirigido 

• Los gráficos más simples son los gráficos acíclicos dirigidos(DAG).

Ejemplo:
Dado 3 variables aleatorias, y su probabilidad conjunta: p(a,b,c)=p(c|a,b)p(a,b)=p(c|a,b)p(b|a)p(a)

Redes Bayesianas

Un modelo basado en DAG es una red bayesiana.

En general con K variables aleatorias se podría tener una distribución conjunta de probabilidad: 

p(x1,...,xK)=p(xK|x1,..xK-1)....p(x2|x1)p(x1)

Esto lleva a un gráfico completamente conectado. 

• Nota: El orden de los nodos en un gráfico totalmente conectado es arbitrario. 

Todos ellos representan la distribución de probabilidad conjunta:

p(a,b,c)=p(a|b,c)p(b|c)p(c)

p(a,b,c)=p(b|a,c)p(a|c)p(c)

...

etc

La independencia estadística se puede representar por la ausencia de bordes. Esto hace los cálculos eficientes.

Recordemos (son 4 meses de demora ;-D): Dos variables son independientes si  

 Y por tanto al usar el teorema de Bayes:

Además dos variables con condicionalmente independientes si:

 Que es equivalente a:

Cos estos conceptos en cuenta veamos unos ejemplos usando gráficos:

Ejemplo 1

El siguiente gráfico representa :

 Al marginalizar a c:

Se tiene que a y b no son independientes.

Si suponemos que se conoce c, se tiene lo siguiente:

Por tanto a y  b, son condicionalmente independientes con respecto a c, y se dice que c es un nodo cola a cola (tail-to-tail node) en el trayecto entre a y b.  

 Ejemplo 2

El siguiente dibujo representa:

Al marginalizar a c:

 Se tiene que a y b no son independientes.

 Si suponemos que se conoce c, se tiene lo siguiente:

Por tanto de nuevo a y b son condicionalmente independientes con respecto a c. Y a c se le llama nodo de cabeSe tiene que a y b no son independientes.

Siguiendo el mismo procedimiento marginalizando c se tiene que a es independiente de b.

Si se concidera que se conoce c:

Se tiene que a y b no son condicionalmente independientes de c. Además a c se le conoce como nodo cabeza a cabeza (head-to-head node).

Con estos ejemplos es claro ver como con los enlaces entre nodos y la dirección entre ellos, además de saber si el nodo intermedio corresponde a una variable conocida o no, se puede saber si existe o no independencia entre las variables.