Bases Formales de Computación Redes de...

Introduction

Bases Formales de ComputacionRedes de Bayes

Camilo Rueda 1

1Universidad Javeriana-Cali

PUJ 2008

Introduction Definitions

Razonamiento bajo incertidumbre

Incertidumbre:Cualidad o estado de serno conocido con claridad

Razonar (probabilısticamente) bajo incertidumbre:razonar con conocimiento incompleto de probabilidades:

logica probabilıstica

idear representacion de distribucion probabilısticacompleta de historias de estados:

redes de Bayes


Redes de Bayes

Razonamiento Bayesiano:

Inferencia probabilıstica basada en combinacionde informacion a priori con datos observados

Redes de Bayes:

Lenguaje grafico para especificardistribuciones probabilıticas complejasen razonamiento Bayesiano


Redes de Bayes: un ejemplo

Hay o no hay robo en la casa(esto no depende de otras cosas en el modelo)Hay o no hay terremoto(esto no depende de otras cosas en el modelo)La alarma puede dispararse por robo o por terremotoEl vecino hace una llamada basado en si oye la alarmael reporte del radio depende de si hubo un terremoto

Cuales son las rtelaciones causales?


Redes de Bayes: causalidad

Expresar causalidad

TerremotoRobo

Radio Alarma

Llamada


Especificar distribucion de probabilidad en RB

Probabilidades a priori de todo nodo raizProbs condicionales de nodos internos,dada toda combinacion de predecesores directos

TerremotoRobo

Radio Alarma

Llamada

t0 t1

0.995 0.005

P(T)

h0 h1

0.99 0.01

P(H)

r0 r1

0.99999 0.00001

P(R | T)

t0t1 0.65 0.35

l0 l1

0.95 0.05

P(L | A)

a0a1 0.3 0.7

a0 a1

0.999 0.001

P(A | H,T)

h0,t0h1,t1 0.7 0.3

0.2 0.8h1,t0h1,t1 0.05 0.95


Distribucion conjunta

distribucion conjunta:distribucion probabilıstica sobre todos los datos posibles

Si hay n variables, la DC requiere 2n valoresSean las variables: gripa(g), alergia(a), sinusitis(s),

g a s 0,027g a s 0,003g a s 0,162g a s 0,108g a s 0,014g a s 0,056g a s 0,0063g a s 0,6237


Definicion formal de Red de Bayes

una Red de Bayes B = (G, θ) sobre X1, . . .Xn es un grafo G enel que:

cada nodo Xi esta asociado con una tabla de probabilidadcondicional (TPC): P(Xi ,Padres(Xi))

TPC: distribucion sobre Xi para cada combinacion devalores de los padres de Xi

B representa la distribucion conjunta sobre X1 . . .Xnmediante la regla de la cadena para RB:

P(x1, . . . , xn) =∏

i P(xi | Padres(Xi))


Calculo de probabilidades a partir de DC

Sea la red de BayesG→ S ← A

y las TPC:

g 0,3g 0,7

a 0,1a 0,9

ga ga ga gas 0,9 0,6 0,2 0,01s 0,1 0,4 0,8 0,99

entonces:P(g, a, s) = P(g)P(a)P(s | g, a) = 0,3× 0,9× 0,6 = 0,162P(a | s,g) = P(a, s,g)/P(s,g)P(s,g) = P(g, a, s) + P(g,a, s)


Tipos de razonamiento

causal ( “hacia abajo”)de diagnostico o evidencial ( “hacia arriba”)cuales son las razones mas probables de una observacionintercausal ( “explicar descarte de hipotesis”)



causal ( “hacia abajo”)

probabilidad a priori de robo P(h) = 0,01probabilidad a priori de terremoto P(t) = 0,005probabilidad de que el vecino llame P(l) es 0,0568que tan confiable es el vecino en detectar robos (i.e.P(l | h)) ?

de diagnostico o evidencial ( “hacia arriba”)cuales son las razones mas probables de una observacionintercausal ( “explicar descarte de hipotesis”)



causal ( “hacia abajo”)de diagnostico o evidencial ( “hacia arriba”)cuales son las razones mas probables de una observacion

suponer que el vecino llamala probabilidad de robo sube P(h | l) = 0,325la probabilidad de terremoto tambien sube P(t | l) = 0,1034

intercausal ( “explicar descarte de hipotesis”)



causal ( “hacia abajo”)de diagnostico o evidencial ( “hacia arriba”)cuales son las razones mas probables de una observacionintercausal ( “explicar descarte de hipotesis”)supongamos que el radio reporta terremoto.Como afecta esto las creencias?

la probabilidad de terremoto sube sustancialmenteP(t | l , r) = 0,9993(mientras que P(t | l) = 0,021)la probabilidad de robo baja P(h | l , r) = 0,0268

robo y terremoto son independientes peroel reporte del radio explica la llamada


Reduccion de parametros en RB

Numero de parametros independientes para 5 variables es25 − 1 = 31En la RB hay 10 parametros independientes.que permite hacer esto?


Reduccion de parametros en RB

Numero de parametros independientes para 5 variables es25 − 1 = 31En la RB hay 10 parametros independientes.que permite hacer esto?

No toda distribucion es representable en RBSolo las que cumplen los supuestos de independencia condicional

La estructura de la RB permite identificar variablescondicionalmente independientes


Independencia condicional (2)

Como “fluye ” la influencia de variables en una RB?Cuando el observar el valor de X cambia nuestra creenciasobre el valor de Y?




Caso obvio: cuando X es padre de Y y tambien cuando Xes hijo de Y :

dos nodos directamente conectados estan correlacionados

cuando X es ancestro o descendiente de Y ?




Caso obvio: cuando X es padre de Y y tambien cuando Xes hijo de Y :

dos nodos directamente conectados estan correlacionados

cuando X es ancestro o descendiente de Y ? si.Cuando observamos robo, la probabilidad de alarma subepor consiguiente, tambien la de llamada


Independencia condicional: otros casos

si se dispara la alarma, la probabilidad de terremoto aumenta:P(t | a) > P(t)luego tambien sube la de reporte en el radio.



Nodos en camino de un arco hacia arriba y luego hacia abajoestan correlacionados




y en camino de uno hacia abajo y luego hacia arriba?p.ej. observar robo, cambia la probabilidad de terremoto?




Nodos en camino en forma de V , NO estan correlacionados.I(H,T | ∅)



si la alarma se dispara, la probabilidad de llamada aumenta:(P(l | a) > P(l))si ademas hubo un robo, cambia esto la probabilidad dellamada?



si la alarma se dispara, la probabilidad de llamada aumenta:(P(l | a) > P(l))si ademas hubo un robo, cambia esto la probabilidad dellamada? no!P(l | a,h) = P(l | a). O sea, I(H,L | A)



Nodos en camino de dependencia, pero con evidenciade nodos intermedios NO estan correlacionados

p.ej. H y L dado A, o tambien A y R dado T



Los nodos T y H son independientes. Pero, si se sabe A?



Los nodos T y H son independientes. Pero, si se sabe A? sevuelven dependientes!




Nodos en camino en forma de V , NO estan correlacionados.I(H,T | ∅)

Nodos en camino de dependencia, pero con evidenciade nodos intermedios NO estan correlacionados

p.ej. H y L dado A, o tambien A y R dado T

Nodos en camino en V , pero con evidencia de nodosintermedios (o de sucesores) se vuelven correlacionados


Caminos activos

caminos activos implican correlacion (de X con Y )

X Z Y

Caso 1: activo ssi Z no es 1

X Z Y


X Z Y


X Z Y

Caso 4: activo ssi Z o uno de sus descendientes es 1


Camino activo: definicion general

Un camino X1, . . . ,Xn es activo dado Z sicuando existe el camino Xi−1 → Xi ← Xi + 1, entonces Xio uno de sus descendientes esta en Zningun otro nodo en el camino esta en Z

Dos nodos X , Y estan d−separados dado Zsi no hay caminos activos entre ellos.

Cuando X , Y estan d−separados dado Zentonces I(X ,Y | Z )


Inferencia en RB

A→ B:P(B) = P(a)P(B | a) + P(a)P(B | a)en general: P(B) =

∑A P(A)P(B | A)

(componentes en TPC)A→ B → C:P(c) =

∑b P(b)P(c | b) (valido ssi I(A,C | B))

(componentes en TPC o ya calculados)generalizable a cualquier cadena

Complejidad para n variables y tablas de k valores: O(nk2)


Algoritmo de Inferencia en RB: la idea

Por que no es necesario calcular toda probabilidad conjunta?

p(d) =∑

a,b,c P(a,b, c,d)

=∑

a,b,c P(a)P(b | a)P(c | b)P(d | c)

=∑

a∑

b∑

c P(a)P(b | a)P(c | b)P(d | c)

=∑

c∑

b∑

a P(a)P(b | a)P(c | b)P(d | c)

=∑

c P(d | c)∑

b P(c | b)∑

a P(a)P(b | a)


Algoritmo de Inferencia en RB: eliminacion devariables

el algoritmo opera sobre factores o tablasfactor f sobre Y1, . . . ,Yn: funcion f (Y1, . . . ,Yn) ∈ Rfactores pueden sumarse y multiplicarse



el algoritmo opera sobre factores o tablasfactor f sobre Y1, . . . ,Yn: funcion f (Y1, . . . ,Yn) ∈ Rejemplo:

una DC P(H,T ,A,R,L) es factor sobre H,T ,A,R,Luna TPC P(A | H,T ) es factor sobre H,T

factores pueden sumarse y multiplicarse



el algoritmo opera sobre factores o tablasfactor f sobre Y1, . . . ,Yn: funcion f (Y1, . . . ,Yn) ∈ Rejemplo:

una DC P(H,T ,A,R,L) es factor sobre H,T ,A,R,Luna TPC P(A | H,T ) es factor sobre H,T

factores pueden sumarse y multiplicarsef ′(C,L,R) = f1(C)× f2(L,C)× f3(R,C)equivalente a P(C,L,R) = P(C)P(L | C)P(R | C)f ′′(L,R) =

∑C f ′(C,L,R))

equivalente a P(l , r) =∑

c P(c, l , r)


Algoritmo de eliminacion de variables

procedure eliminar-variables(Grafo sobre X1, . . . ,Xn, // estructura de la RBP(Xi | padres(Xi)), // TPC de nodos RBY1, . . . ,Yk // variables de query)Sea F el conjunto de factores {P(Xi | padres(Xi)) : i = 1 . . . n}Sea {Z1, . . . ,Zm} = X− Ypara i = 1, . . . ,m

Extraiga de F todo factor f1, . . . , fr que mencione a ZiSea f ′ =

∏j fj

sea f ′′ =∑

Zif ′

Inserte f ′′ en Fretorne(

∏f∈F f )


Algoritmo: un ejemplo

fumar

tuberculosiscancer pulmón

Visita Asia

rayos X dispnea

anormalidaden el pecho

bronquitis

V F

T

C

B

D

A

X

Bases Formales de Computación Redes de...

Documents

Transcript of Bases Formales de Computación Redes de...