Agrupamiento local de grafos por computaci n local...Figura: Un grafo de “hombre de cueva”...

MotivacionMetodos espectrales de biparticion

Aproximacion local de los vectores FiedlerVectores Fiedler y tiempos de absorpcion

ConclusionesReferencias bibliograficas

Agrupamiento local de grafospor computacion local

Satu Elisa Schaeffer y Pekka Orponen

Posgrado en Ingenierıa de Sistemas de la UANLLaboratorio para la Teorıa de Computacion de la TKK, Finlandia

XL Congreso Nacional de la SMM, 2007

Satu Elisa Schaeffer y Pekka Orponen Agrupamiento local de grafos por computacion local




Redes complejasAgrupamiento de grafosAgrupamiento localCaminos aleatoriosTiempo de absorpcion

Redes complejas

redes naturales: caminos cortos y alta densidad local(pequeno mundo)[Watts y Strogatz(1998)]

redes libres de escala: grados y otras propiedades con“leyes de potencias”[Barabasi y Albert(1999), Faloutsos et al.(1999)]

numerosos modelos de redes naturales[Dorogovtsev y Mendes(2003), Newman(2003)]






Agrupamiento de grafos

Presencia de grupos o comunidades en grafos naturales[Newman y Girvan(2003)].

Caracterizacion tıpica: subgrafos inducidos densos conrelativamente pocas conexiones al resto del grafo[Kleinberg y Lawrence(2001)] =⇒ la mayorıa de las aristas delgrafo deberıan ser “internas” a los grupos.

La tarea de agrupamiento de grafos es identificar en un dadografo G = (V , E) tales grupos de vertices en V con respeto a larelacion de aristas E .






Ejemplo simplificado

Figura: Un grafo de “hombre de cueva” [Watts(1999)] compuesto deseis casi-camarillas de cinco vertices.






Ejemplo aleatorizado

Figura: La matriz de adyacencia de un grafo aleatorizado tipo“hombre de cueva” de 210 vertices y 1505 aristas.






Ejemplo ordenado por grupos

Figura: La matriz de adyacencia del mismo grafo aleatorizado con losvertices ordenados segun su “cueva”.






Agrupamiento local

En agrupamiento local, la meta es identificar el grupo a cualpertenece un dado vertice “semilla” s ∈ V [Schaeffer(2007)].

O sea, queremos una biparticion del grafo G a conjuntos S yV \ S tal que s ∈ S y que S cumpla con una definicion dada de“grupo”.






Ejemplo natural

Figura: Un grafo de colaboracion de 503 vertices.






Ejemplo natural: grupos

Figura: Tres grupos locales en el grafo de colaboracion.






Ejemplo natural: de cerca

Figura: Estructura de los tres grupos identificados.






Criterios de calidad

Criterios de calidad tıpicos para agrupamiento incluyen

capacidad del corte (S, V \ S)

medidas derivadas de ella, como la conductancia[Sıma y Schaeffer(2006)]

medidas de densidad [Schaeffer(2005)]

medidas motivadas por redes electricas[Wu y Huberman(2004), Orponen y Schaeffer(2005),Newman y Girvan(2004)]






Definiciones

por la mayor parte, estudiamos grafos simples no dirigidosno ponderados

denotamos el numero de vertices por n y etiquetamos losvertices con los enteros {1, 2, . . . , n}

la matriz de adyacencia de G es una matriz binaria A,donde ai ,j = 1 si y solo si (i , j) ∈ E ; en otro caso ai ,j = 0

grafos no dirigidos: A es simetrica






Definiciones

el grado dv es el numero de aristas incidentes a v

el vector d contiene las sumas de las filas de A

denotamos por D una matriz diagonal donde dii = di (conotros elementos en cero)

grafos dirigidos: distinguir entre grados de entrada y salida

grafos ponderados: sumar pesos

multigrafos: multiplicidades






Espectro de grafos

denotamos por I una matriz de identidad n × n

la matriz de Laplace de G es L = D − A

la matriz de Laplace normalizada de G es

L = I − D−12 AD−

12 = D−

12 LD−

12






Espectro de L

v(L)i es el vector propio derecho del valor propio λ

(L)i en L:

Lv(L)i = λ

(L)i v(L)

i .

Para L, todos los n valores propios estan en el rango [0, 2].

Mas informacion: [Biggs(1994)] y [Chung(1997)].

Grafos dirigidos: variantes de la matriz Laplace[Caughman y Veerman(2006), Chung(2005), Chung(2006)].






Una cadena de Markov

Un camino aleatorio asociado al grafo G es una cadena deMarkov donde cada vertice v ∈ V corresponde a un estado i .

La probabilidad de transicion del estado i a j es pi ,j = di−1 si y

solo si (i , j) ∈ E y cero en otro caso.

Grafos ponderados: el peso de la arista dividido por el pesototal de aristas incidentes a i .






Denotamos la matriz de transiciones por P = D−1A.

Aun para grafos no dirigidos, P no es necesariamentesimetrica.

Sin embargo, siempre es estocastica, por lo cual λ(P)1 = 1 y

todos los otros n − 1 valores propios tienen valor absolutomenor.






Estado semilla absorbente

Modificamos la cadena de Markov ası que es estado semilla ssea absorbente: P es igual a P, salvo que psi = 0 para i 6= s ypss = 1.

Una version simetrica P = D12 PD−

12 .

Aplica queL = D−

12 LD−

12 = I − D

12 PD−

12

︸︷︷︸

P

.






Matrices coespectrales

P y P tienen el mismo espectro:

Pv(P)i = λ

(P)i v(P)

i

D12 PD−

12 v(P)

i = λ(P)i v(P)

i

D−12 D

12 PD−

12 v(P)

i = D−12 λ

(P)i v(P)

i

IPD−12 v(P)

i = λ(P)i D−

12 v(P)

i

P(D−12 v(P)

i ) = λ(P)i (D−

12 v(P)

i )






Eliminacion

Denotamos con Q la matriz (n − 1) × (n − 1) obtenido de P poreliminar la fila de y la columna de s.

Hacemos que sean las primeras por etiquetar s a 1.

Resulta que la unica diferencia entre los espectros de P y Q esque Q no tiene el valor propio 1 (no es estocastica)[Langville y Meyer(2004)].

Lo mismo aplica para versiones normalizadas.






Tiempo de absorpcion

El tiempo de absorpcion mi de un estado i a s es el numeroesperado de pasos que tomara un camino iniciado en i antesde llegar a s por la primera vez.

Se puede calcular como sumas de filasmi = mi ,1 + m1,2 + . . . + mi ,n−1 de la matriz fundamental

M = I + Q + Q2 + Q3 + . . . = (I − Q)−1.






Proximidad

Intuitivamente, como el tiempo de absorpcion es en un sentidouna medida de “proximidad” del vertice i del vertice semilla s,vertices “cercanos” en S deberıan tener en promedio un tiempode absopcion menor que los vertices en V \ S.






Ejemplo

Figura: La matriz de los tiempos de absorpcion (cada vertice de lafigura 1 como la semilla). Blanco corresponde al maximo de los mi,j yel negro al mınimo (ademas de los ceros del diagonal).





Agrupamiento espectralVectores Fiedler

Biparticion espectral

Agrupamiento espectral de datos es un tema ampliamenteestudiado [Higham et al.(2007), Kannan et al.(2004)].

Para grafos, tıpicamente se utiliza el vector propio derecho deL asociada al valor propio mınimo para producir una biparticionde los vertices: los con valores negativos forman S y los convalores positivos S \ V .

Para el ejemplo de figura 1, tal biparticion siempre asignas cada doscuevas en positivo y cada dos en negativo. Sin embargo, el vectorpropio de L tiene un solo signo y no permite tal division intuitiva.






Agrupamiento espectral

En la presencia de dos grupos naturales, metodos debiparticion funcionan bien.

Agrupamiento global a k grupos: aplicacion recursiva conalguna condicion de terminacion para determinar cuando pararla division.

Si uno no quiere hacer una calculacion recursiva, tambien sepuede combinar informacion de los k primeros vectorespropios para identificar a k grupos.

Sin embargo, no es siempre obvio a priori que es el numerocorrecto de grupos.






El vector propio derecho asociado al valor propio mınimo de Les el vector Fiedler.

Si en vez de L utilizamos a L, es el vector Fiedler normalizadovf .

En general, hemos logrado grupos mas “evidentes” con L.






Relajacion de la biparticion

vf con semilla s ∈ V se encuentra atraves del cocienteRayleigh [Chung(1997), Chung y Ellis(2002)]:

σ = ınfv

∑

(j ,k)∈E

(v(j) − v(k))2

∑

j v(j)2 , (1)

donde el infimum se computa sobre los vectores v quesatisfacen la condicion de borde v(s) = 0.

Por esta conexion se demuestra porque funciona biparticionespectral — para explicacion, ver [Higham et al.(2007)].





Normalizacion

Empezamos con el cociente Rayleigh de ecuacion 1.

Podemos libremente normalizar el largo de vf .

Limitamos la minimizacion: ‖v‖22 = n = |V |.

La tarea: encontrar un v que satisface para un s ∈ V

vf = arg mın{

∑

(j ,k)∈E

(v(j) − v(k))2∣∣∣ v(s) = 0, ‖v‖2

2 = n}

.





Funcion objetivo

Esta tarea podemos resolver aproximadamente por reformularla normalizacion ‖v‖2

2 = n como una restriccion suave conpeso c > 0, minimizando la funcion objetivo

f (v) =12

∑

(j ,k)∈E

(

v(j) − v(k)

)2

+c2·

(

n −∑

j

v(j)2)

por el metodo del gradiente.





Derivadas parciales

Las derivadas parciales de f tienen una forma simple:

∂f∂v(j)

= −∑

(k ,j)∈E

v(k) + (dj − c) · v(j).





Computacion local

Por la forma de la derivada parcial, se puede computarlocalmente en cada vertice el paso de descenso en tiempot + 1 utilizando los valores del tiempo t , denotado por vt , delvertice mismo y de sus vecinos

vt+1(j) = vt(j) + δ ·

∑

(k ,j)∈E

v(k) − (dj − c) · v(j)

(2)

donde δ > 0 es el parametro de velocidad del descenso.





Inicio del descenso

Esperamos que el tamano natural del grupo de s sea pequenoen comparacion al tamano del grafo n.

La normalizacion ‖v‖22 = n asegura para mayorıa v(j) ≈ 1.

Empezamos el descenso (eq. 2) con un vector inicial v0 tal quev0(s) = 0 y v0(k) = 1 para todo k 6= s.

Los estimados se actualizan en el tiempo t > 0 solamente paralos vertices que tienen por lo menos un vecino k tal quevt−1(k) < 1.





Eleccion de parametros

La eleccion de los parametros

c (el peso de la restriccion suave) y

δ (la velocidad del descendo)

requiere de cuidado y necesita estudio.

Hemos obtenido resultados razonablemente estables con laheurıstica siguiente: dado un estimado k del grado promediodel grafo, asignamos c = 1/k y δ = c/10.





Condicion de terminacion: tolerancia

Continuamos la iteracion del metodo de gradiente (eq. 2) hastaque todos los cambios en los estimados de v esten debajo deε = δ/10.

Cuando aparecen valores negativos, el descensoesta demasiada rapida y lo reiniciamos con un delta menor.





Analisis del agrupamiento

Con los valores Fiedler aproximados, la tarea de agrupamientolocal se reduce a una tarea de 2-clasificacion clasicaunidimensional:

Separar los grupos S y V \ S de los valores.

Cualquier algoritmo estandar de clasificacion lo hara.





Aproximacion

Hemos derivado una expresion para los tiempos de absorptionmi en terminos de los vectores propios de L y despuesaproximarlos.

La forma por componentes es

mk ≈= 1 +λ1

1 − λ1· c

︸︷︷︸

constante

·(v1)k ,

donde c es un constante que depende de G y v1 resulta ser elvector Fiedler sin la posicion s.





La derivacion de la aproximacion de hecho nos permite haceraproximaciones mejores por utilizar mas informacion de losvectores propios.

Comparamos graficamente la aproximaxion por el vectorFiedler, aproximaciones mas exactas de cuatro niveles y lostiempos de absorpcion exactos (negro es cero y blanco es320).





Ejemplo

Figura: Desde arriba-izquiera: aproximacion Fiedler, cuatroaproximaciones por caminos (50/100/500/1000) y los valoresexactos.





Experimentos

Estamos ejecutando experimentos para estudiar las diferenciasdel uso de vectores Fiedles exactos y aproximados, tal comotiempos de absorpcion exactos y aproximados enagrupamiento local.

Nos interesa ademas de caracterizar cual da la mejor calidad,como escalan los metodos a grafos masivos.





Resumen

La informacion espectral de un grafo se puede aprovechar enidentuficar grupos de vertices estructuralmente “relacionados”.

Tal informacion tiene una fundacion matematica fuerte y variasexplicaciones naturales para se funcionamiento, tales comobiparticiones y tiempos de absorpcion.

Esta informacion se puede aproximar por computacion local,que permite su uso para instancias masivas.





Mas informacion

Para obtener mas informacion sobre nuestro trabajo, mepueden contactar a

[email protected]

o consultar mis publicaciones en

http://yalma.fime.uanl.mx/ ˜ elisa/

Los autores agradecen los apoyos de la Academia Finlandesa (proyecto 206235

ANNE, 2004–2006) y de la UANL (proyecto PAICYT CA1475-07, 2007–2008).


[email protected]

http://yalma.fime.uanl.mx/~elisa/




A.-L. Barabasi y R. Albert.Emergence of scaling in random networks.Science, 286:509–512, 1999.

N. Biggs.Algebraic Graph Theory.Cambridge University Press, edicion segunda, 1994.

J. Caughman y J. Veerman.Kernels of directed graph laplacians.The Electronic Journal of Combinatorics, 13:#R39, 2006.





F. R. Chung.Laplacians and the Cheeger inequality for directed graphs.Annals of Combinatorics, 9:1–19, 2005.

F. R. Chung.The diameter and laplacian eigenvalues of directed graphs.The Electronic Journal of Combinatorics, 13:#N4, 2006.

F. R. Chung.Spectral Graph Theory.AMS, 1997.

F. R. Chung y R. B. Ellis.A chip-firing game and Dirichlet eigenvalues.Discrete Math., 257:341–355, 2002.





S. N. Dorogovtsev y J. F. F. Mendes.Evolution of Networks.Oxford University Press, 2003.

M. Faloutsos, P. Faloutsos y C. Faloutsos.On power-law relationships of the Internet topology.In Proc. of the ACM Conf. on Applications, Technologies,Architectures, and Protocols for Computer Communication,pp. 251–262, 1999. ACM Press.





D. J. Higham, G. Kalna y M. Kibble.Spectral clustering and its use in bioinformatics.Journal of Comput. and Applied Math., 204(1):25–37, 2007.

R. Kannan, S. Vempala y A. Vetta.On clusterings — good, bad and spectral.Journal of the ACM, 51(3):497–515, 2004.

J. M. Kleinberg y S. Lawrence.The structure of the web.Science, 294(5548):1849–1850, 2001.

A. N. Langville y C. D. Meyer.Deeper inside PageRank.Internet Math., 1(3):335–380, 2004.





M. E. Newman.The structure and function of complex networks.SIAM Review, 45(2):167–256, 2003.

M. E. Newman y M. Girvan.Finding and evaluating community structure in networks.Physical Review E, 69:026113, 2004.

M. E. J. Newman y M. Girvan.Mixing patterns and community structure in networks.In R. Pastor-Satorras, M. Rubi y A. Diaz-Guilera, editores,Statistical Mechanics of Complex Networks, vol. 625 de LNP,pp. 66–87, 2003. Springer.





P. Orponen y S. E. Schaeffer.Local clustering of large graphs by approximate Fiedler vectors.

In S. Nikoletseas, editor, Proc. of the 4th Intl Workshop onEfficient and Experimental Algorithms, vol. 3505 de LNCS,pp. 524–533, 2005. Springer.

S. E. Schaeffer.Stochastic local clustering for massive graphs.In T. B. Ho, D. Cheung y H. Liu, editores, Proc. of the 9thPacific-Asia Conf. on Knowledge Discovery and Data Mining,vol. 3518 de LNAI, pp. 354–360, 2005. Springer.





S. E. Schaeffer.Graph clustering.Computer Science Review, 1(1):27–64, 2007.

J. Sıma y S. E. Schaeffer.On the NP-completeness of some graph cluster measures.In J. Wiedermann, G. Tel, J. Pokorny, M. Bielikova y J. Stuller,editores, Proc. of the 32nd Intl Conf. on Current Trends inTheory and Practice of Computer Science, vol. 3831 de LNSC,pp. 530–537, 2006. Springer.





D. J. Watts.Small Worlds.Princeton University Press, 1999.

D. J. Watts y S. H. Strogatz.Collective dynamics of ’small world’ networks.Nature, 393(6684):440–442, 1998.

F. Wu y B. A. Huberman.Finding communities in linear time: a physics approach.The European Physical Journal B, 38(2):331–338, 2004.


Agrupamiento local de grafos por computaci n local...Figura: Un grafo de “hombre de cueva”...

Documents

Transcript of Agrupamiento local de grafos por computaci n local...Figura: Un grafo de “hombre de cueva”...