Resumen y Perspectivas - ccc.inaoep.mx · Introduccion´ Tecnicas no´ vistas Representaciones...

Introduccion

Tecnicas novistasRepresentacionesdistribuidas

Explicabilidad eInterpretabilidad

DL - GANs

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Resumen y Perspectivas

Eduardo Morales y Hugo Jair Escalante

INAOE

(INAOE) 1 / 31

Introduccion



DL - GANs

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Contenido

1 Introduccion

2 Tecnicas no vistasRepresentaciones distribuidasExplicabilidad e InterpretabilidadDL - GANs

3 Desarrollo Historico

4 Perspectivas y Retos

5 Super-Inteligencia

(INAOE) 2 / 31

Introduccion



DL - GANs

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Introduccion

Resumen

• En el curso vimos varias de las tecnicas recientes o novistas en los otros cursos de AprendizajeComputacional

• Existen tecnicas que no vimos, por ejemplo,aprendizaje parametrico basado en maximaverosimilitud, maquinas de Kernel, estimacionbayesiana, stream-learning, BigData, concept drift, etc.

(INAOE) 3 / 31

Introduccion



DL - GANs

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Tecnicas no vistas Representaciones distribuidas

Representaciones distribuidas

• Representaciones distribuidas: palabras, frases odocumentos son representados en un espacio vectorial,i.e., la semantica se distribuye en un espacio vectorial.

• Los elementos del espacio (las dimensiones) puedentener un significado o no; pueden capturar informacionsemantica, secuencial, etc.

• Aplicaciones: operaciones sobre terminos (e.g.,agrupamiento), generacion de tesauros, etc.

(INAOE) 4 / 31

Introduccion



DL - GANs

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia



Figure: Representaciones distribuidas de palabras.

(INAOE) 5 / 31

Introduccion



DL - GANs

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia




(INAOE) 6 / 31

Introduccion



DL - GANs

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia




(INAOE) 7 / 31

Introduccion



DL - GANs

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia



• Problema: Como aprender estas representaciones?• Idea: Usar modelos lineales y no lineales sobre un

conjunto de datos para aprender una representacionvectorial para cada palabra

• El objetivo es aprender un modelo que prediga lapalabra faltante a partir de cierto contexto ... ( ycolateralmente se aprende la representacion)

(INAOE) 8 / 31

Introduccion



DL - GANs

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia



Figure: Lenguaje de modelo neuronal, Bengio et al.

(INAOE) 9 / 31

Introduccion



DL - GANs

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia



Figure: Modelo CBOW - Word2Vec (Mikolov et al.).

(INAOE) 10 / 31

Introduccion



DL - GANs

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia



Figure: Modelo Skyp gram - Word2Vec (Mikolov et al.).

(INAOE) 11 / 31

Introduccion



DL - GANs

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia



• Extension: aprendizaje simultaneo derepresentaciones para documentos.

Figure: Vector parrafo - Q. Lee et al..

(INAOE) 12 / 31

Introduccion



DL - GANs

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Tecnicas no vistas Explicabilidad e Interpretabilidad

Explicabilidad e Interpretabilidad

• Avances en aprendizaje computacional ha permitidoobtener modelos que obtiene desempeno comparableal de humanos en diversas tareas (e.g., deepface).

• Sin embargo, dichos modelos estan limitados en cuantoa que no se puede decir mucho sobre:

• Cual es la razon detras de unadecision/recomendacion? (explicabilidad)

• Que explica el funcionamiento interno del modelo?(interpretabilidad)

(INAOE) 13 / 31

Introduccion



DL - GANs

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia



Figure: D. Gunn - DARPA.

(INAOE) 14 / 31

Introduccion



DL - GANs

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia



• Esfuerzos actuales:• Analisis, interpretacion, visualizacion de pesos de

modelos• Explicabilidad de modelos de caja negra (e.g., explicar

la superficie de decision de un clasificador)• Uso de metodos de captioning para explicar las

recomendaciones de un modelo• Modelos probabilistas, basados en gramaticas para

explicar las decisiones de los modelos• Identificacion de instancias prototıpicas para explicar los

datos

(INAOE) 15 / 31

Introduccion



DL - GANs

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Tecnicas no vistas DL - GANs

Redes adversarias - generativas

• Objetivo: entrenar redes generativas profundas quemodelen mejor la distribucion de los datos

• Idea: Entrenamiento con adversario, se entrenasimultaneamente

• Un modelo generativo G: intenta capturar la distribucionde los datos

• Un modelo discriminativo D: intenta distinguir ejemplosreales de los generados por G

(INAOE) 16 / 31

Introduccion



DL - GANs

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia



Figure: GANs1.

1https://www.analyticsvidhya.com/blog/2017/06/introductory-generative-adversarial-networks-gans/

(INAOE) 17 / 31

Introduccion



DL - GANs

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia



Figure: Generando instancias con GANs.

(INAOE) 18 / 31

Introduccion



DL - GANs

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia



Figure: Generando instancias multimodales con GANs.(INAOE) 19 / 31

Introduccion



DL - GANs

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Desarrollo Historico

Resumen

• El area de aprendizaje computacional empezo con lasprimeras computadoras y con la conviccion de que lacreacion de maquinas inteligentes necesitaba contarcon aprendizaje

• Durante su desarrollo ha sufrido diversos cambios yevoluciones

(INAOE) 20 / 31

Introduccion



DL - GANs

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia


Evolucion

Antes AhoraEvaluacion informal, pocosdatos, no generalizable

Evaluaciones formales,medida de desempenos,creacion de benchmarks

Representacionessimbolicas, cercanıacon ciencias cognitivas,restrictivo a pocas areas

Apertura a otras areascomo PR y NN

Diversos tipos de apren-dizaje

Datos y evaluacionesproposicionales, enfasis enclasificacion y regresion

(INAOE) 21 / 31

Introduccion



DL - GANs

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia


Evolucion

Antes AhoraIntimamente ligado a IA Separacion de IA a ML (re-

cientemente se esta jun-tando de nuevo)

I/O: Relacional, razon-amiento, planes, experien-cias, ...

Atributo-valor (algo en ILP yStatistical Relational Learn-ing), tendencia en que seaDNN quien defina la repre-sentacion

Sistemas inteligentes (AM,SOAR, ...), comportamien-tos “ricos” (semanticamentepara tareas complejas)

Enfasis en desempeno yestadısticas

(INAOE) 22 / 31

Introduccion



DL - GANs

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia


Evolucion

Antes AhoraUso de conocimiento deldominio (EBL, ILP, theoryrevision, ...)

Muchos datos, mejoraen desempeno (poco enaprender de pocos datosusando BK)

Reflexiones sobre resulta-dos, a que se deben, ...

Formalismo matematico(con sesgo) y comparacion“ciega” de desempenos

(INAOE) 23 / 31

Introduccion



DL - GANs

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Perspectivas y Retos

Persepectivas

• Desde hace tiempo se tiene un desarrollo acelerado delarea (se pueden ver en el numero de artıculos y foros)

• En parte ha sido impulsado por un interes comercialque le han dado diversos nombres: KDD, Big Data,Deep Learning, ...

• Se esta viviendo un re-surgimiento del area deInteligencia Artificial (otra vez) con grandesexpectativas (antes: Inicios, Sistemas Expertos, NN,KDD; ahora: DL)

(INAOE) 24 / 31

Introduccion



DL - GANs

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Perspectivas y Retos

Retos

• Aprendizaje sin (con poca) guıa• Diversos tipos de aprendizaje, concurrentes, y por largo

tiempo• Aprendizaje de “sentido comun”• Seleccion automatica de informacion relevante• Aprender con poca informacion• Organizacion del conocimiento aprendido

(INAOE) 25 / 31

Introduccion



DL - GANs

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Super-Inteligencia

Super-Inteligencia

• Durante muchos anos, los investigadores de IA sedejaron de cuestionar si era posible crear unainteligencia artificial

• A pesar del entusiasmo inicial, el problema resulto sermucho mas difıcil de lo anticipado

• Con los avances recientes, tanto en generacion yacceso a datos, computadoras mas veloces, yalgoritmos de DL, la gente ya no se cuestiona si se va alograr, sino cuando y cuales pueden ser susconsecuencias

• Algunos autores predicen que con el desarrollo actualsera posible crear una super-inteligencia (entes masinteligentes que el hombre)

(INAOE) 26 / 31

Introduccion



DL - GANs

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Super-Inteligencia

Super-InteligenciaExisten varios candidatos para crear super-inteligencias:

• IA: algunos creen la mas probable y cercana• Emulacion del cerebro: Crear cerebros artificiales con

base en los biologicos• Bio-ingenierıa (DNA): Cambiar el DNA para promover

inteligencia (selective breeding)• Implantes cerebrales: Combinar el cerebro con

implantes que aumenten la capacidad cerebral (e.g.,conectarse a Internet - memoria ilimitada, transmisionde datos, calculos complejos ...)

• Farmacos: Aumentar la capacidad cerebral por mediode farmacos

• Organizacion Grupal: Crear grupos especıficos pararesolver problemas difıciles (super-inteligenciacolectiva)

(INAOE) 27 / 31

Introduccion



DL - GANs

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Super-Inteligencia

Super-Inteligencia

Con base en encuestas de cuando se podrıa tener unainteligencia a nivel del ser humano (HLMI):

• 2030 - 10%• 2050 - 50%• 2100 - 90%

Cuanto tiempo despues se va a tener unasuper-inteligencia:

• 2 anos despues - 5%-10%• 30 anos despues - 50%-75%

(INAOE) 28 / 31

Introduccion



DL - GANs

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Super-Inteligencia

Super-Inteligencia

• Creen que en cuanto nos acerquemos a unainteligencia, se va a dar muy rapido la creacion de unasuper-inteligencia

• Lo que se cree es que al crear un ente inteligente, esteva a poder desarrollar uno mas inteligente y asısucesivamente (y algunos creen que se puede dar muyrapido - meses/anos)

• Dadas las expectativas que se tiene se esta creandouna carrera hacia esto (parecido a la carrera a la luna)

(INAOE) 29 / 31

Introduccion



DL - GANs

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Super-Inteligencia

Super-Inteligencia

• Posiblemente se vaya a crear un “singleton” con ventajay dominio competitivo sobre los demas

• Si no lo crea un gobierno, que tal un grupo terrorista?• Se pueden monitorear los avances de los diversos

grupos? Se harıan colaboraciones intenacionales?

(INAOE) 30 / 31

Introduccion



DL - GANs

DesarrolloHistorico

Perspectivas yRetos

Super-Inteligencia

Super-Inteligencia

Super-Inteligencia

Miedos:• Se van a desplazar empleos (los no o poco calificados)

y se cree que pronto (aunque no se tenga unasuper-interligencia)

• Miedo de que termine con la raza humana• Se podrıa controlar?• Se pueden inculcar valores “humanos”?

(INAOE) 31 / 31

Resumen y Perspectivas - ccc.inaoep.mx · Introduccion´ Tecnicas no´ vistas Representaciones...

Documents

Transcript of Resumen y Perspectivas - ccc.inaoep.mx · Introduccion´ Tecnicas no´ vistas Representaciones...