Intelligent Decision Support Systemsmiquel/idss/IDSS-Part 5-MAI-1112.pdfMotors d’inferències...

https://kemlg.upc.edu

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms

Intelligent Decision Support Systems

(Part V - DISCRIMINANT MODELS / PREDICTIVE MODELS)Miquel Sànchez i Marrè, Karina Gibert

[email protected], [email protected]

http://kemlg.upc.edu/menu1/miquel-sanchez-i-marre

http://kemlg.upc.edu/menu1/karina-gibert

Course 2011/2012


Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms

PART 5 – DISCRIMINANT MODELS / PREDICTIVE MODELS


Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms

Discriminant Models

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms

© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 20094

Discriminant Models

Models discriminants Raonament basat en regles

– (IA) Arbres de decisió– (IA) Regles de classificació– (Es) Anàlisi discriminant– (IA&Stats) Inducció de regles basada en box-plots

Raonament basat en casos– (IA) Aprenentatge basat en instàncies (IBL)

Aprenentage Bayesià


Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms

Models discriminantsRaonament basat en regles (RBR)

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Sistemes Experts Definició:

Són Sistemes Basats en el Coneixement que resolen

problemes molt especialitzats i complexes, pels que es

confia habitualment en experts humans, per a la seva

resolució, en un domini concret

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Per què van sorgir els SE? Necessitats econòmiques

Disposar d’experts altament qualificats és car i no sempre possible

Eines econòmiques d’aprenentatge per a altres experts/no experts

Preservació del coneixement dels experts

Necessitats d’eficiència computacional

Els mètodes generals de resolució de problemes són força ineficients (mètodes febles)

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Coneixement expert

DADES + ALGORISME = PROGRAMA

CONEIXEMENT + INFERÈNCIA = SE

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Classificació dels SE segons les tasques [Hayes-Roth et al., 1983] (1)

Sistemes d’Interpretació Inferir descripcions de situacions, a partir d’observacions

/ dades

Sistemes de Predicció Inferir conseqüències versemblants a partir de situacions

o successos

Sistemes de Diagnòstic Inferir les falles del sistema a partir de símptomes

Sistemes de Disseny Desenvolupar configuracions d’objectes que satisfan

certes restriccions

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Classificació dels SE segons les tasques [Hayes-Roth et al., 1983] (2)

Sistemes de Planificació Generar seqüències d’accions per a conseguir certs

objectius

Sistemes de Monitorització Estudiar el comportament d’un sistema al llarg del temps

Sistemes de Correció /Reparació Generar solucions per a les falles d’un sistema

Sistemes de Control Estudiar i governar el comportament d’un sistema

dinàmic

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Fases de l’enginyeria del coneixement (1)

PROVA

IDENTIFICACIÓ

CONCEPTUALITZACIÓ

FORMALITZACIÓ

IMPLEMENTACIÓ

REQUERIMENTS

CONCEPTES

ESTRUCTURA

REGLES

REFORMULACIÓ

REDISSENY

REFINAMENT

[Buchanan et al., 1983]

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


IDENTIFICACIÓ

Viabilitat de la construcció del SE

Cercar les fonts de coneixement (experts, llibres, etc.)

Determinar les dades necessàries per a resoldre el problema

Determinar els objectius (solucions) i els criteris que determinen la solució


Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms



CONCEPTUALITZACIÓ

Detallar els elements bàsics per a caracteritzar el domini (fets rellevants) i les seves relacions.

Distingir les evidències, les hipòtesis i les accions a realitzar

Detallar les diferents hipòtesis/objectius

Descomposar el problema en subproblemes

Caracteritzar els blocs de raonament i el flux de raonament

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms



FORMALITZACIÓ

Determinar els esquemes de raonament necessaris:

Classificació / diagnosi / planificació temporal / estructures causals / disseny espaial / configuració

Identificar l’espai de cerca i el tipus de cerca

Identificar la metodologia de la resolució:

classificació heurística / resolució constructiva / hipòtesi i prova jeràrquica

Analitzar la inexactitud (incertesa, imprecisió o incompletitud) i la completesa

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms



IMPLEMENTACIÓ Representació i implementació del coneixement

Definició de la base de fets Estructura modular de la base de coneixements Definició de les regles d’inferència dels mòduls

Decisions sobre el control de la resolució (metaconeixement) Definició de les meta-regles associades als mòduls

PROVA

Determinar amb el/s expert/s un conjunt de casos de prova

Avaluar el funcionament del sistema (prototipus) Correctesa? / Completesa? / Inexactitud? / Credibilitat i

explicacions?

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Arquitectura d’unSistema Expert

U S E R

U S E R I N T E R F A C E

K N O W L E D G E A C Q U I S I T I O N

K N O W L E D G E E N G I N E E R I N T E R F A C E

K N O W L E D G E E N G I N E E R E X P E R T S

D A T A B A S E

K N O W L E D G E B A S E

I N F E R E N C E E N G I N E S / R E A S O N I N G

M E T A - R E A S O N I N G S T R A T E G I E S

E X P L A N A T I O N M O D U L E

S E N S O R S / A C T U A T O R S I N T E R F A C E

S E N S O R S /

A C T U A T O R S E X E C U T I O N C O N T R O L U N I T

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Base de Coneixements (1) Coneixement del domini + coneixement heurístic

Tipus de coneixement:

Coneixement Factual

Coneixement Condicional

Coneixement Relacional

Objectes i característiques

Condicions i deduccions

Relacions temporals, causalsi conceptuals

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Base de Coneixements (2)

Sistemes de regles d’inferència/Sistemes de Producció:Els més habituals i els primers

Representacions estructurades

Representacions mixtes: Regles + Representacions estructurades

Per a descriure el domini

Xarxes semàntiques/Frames

Per a modelitzar objectes i relacions

Abans-de

Tipus de

Part_de

Mètodes de Representació del Coneixement

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Base de Coneixements (3) Organització del coneixement sobre el domini i sobre el

procés de resolució

Regles d’inferència

SI <Condicions> LLAVORS <Accions>

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Base de coneixements (4) Cadascuna de les regles pot incorporar:

<Indentificador-regla>

<Condicions o premisses>

Proposicions Predicats d’ordre 1

<Certesa de la regla>

<Accions o conclusions> Noves deduccions Accions Càlculs

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Base de coneixements (5) Exemples

(RDECP03 (R08007Concentració-fang-decp-alta No NeutropèniaNo Purga-fang-decp Associades-dermatologia ectima-gangrenosum0.8 molt-possibleNetejar-canonada Pseudomones. . . ) . . . )

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Motors d’inferències

Motor d’inferències Mòdul de raonament

Motor d’inferències

Intèrpret de regles + Estratègia de control

Deduir nous fets, executar accions per aresoldre el problema plantejat, a partir d’unconjunt inicial de fets i d’un cert coneixement,amb la interacció de l’usuari.

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Cicle general d’un motor d’inferències

Detecció: Obtenció del conjunt de regles aplicables

Formació del conjunt de conflictes

Selecció: Selecció de la regla a aplicar

Resolució de conflictes

Aplicació: Aplicació de la regla seleccionada

Inferència

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Cicle general: Detecció Construcció del conjunt de regles candidates a ser

aplicades

Les regles seran candidates o no depenent de l’estratègia de control

L’intèrpret de regles fa els càlculs i les instanciacions necessàries que siguin possibles en cada estat de resolució del problema.

Una regla es pot utilizar amb vàries instanciacions (CP1)

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Cicle general: Selecció

Selecció de la millor regla d’entre les obtingudes en el pas anterior

La selecció dependrà de l’estratègia de resolució de conflictes emprada pel motor d’inferències.

Criteris més utilizats (sovint es combinen varis criteris) : La més/menys utilitzada

La més específica/més general

La més informativa dóna un major número de fets desconeguts

La regla amb un grau de certesa més alt

La primera regla en ordre

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Cicle general: Aplicació

L’intèrpret de regles executa la regla seleccionada

modificant l’estat de la base de fets amb noves deduccions, càlculs, accions i/o nous subojectius

Propagació de les instanciacions (en CP1)

Si s’escau, propagació de la certesa de les premisses cap

a les conclusions, mitjançant les diferents connectives

lògiques

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Fi del cicle El cicle acaba quan ja no hi ha cap més regla aplicable,

o bé quan es troba la conclusió desitjada

Depenent del problema i de l’estratègia de control pot ser que la cadena de raonament quedi tallada

Cal reconsiderar passos anteriors

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Motors d’Inferència: estratègies (I) Motors Deductius/Encadenament progressiu

Encadenament cap endavant forward chaining

Estratègia dirigida per les dades data driven

Evidències, símptomes, dades conclusions i/o hipòtesis

A B C H

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Motors d’Inferència: estratègies (II)

Motors Inductius/Encadenament regressiu

Encadenament cap enrera backward chaining

Estratègia dirigida pels objectius goal driven

Conclusions i/o hipòtesis Evidències, símptomes, dades

A B C H

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Encadenament cap endavant Basat en el modus ponens:

A, AB |- B

És un mètode deductiu segons la lògica clàsica

Resolució del problema: Cerca des de l’estat inicial fins el final (l’objectiu), passant pels estats intermitjos que marquen les cadenes d’inferència que es deriven de l’aplicació de les regles

Partir de les evidències/simptomes/dades i deduir tot el es pugui

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Encadenament cap endavant. Funcionament

La base de fets s’inicialitza amb el conjunt de fets coneguts

Obtenir les conseqüències derivables del conjunt de fets:

Seleccionar les regles aplicables. Les que tenen els antecedents coneguts (ie són a la base de fets) o bé són preguntables.

Afegir les noves conclusions/valors a la base de fets

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Encadenament cap endavant. Pros i contres

Problemes

No focalitza en l’objectiu: La estratègia de resolució de conflictes es crítica

Explosió combinatoria: Degut a les possibles instanciacions dels predicats de les premisses (CP1)

Avantatges

Facilita la formalització del coneixement

El modus ponens és força intuitiu

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Encadenament cap endavant. Exemple

Base de coneixements Base de fets Objectiu

R1: A B C D A G??R2: A E F G ER3: B C D H BR4: E CR5: A H FR6: A C H

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Encadenament cap endavant. Exemple

1: A, E, B2: A, E, B, C(R4)

A,E,B,C,D A,E,B,C,H

R1 R6

3:

R3 R6

A,E,B,C,D,H A,E,B,C,D,H

R5 R6

A,E,B,C,D,H,F A,E,B,C,D,H

A,E,B,C,D,H,F,G! A,E,B,C,D,H,F ....

R1 R5

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Encadenament cap enrera

Es un mètode inductiu: trenca el sentit de la deducció:

B, AB ¬ |- A

Està guiat per un objectiu: Hipòtesi que es vol validar. Reconstruir la cadena de raonament en ordre invers

Cada pas implica nous subobjectius o subhipòtesis que s’han de validar

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Encadenament cap enrera. Funcionament Inicialitzar la base de fets amb un conjunt inicial de fets

Inicialitzar el conjunt d’hipòtesis o objectius a verificar

Mentre hi hagi hipòtesis per a validar fer

Validar una hipòtesi de la llista

Fmentre

Validar l’hipòtesi consisteix en: si ja ho està treure-la de la llista

Comprovar si ja està verificada en la BF

sino usar la BC i la BF per a validarla

Seleccionar una regla

Afegir les premisses de la regla com nous subobjectius a validar en lloc de la hipòtesi

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Encadenament cap enrera. Avantatges

La resolució del problema està millor dirigida. Només es considera el necessari per a la resolució del problema

El procés de resolució consisteix en l’exploració d’un graf i/o

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Encadenament cap enrera. Exemple (I)

Base de coneixements Base de fets Objectiu

R1: A B C A H??R2: C D BR3: E F G R4: A ER5: D GR6: A G H

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Encadenament cap enrera. Exemple (II)

H

R6 A

GH

R6 A

G

E

F

DR5

R3 H

R6 A

G

E

F

DR5

R3

R4A

H AG

G EF

G AF

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Encadenament cap enrera. Exemple (III)

H

R6 A

G

E

F

DR5

R3

R4A

Suposem que F és preguntable

NO

G AF = NO

S ha de tornar enrera i reconsideraraltres opcions

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Encadenament cap enrera. Exemple (IV)

H

A

G D

R6

R5

G H

H

A

G D

R6

R5C

D C

R2

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Encadenament cap enrera. Exemple (V)

H

A

G D

R6

R5C

C A B

R2A

B

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Avantatges dels SE

Adequats en dominis poc estructurats

Eficaços en tasques de diagnosi i classificació

Capacitat d’autoexplicació

Facilitat de comunicació amb l’usuari

Permet extensions fàcilment (raonament aproximat)

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Inconvenients dels SE Fragilitat

Dificultat amb el control del raonament

Baixa reusabilitat de les B.C.

Són incapaços d’aprendre

Problemàtica de l’adquisició del coneixement

Problemàtica de la validació

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Història dels SE (1)

Els més antics 1965

DENDRAL (1965-1970)

Interpretació d’espectografia de masses i ressonàncies magnètiques de molècules orgàniques

META-DENDRAL (1970)

Construcció de regles heurístiques a partir de dades

MACSYMA

Manipulació de fórmules algebraiques

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms



MYCIN (1972-1976) Diagnosi d’enfermetats infeccioses a la sang

400 regles

Raonament amb incertesa

EMYCIN (1980)

Exporta el sistema de control de MYCIN

Primer entorn de SE (shell)

HEARSAY-II (1975)

Interpretació del LN (hear + say)

1000 paraules

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms



PROSPECTOR (1977) Prospeccions mineres

Un altre mètode de raonament amb incertesa

R1/XCON (1980)

Configuració d’entorns computacionals

DEC, 200.000 regles

INTERNIST (1982)

Diagnosi en medicina interna

500.000 - 1.000.000 regles

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


CENTAUR (1983) Diagnosi d’infeccions pulmonars

Regles i prototipus

MOLE (1986)

Shell de SE per a classificació

TEST (1987)

Troubleshooting Expert System Tool

Diagnosi / classificació

VT (1988)

Vertical Transportation

Disseny de sistemes elevadors


Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Metaconeixement / Metaraonament Metaconeixement coneixement sobre el (propi)

coneixement

Control sobre com i quan aplicar el coneixement

Metaconeixement implícit

Estratègia de resolució de conflictes (criteris) En els primers Sistemes Experts : Premisses artificials per a

controlar l’aplicabilitat de les regles (ie repeat o !)

Metaconeixement explícit Introdució de les meta-regles (Davis, 1980) : Regles que

actuen sobre les regles Separació entre control i coneixements Mecanisme de raonament unificat: Motor d’inferències utilizat

per les regles i les meta-regles Concepte d’estratègia: Ordenació del elements necessaris

per a la resolució

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Meta-regles

Meta-regla: unitat de control sobre el coneixement

Tipus de meta-regles.

Meta-regles sobre regles Inhibir / desinhibir regles

Meta-regles sobre mòduls Tipus de cerca en els mòduls (endavant, enrera) Nivell de tall en la certesa mínima de les regles Subsumpció de regles

Meta-regles sobre estratègies Estratègia: conjunt ordenat de mòduls a ser tractats Excepcions

Meta-regles sobre plans d’actuació Quina estratègia s’aplica primer quan n’hi ha més d’una

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


(MR-DECP01OK-BOMBA1.0

(INHIBIR-REGLES RDECP005RDECP006 RDECP007RDECP008 RDECP009RDECP019 RDECP020))

(MR-PRINCTÉ-FEBRE1.0

(MOTOR-ENRERA GRIP))

(MR-ESTR01CLASSE1POSSIBLE

(MÒDULS-A-TRACTAR C1))

(MR-03024SIDAPOSSIBLE

(MÒDULS-A-TRACTAR BACTERIANA-ATÍPICA PNEUMOCISTIS-CARINI TBC CITOMEGALOVIRUS CRIPTOCOCNOCARDIA ASPERGILLUS PNEUMOCOC ENTEROBACTÈRIES))

(MR-02012EDAT < 14SEGUR

(PARAR-SISTEMA))

Meta-regles: exemples


Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms

Discriminant ModelsRule-Based Reasoning (RBR)

Decision trees

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Decision trees

The nodes are qualitative attributes The branches are the possible values of a qualitative

attribute

The leaves of the tree have the qualitative prediction of the attribute that acts as a class label

Model the process of deciding to which class belongs a new example of the domain

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Decision tree for the contact lens data

Decision Tree: example 1

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Decision tree for the weather data

Decision Tree: example 2

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


ID3 algorithm (1)

ID3 Induction Decision Tree [Quinlan, 1979], [Quinlan, 1986]

Machine Learning Technique

Decision Tree Induction

Top-Down strategy

From a set of examples/instances and the class to which theybelong, it builds up the best decision tree which explains theinstances

Criteria

Compactness the more compact better complexity

Goodness predictive/discriminant ability

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


ID3 (2)

It is a greedy algorithm selecting at each step

the best attribute

the best one

is the most discriminant one (potentially more useful)

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


ID3 (3)

The construction process is iterative: (1) It selects a subset (window) of the

examples (training set). (2) It is constructed a decision tree that allows to

discriminate the set of examples of the window (3) If the decision tree induced explains the rest of

examples of the training setThen

the decision tree is the definitiveElse

the badly classified examples (exceptions)are added to the window and go again to (2)

EndIf

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


ID3 (4)

E1 ((A1V11) (A2 V12) ....(An V1n) Ci)E2 ((A1V21) (A2 V22) ....(An V2n) Cj )E3 ((A1V31) (A2 V32) ....(An V3n) Ck )

······

Em ((A1Vm1) (A2 Vm2) ....(An Vmn) Ck )

Training setWindow

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


ID3: idea bàsica (5)

Select at each step the attribute which can discriminate

more.

The selection is done through maximizing a certain

function G (X, A).

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


A B C D1. 1 1 5 -2. 2 1 5 -3. 2 1 7 +4. 1 1 7 +5. 2 2 5 -6. 2 2 7 -7. 1 2 7 -8. 2 3 7 +

(1)p n h(p,n) e

A=1 1 2 0,6365 0,6593A=2 2 3 0,6730

B=1 2 2 0,6931 0,3465B=2 0 3 0,0000B=3 1 0 0,0000

C=5 0 3 0,0000 0,4206C=7 3 2 0,6730

(2)

B=1

=2 =3

A C D1. 1 5 -2. 2 5 -3. 2 7 +4. 1 7 +

5. 2 5 -6. 2 7 -7. 1 7 -

8. 2 7 +

(3)

p n h(p,n) eA=1 1 1 0,6931 0,6931A=2 1 1 0,6931

C=5 0 2 0,0000 0,0000C=7 2 0 0,0000

(4)

B=1 =2 =3

- +

- +

C

(5)=5 =7

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


ID3: formalization (6)

X set of examples {xj}j=1,m

A set of attributes {Ak}k=1,n

C set of classes {Ci}i=1,p

# Cardinality

Ai A, an attributex X, an examplev, a value

V(Ai) set of possible values for attribute AiAi(X) value of X for AiA-1

i(v) ={xX: Ai(x)=v}

V(Ai) {vl} l=1,q

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


ID3: selection criteria (7)

Seleccit Ak which maximizes the gain of information

G(X, Ak) = I(X,C) - E(X, Ak) E(X, Ak) 0

where

I(X,C) = - p(X,ci) * log2p(X,ci)CiC

p(X,ci) = # Ci / #X

E(X, Ak) = p(X,vl) * I(A-1k(vl),C)

vlV(Ak)

p(X,vl) = # A-1k(vl) / #X

entropy

information

Probability that one examplebelongs to class Ci

Probability that oneexample has thevalue vl for theattribute Ak

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


ID3: algorithm (8)

Function ID3 (in X,A are sets) returns decision tree isvar tree1, tree2 are decision tree endvaroption

case (Ci: xj X --> xj Ci) dotree1 buildTree (Ci)

case no (Ci: xj X --> xj Ci) dooption

case A doAmax max AkA {G(X,Ak)};tree1 buildTree(Amax);for each v V(Amax) dotree2 ID3(A-1

max (v), A-{Amax});tree1 addBranch(arbre1, arbre2, v)

endforeachcase A = do

tree1 buildTree(majorityClass(X))endoption

endoptionreturns tree1

endfunction

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


ID3: example (9)

Eye Colour Hair Colour Height Class

E1 Blue Blonde Tall C+

E2 Blue Brown Medium C+

E3 Brown Brown Medium C-

E4 Green Brown Medium C-

E5 Green Brown Tall C+

E6 Brown Brown Low C-

E7 Green Blonde Low C-

E8 Blue Brown Medium C+

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


ID3: example (10)

I(X,C) = -1/2 log2 1/2 -1/2 log2 1/2 = 1(1,2,5,8) (3,4,5,7)

C+ C-

E(X, Eye-colour) = 3/8 (-1 log2 1 - 0 log2 0) + 2/8 (-0 log2 0 - 1 log2 1) +3/8 (-1/3 log2 1/3 - 2/3 log2 2/3) = 0.344

E(X, Hair-colour) = 2/8 (-1/2 log2 1/2 - 1/2 log2 1/2) + 6/8 (-3/6 log2 3/6 - 3/6 log2 3/6) = 1

E(X, Height) = 2/8 (-1 log2 1 - 0 log2 0) + 4/8 (-1/2 log2 1/2 - 1/2 log2 1/2) + 2/8 (-0 log2 0 - 1 log2 1) = 0.5

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


ID3: example (11)

G(X, Eye-colour) = 1 - 0.366 = 0.656G(X, Hair-colour) = 1 - 1 = 0G(X, Height) = 1- 0.5 = 0.5

Eye-colour

1,2,8 3,6 4,7, 5+ - - +

Hair-colour Height ClassE4 Brown Medium C-E5 Brown Tall C+E7 Blonde Low C-

BlueBrown

Green

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


ID3: example (12)

I(X,C) = -1/3 log2 1/3 -2/3 log2 1/3 = 0,918(5) (4,7)

E(X, Hair-colour) = 1/3 (- log2 - 1 log2 1) + 2/3 (-1/2 log2 1/2 - 1/2 log2 1/2) = 2/3

E(X, Height) = 1/3 (-0 log2 0 - 1 log2 1) + 1/3 (-1 log2 1 - 0 log2 0) + 1/3 (-0 log2 0 - 1 log2 1) = 0

G(X, Hair-colour) = 0,918 - 0,666 = 0,252G(X, Height) = 0,918 - 0 = 0,918

Blonde

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


ID3: example (13)

Eye-colour

1,2,8 3,6 4,7, 5+ - - +

Blue

Brown

Green

HeightTall

MediumLow

5 4 7+ - -

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


ID3: example (14)

Eye-colour = Blue C+

Eye-colour = Brown C-

Eye-colour = Green Height = Tall C+

Eye-colour = Green Height = Medium C-

Eye-colour = Green Height = Low C-


Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms

Discriminant Models Rule-Based Reasoning (RBR)

Classification Rules

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Classification Rules / Association Rules

Let express knowledge over data though expressions like: if condition/s then conclusion Example:

if salary > 300000 and number-of-children [1,2] then potential customer

Conditions Format: conjunctive c1 & c2 & ... & cn

k-term-DNF conj1 o ... o conjk’, k’<k k-DNF conj1 o ... o conjk k-CNF disj1 & ... & disjk

Selector-Based A selector is the pair: Attributei = Valueij

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Classification Rules and Trees

Classificactions: Rules vs. Trees

Rules:IF Attribute1 = Value11 AND Attribute2 = Value12 then Class = Class1

IF Attribute1 = Value11 AND Attribute2 = Value22 then Class = Class2

Decision Tree:

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Rule Induction Process

Classification Rule Induction:

Classified Instances

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Classification Rule induction Algorithms

Rules [Pham & Askoy, 1995]

Prism [Cendrowska, 1987]

CN2 [Clark & Niblett, 1989]

Rise [Domingos, 1996]

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Rules

algorithm RULESNumberCombinations 1Rules mentre (NumberCombinations NombreAttributes) i

no Totes les instàncies classificades ferFind all selectors (pairs Attribute-Value) from NON classified instancesForma condicions com a combinació de NombreCombinacions selectorsPer cada condició Condiciói

Si les instàncies que satisfan la condició pertanyen a una única classe Cillavors

Crea la regla R: Condiciói CiComprova condicions irrellevantsRules Rules + R

FsiFper cada

NombreCombinacions NombreCombinacions + 1FMentreretorna (Rules)

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Example Lents

Age VisualDeficiency Astigmatism Tear

ProductionRecommendedlents

jove miope no Reduïda capjove miope no normal tovesjove miope sí reduïda capjove miope sí normal duresjove hipermetrope no reduïda capjove hipermetrope no normal tovesjove hipermetrope sí reduïda capjove hipermetrope sí normal durespre-prebiòpic miope no reduïda cappre-prebiòpic miope no normal tovespre-prebiòpic miope sí reduïda cappre-prebiòpic miope sí normal durespre-prebiòpic hipermetrope no reduïda cappre-prebiòpic hipermetrope no normal tovespre-prebiòpic hipermetrope sí reduïda cappre-prebiòpic hipermetrope sí normal capprebiòpic miope no reduïda capprebiòpic miope no normal capprebiòpic miope sí reduïda capprebiòpic miope sí normal duresprebiòpic hipermetrope no reduïda capprebiòpic hipermetrope no normal tovesprebiòpic hipermetrope sí reduïda capprebiòpic hipermetrope sí normal cap

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Example Lents with Rules (1)

Càlcul dels selectors: edat = jove edat = pre-prebiòpic edat = prebiòpic deficiència = miope deficiència = hipermètrope astigmatisme = sí astigmatisme = no producció llacrimal = normal producció llacrimal = reduïda

Generació de regles amb 1 selector a l’antecedent:

R1: producció llacrimal = reduïda Lents = cap

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Example Lents with Rules (2)Age Visual

Deficiency Astigmatism TearProduction

Recommended Lents

jove miope no reduïda capjove miope no normal tovesjove miope sí reduïda capjove miope sí normal duresjove hipermetrope no reduïda capjove hipermetrope no normal tovesjove hipermetrope sí reduïda capjove hipermetrope sí normal durespre-prebiòpic miope no reduïda cappre-prebiòpic miope no normal tovespre-prebiòpic miope sí reduïda cappre-prebiòpic miope sí normal durespre-prebiòpic hipermetrope no reduïda cappre-prebiòpic hipermetrope no normal tovespre-prebiòpic hipermetrope sí reduïda cappre-prebiòpic hipermetrope sí normal capprebiòpic miope no reduïda capprebiòpic miope no normal capprebiòpic miope sí reduïda capprebiòpic miope sí normal duresprebiòpic hipermetrope no reduïda capprebiòpic hipermetrope no normal tovesprebiòpic hipermetrope sí reduïda capprebiòpic hipermetrope sí normal cap

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms




ProductionRecommendedLents

jove miope no normal tovesjove miope sí normal duresjove hipermetrope no normal tovesjove hipermetrope sí normal durespre-prebiòpic miope no normal tovespre-prebiòpic miope sí normal durespre-prebiòpic hipermetrope no normal tovespre-prebiòpic hipermetrope sí normal capprebiòpic miope no normal capprebiòpic miope sí normal duresprebiòpic hipermetrope no normal tovesprebiòpic hipermetrope sí normal cap

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Example Lents with Rules (4) Càlcul dels selectors:

edat = jove edat = pre-prebiòpic edat = prebiòpic deficiència = miope deficiència = hipermètrope astigmatisme = sí astigmatisme = no producció llacrimal = normal

Generació de regles amb 2 selectors:

R2: Astigmatisme = no AND Deficiència visual = hipermètrope Lents = toves

… Si encara queden instàncies per classificar, generació de regles amb 3 selectors:

… Si encara queden instàncies per classificar, generació de regles amb 4 selectors:

…

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms




ProductionRecommendedLents

jove miope no normal tovesjove miope sí normal duresjove hipermetrope no normal tovesjove hipermetrope sí normal durespre-prebiòpic miope no normal tovespre-prebiòpic miope sí normal durespre-prebiòpic hipermetrope no normal tovespre-prebiòpic hipermetrope sí normal capprebiòpic miope no normal capprebiòpic miope sí normal duresprebiòpic hipermetrope no normal tovesprebiòpic hipermetrope sí normal cap

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Prismalgorisme PRISMPrism Per cada classe Ci ferE conjunt d’instàncies de la classe Ci

mentre E ferCrear regla R: Ci

mentre no R sigui perfecta i hi hagi més atributs per emprar ferPer cada parell atribut-valor (A-V) que no aparegui a R fer

Forma R’a-v extenent la regla R afegint-li la condició A=V a l’antecedentCalcula la precisió p/t (positius/totals) de R’a-v

fper cadaSelecciona R’op com la R’a-v tal que maximitzi la precisió p/t en totes les instàncies

{en cas d’empat, agafem la que tingui una p més gran}R R’op

fmentreE E – instàncies que cobreix RPrism Prism + R

fmentrefper cadaretorna (Prism)

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Example Lents with Prism (1)

Edat Deficiencia visual Astigmatisme Producció

llacrimal

Tipus de lents recomanades

jove miope no reduïda cap jove miope no normal toves jove miope sí reduïda cap jove miope sí normal dures jove hipermetrope no reduïda cap jove hipermetrope no normal toves jove hipermetrope sí reduïda cap jove hipermetrope sí normal dures pre-prebiòpic miope no reduïda cap pre-prebiòpic miope no normal toves pre-prebiòpic miope sí reduïda cap pre-prebiòpic miope sí normal dures pre-prebiòpic hipermetrope no reduïda cap pre-prebiòpic hipermetrope no normal toves pre-prebiòpic hipermetrope sí reduïda cap pre-prebiòpic hipermetrope sí normal cap prebiòpic miope no reduïda cap prebiòpic miope no normal cap prebiòpic miope sí reduïda cap prebiòpic miope sí normal dures prebiòpic hipermetrope no reduïda cap prebiòpic hipermetrope no normal toves prebiòpic hipermetrope sí reduïda cap prebiòpic hipermetrope sí normal cap

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms



Per classe Ci: Fixem Ci = dures

R: Si ? Lents = dures

Edat = jove 2/8Edat = pre-presbiòpic 1/8Edat = presbiòpic 1/8Deficiència visual = miope 3/12Deficiència visual = hipermetrope 1/12Astigmatisme = no 0/12Astigmatisme = sí 4/12Producció llacrimal = reduïda 0/12Producció llacrimal = normal 4/12

Si Astigmatisme = sí Lents = dures

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms




llacrimal



Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms



Per classe Ci: Continua perquè R no és perfecta

R: Si Astigmatisme = sí AND ? Lents = dures

Edat = jove 2/4Edat = pre-presbiòpic 1/4Edat = presbiòpic 1/4Deficiència visual = miope 3/6Deficiència visual = hipermetrope 1/6Producció llacrimal = reduïda 0/6Producció llacrimal = normal 4/6

Si Astigmatisme = sí AND Producció Llacrimal = normal Lents = dures

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms




llacrimal



Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms



Per classe Ci: Continua perquè R no és perfecta

R: Si Astigmatisme = sí AND Producció llacrimal = normal AND ? Lents = dures

Edat = jove 2/2Edat = pre-presbiòpic 1/2Edat = presbiòpic 1/2Deficiència visual = miope 3/3Deficiència visual = hipermetrope 1/3

R1: Si Astigmatisme = sí AND Producció Llacrimal = normal AND deficiència visual = miope Lents = dures

R1 ja és 100% precisa !!

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms




llacrimal



Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms



Per classe Ci : Ja tenim 3 instàncies de la classe Ci = dures classificades

per R1 Continua perquè encara ens queda 1 instància de Ci per a

classificar . . .

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


CN2: previous concepts

Un complex és una combinació de selectors.

CN2 Construeix regles a partir d’anar buscant el millorcomplex (la millor combinació de selectors).

El procediment de trobat el millor complex és un algorisme de cerca heurística que va guardant els K millors complexos trobats (k-beam), on K la defineix l’usuari.

Fa servir 2 heurístics per a determinar quins són els millors.

Un cop troba el millor complex, forma una regla amb el millor complex com a l’antecedent i el conseqüent amb la classe moda de totes les instàncies que cobreixen el complex regles no 100% segures!

Al final, quan no pot trobar més complexos, si encara queden instàncies no cobertes per cap regla, afegeix al final de la llista una regla per defecte, que classifica les instàncies segons la classe moda d‘aquestes

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


CN2algorisme CN2 (k)E conjunt d’instàncies de la BDCalcula SELECTORSCN2_LIST BEST_CPX = Find_Best_Complex (E, k)mentre BEST_CPX NUL i E ferE' instàncies cobertes pel BEST_CPXC la classe moda del conjunt d’instàncies E’ Construeix la Regla R: “si BEST_CPX classe C”E E - E’ CN2_LIST CN2_LIST + R {s’afegeix ordenadament al final de la llista}BEST_CPX = Find_Best_Complex (E, k)

fmentresi E llavorsC la classe moda del conjunt d’instàncies E Construeix la Regla RpD: “si classe C” CN2_LIST CN2_LIST + Rpd {s’afegeix ordenadament al final de la llista}

fsiretorna (CN2_LIST)_______________________________________________Procediment Find_Best_Complex (E, k)

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Example Lents with CN2 (1) Selectors:

Edat = jove edat = pre-prebiòpic edat = prebiòpic deficiència=miope deficiència = hipermètrope astigmatisme = sí astigmatisme = no producció llacirmal = normal producció llacrimal = reduïda

Millor complex (Best_complex): Edat =jove AND deficiencia = miope AND producció llacrimal = reduïda

Cerca la classe moda de les instàncies cobertes pel millor complex Lents = cap

R: Edat =jove AND deficiencia = miope AND producció llacrimal = reduïda Lents = CAP

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Example Lents with CN2 (2)


llacrimal Tipus de lentsrecomanades


Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Risealgorisme RISERuleSet E {E és el conjunt d’instàncies de la BD. Cada instància és una regla}Precisió_final Precisió (RuleSet)repeteix

Precisió_inicial Precisió_final per cada regla R RuleSet

I instància més propera a la regla R que no la cobreixi i sigui de la mateixa classeR’ Most_Specific_Generalization (R,I)RuleSet’ RuleSet – R + R’ {R’ en lloc de R}si Precisió (RuleSet’) ≥ Precisió (RuleSet) llavors RuleSet RuleSet’si R’ RuleSet llavors {és idèntica a alguna altra}

RuleSet Ruleset - R’fsi

fsifperPrecisió_final Precisió (RuleSet)

fins que Precisió_final Precisió_inicialretorna (RuleSet)___________________________________________________________________________Càlcul de distàncies mitjançant funcions de distància: Clark, Canberra, Manhattan, Euclidea,

L’Eixample, etc.Most_Specific_Generalization: ampliació de rangs per a atributs continus.

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Example Lents with Rise (1)




Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms



Conjunt de regles inicials = conjunt d’instàncies:

R1: Edat =jove AND deficiencia = miope AND astigmatisme = no AND producció llacrimal = reduïda Lents = cap

R2: Edat =jove AND deficiencia = miope AND astigmatisme = no AND producció llacrimal = normal Lents = toves

…R24: Edat = prebiòpic AND deficiència = hipermètrope AND Astigmatisme = sí

AND producció llacrimal = normal Lents = cap

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms






Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms



Per cada regla, trobem la instància més propera:

R1: Edat =jove AND deficiencia = miope AND astigmatisme = noAND producció llacrimal = reduïda Lents = cap

I3: Edat =jove AND deficiencia = miope AND astigmatisme = siAND producció llacrimal = reduïda Lents = cap

. . . Generalitzem:

Nova ReglaEdat =jove AND deficiencia = miope AND producció llacrimal =

reduïda Lents = cap

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Results and Evaluation

Testing of all algorithms with:

5 different databases Discretization of continuous attibutes in different ranges Defining as a class attribute both discrete and continuous attributes

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Conclusions

Algorithm performance:

Rules: pot arribar a trigar molt en executar-se. Possible explosió combinatòria. (BD no necessàriament són grans, amb molts selectors). Recomanem discretitzar els atributs continus en 3 o 5 rangs en comptes de 10.

Prism: cost temporal baix. Poques regles, totes de precisió 100%. CN2: El cost temporal és directament proporcional al nombre del nombre

d’atributs, el nombre de parells atribut-valor i el valor K. Rise: genera moltes regles. Naturalesa específic-general. Temps d’execució

proporcional al nombre d’instàncies.


Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms

Models discriminantsRaonament basat en casos (CBR)

Aprenentatge basat en instàncies (IBL)

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms

© Miquel Sànchez i Marrè, KEMLG – Advanced 104

CBR vs RBR? (1) Why CBR?

Problem: Most of the time the trouble in building Expert Systems comes from trying to fit experience into rules.

Usually it is hard for an expert in a domain the abstraction needed to create generic rules from specific past episodes.

Experience

RULESRules

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


CBR vs RBR (2) The CBR Solution:

to directly use experience (past episodes) in the reasoning (reason by analogy).

No translation is needed.

OldExperience

NewExperience

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms

© Miquel Sànchez i Marrè, KEMLG – Advanced Techniques in Machine Learning. Course 106

What is CBR? (3) A definition:

“.... transferring knowledge from past problem solvingepisodes to new problems that share significantaspects with corresponding past experience andusing the transferred knowledge to constructsolutions to new problems.”

(Carbonell, 1986)

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


What is CBR? (2)

CBR: A methodology of solving new problems by adapting the solutions of previous similar problems

It uses cases as an episodic memory (Case Library).

Solution

Problem

New Solution

New Problem

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


CBR Antecedents

Foundations of CBR

Our general knowledge about situations is recorded as scripts [Schank & Abelson, 1977]

Cognitive model is the Theory of Dynamic Memory [Schank, 1982]:

Indexing is the key to use experience in understanding

Remembering, understanding, experiencing, and learning cannot be separated from each other

Human memory is dynamic, and change as a result of its experiences

CBR derives from a view of understanding problem-solving as an explanation process [Riesbeck & Schank, 1989]

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Raonament Basat en Casos (VI)

newcase

retrievedcases

bestcase

adaptedsolution

evaluatedsolution

(fail/success)

Retrieve

Adapt Eval

Learncase

to store

CASELIBRARY

DOMAINKNOWLEDGE

El cicle del CBR:

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Comparison against other methods

Rule-Based Reasoning Rules express generic knowledge

(patterns) Rules used in the inferential process

exactly match with the input problem

It is difficult to learn new rules andmaintain the consistency Static knowledge No learning skills

It is difficult to acquire the expert knowledge to build the Rule Base

Performance is constant

Case-Based Reasoning Cases express specific or episodic

knowledge (constants) Cases used in the inferential process

partially match with the input problem It is easy to learn new cases, storing

them in the Case Base Dynamic knowledge Learning skills

It is relatively easy to acquire the expert knowledge to build the Case Base

Performance improves along time

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


ExamplesExtracted from [Kolodner, 1993] CHEF [Hammond, 1986, 1989], a case-based planner for recipe creation

CASEY [Koton 1988, 1989], a case-based diagnosis program to diagnose a causal explanation of the patient disorders

JULIA [Hinrichs 1988-1992], a case-based designer in the domain of mealplanning

HYPO [Ashley, 1990], a case-based interpretive program that works in thedomain of law

PROTOS [Bareiss, 1989], a case-based classification program for audiological disorders

CLAVIER [Hennessy & Hinkle, 1992], a case-based program for configuration of the layout of composite airplane parts for curing in autoclave

BATTLE [Goodman, 1989], a case-based program for battle planning

ARCHIE [Pearce et al., 1992], a case-based design program for architecture

MEDIATOR [Simpson, 1985], a case-based arbitration program for dispute resolution

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Components d’un sistema CBR

Casos Plans o estructurats

Llibreria de casos Memòria plana o jeràrquica/xarxa

Mètode/s de recuperació Cerca o indexació a la llibreria Avaluació de la semblança

Mètodes/s d’adaptació

Mètode/s d’avaluació

Tipus d’aprenentatge

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Exemples

CHEF [Hammond, 1986, 1989], a case-based planner for recipe creation

CASEY [Koton 1988, 1989], a case-based diagnosis program to diagnose a causal explanation of the patient disorders

JULIA [Hinrichs 1988-1992], a case-based designer in the domain of meal planning

HYPO [Ashley, 1990], a case-based interpretive program that works in the domain of law

PROTOS [Bareiss, 1989], a case-based classification program for audiological disorders

CLAVIER[Hennessy & Hinkle, 1992], a case-based program for configuration of the layout of composite airplane parts for curing in autoclave

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Representació dels casos Attribute-value representation: a case is a set of

features case identifier derivation of the case description of the problem diagnostic of the problem solution to the problem evaluation of the solution (success/failure) utility measure other relevant information

Structured representation: a case is a structure relating features and other elements tree or network

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Recuperació de Casos / Retrieve (1) Recuperació de casos és més difícil que la

recuperació(consulta) en BD. Recuperació en BD = “matching” exacte

Recuperació en CBR = “matching” parcial (semblança)

Semblança: es calcula entre descripcions de casos,

sol esser una funció d’evaluació heurística o distància,

pot esser dependent del domini.

un exemple: descripció del cas = conjunt d’atributs

mesura de semblança =

La Recuperació ha d’intentar maximitzar la semblança entre el cas actual i el(s) cas(os) recuperat(s).

n

kjkikkji CCdistatrwCCdist

1),(_),(

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Recuperació de Casos / Retrieve (2) La eficiència del procés de recuperació depén

fortament de la organització de la Case Library dues aproximacions:

La estructura de la Case Lib. i la representació del cas facilita la recuperació dels casos rellevants i la seva comparació amb el problema en curs

Memòries planes

• Fàcils de gestionar• Lentes a la recuperació• Sempre troba el millor

Memòries jeràrquiques

• Difícils de gestionar• Ràpides a la recuperació• Cerca heurística

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Adaptació / Adaption Quan el cas seleccionat de la Case Lib. no concorda

perfectament amb el nou cas, la solució antiga ha d’esser adaptada poer obtenir la nova solució.

Estratègies:

adaptació nul·la

adaptació estructural

mètodes de substitució

mètodes de transformació

adaptació ad-hoc (special-purpose)

adaptació derivacional

La adaptació és un procés altament depenent del domini.

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Avaluació / Evaluation Qualificar la qualitat de la solució.

Tres formes de fer-ho:

Executar la solució en el mon real

Preguntar a un expert humà

Fer una simulació (laboratori, computeritzada, etc…)

Aprenentatge:

Aprenentatge per observacions (conj. de casos inicials)

Aprenentatge per experiència

Aprenentatge dels èxits

Aprenentatge del fracàs

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Aprenentatge / Learning

Aprenentatge per observacions (conj. de casos inicials)

Aprenentatge per experiència

Aprenentatge dels èxits

Aprenentatge del fracàs

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


CBR Applicability

When a large historical data repository is available

When experts describe their domain through examples

When experience is so valuable as the knowledge from textbooks

When problems are not completely understood (weakdomain models, porr domain knowledge)

There are too many exceptions to general knowledge

When cases with similar solutions have similar problem descriptions

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Aplicacions del CBR

Diagnòsi de fallades en màquines

Diagnòsi de xarxes de computadors

Diagnòsi mèdica

Anàlisi de crèdits

Predicció de diposits geològics

Planificació de Batalles

Classificació dels missatges Telex d’un banc

Reconeixement de la parla

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


CBR Advantages

Fast solution proposal, as it does not start from scratch, using previous experiences

Easiness to extract expert or domain knowledge to createthe case library

Past failed experiences can be used to prevent making thesame mistakes in the future

Integration of learning skills is simple CBR system improves its performance along time

Exceptional cases could be easily managed

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


CBR Shortcomings

The whole Case Base is not always explored, and thusnon-optimal solutions could be found

A large size of memory could be required

Global consistency of all the cases could be difficult tomaintain

Adaptation functions must be defined for each domain.

A CBR system cannot reason about what has neverhappened

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Comparison against other methods

Rule-Based Reasoning Rules express generic knowledge

(patterns) Rules used in the inferential process

exactly match with the input problem

It is difficult to learn new rules andmaintain the consistency Static knowledge No learning skills

It is difficult to acquire the expert knowledge to build the Rule Base

Performance is constant

Case-Based Reasoning Cases express specific or episodic

knowledge (constants) Cases used in the inferential process

partially match with the input problem It is easy to learn new cases, storing

them in the Case Base Dynamic knowledge Learning skills

It is relatively easy to acquire the expert knowledge to build the Case Base

Performance improves along time

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Combination of CBR and RBR?

Engegar tots dos sistemes alhora Les regles diuen que s’ha de fer normalment Els casos recorden experìencies pasades (positives o

negatives) Problema: Què fer quan es contradiuen?

Extracció de coneixement genèric a partir de coneixement específic Quan es té un conjunt de casos amb similars solucions,

es pot generalitzar el coneixement en forma de regla i incorporar-ho a la Base de Regles Aprenentatge segur de regles


Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms

Predictive Models

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Predictive Models

Predictive Models (IA) Connectionist Models, Evolutionary Computation, Collective

Computation (Smart Intelligence). (Stats) Simple and Multiple Linear Regression, Variance Analysis,

Time Series Models. (IA&Stats) Regression Trees, Model Trees


Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms

Predictive Models

(AI) Connectionist Models (ANNs)

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms

ANN emulate the Neural Network of the brain

Human brain contains 10 billion neurons approx. Each one connected, at least, to other 10.000 neurons.

Signals are transmitted through the neurons

Input Output

Signal

Artificial Neural Networks (ANN)

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms

A simple model of one artificial neuron

x0

x1

x2y

xr

...

Σ f

w1,0

w1,r

b

1

inputs neuron

output y = f(Wx+b)n

N: network input

F: Activation function

wij: weights


Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms

Brain properties emulated by ANNs:

Parallel and Distributed Computation Dense connection of basic units Connections can be modified through experience Learning is constant

Elements input

hidden layer

output layer

Structure of a multi-layer network


Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms



Coding or Training Step Decoding or Classification Step Perceptrons, Backpropagation technique and Kohonen

Maps.


Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms

Predictive Models

(AI) Evolutionary Computing (GA, GP)

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Genetic Algorithms

Evolutionary behaviour inspired in Biology

Steps Set a characterisation of the problem to be solved with a

determined string coding each individual/chromosome (usually binary code)

Generate an initial population of individuals (random) Evaluate the chromosomes according to the fitness function Select the best chromosomes Stop the process if a satisfactory solution or a maximum number

of iterations is reached Apply genetic operators (crossover, mutation, inversion, etc.) to

the best chromosomes Configure the new evolved population and go to step 3

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Genetic Operators

Simple Crossover

Double Crossover

Mutation

Inversion


Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms

Predictive Models

(Stats) Multiple Linear Regression

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Models for the CPU performance data

PRP =- 56.1+ 0.049 MYCT+ 0.015 MMIN+ 0.006 MMAX+ 0.630 CACH- 0.270 CHMIN+ 1.46 CHMAX

Linear Regression


Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms

Predictive Models

(AI & Stats) Hybrid Regression Models

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms



Regression Tree

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms



Model Tree

Inte

llige

nt D

ecis

ion

Supp

ort S

yste

ms


Miquel Sànchez i Marrè, Karina Gibert([email protected], [email protected])

http://kemlg.upc.edu/

Intelligent Decision Support Systemsmiquel/idss/IDSS-Part 5-MAI-1112.pdfMotors d’inferències...

Documents

Transcript of Intelligent Decision Support Systemsmiquel/idss/IDSS-Part 5-MAI-1112.pdfMotors d’inferències...