Desalination: Regulatory Perspectives, Stacey Steinbach, TAGD
Classificadores Bayesianos Introduction to Data Mining (Cap. 5.3) Tan, Steinbach, Kumar
description
Transcript of Classificadores Bayesianos Introduction to Data Mining (Cap. 5.3) Tan, Steinbach, Kumar
Classificadores Bayesianos
Introduction to Data Mining (Cap. 5.3)
Tan, Steinbach, KumarIrineu Júnior Pinheiro dos Santos
Mirela Ferreira CésarRoberto Ribeiro Castro Menezes
2
Sumário Introdução Teorema de Bayes
Teorema de Bayes na Classificação Classificador Naive Bayes
M-Estimate das Probabilidades Condicionais
3
Introdução - Conceitos
Classificadores Bayesianos são classificadores estatísticos que tem a função de classificar um objeto numa determinada classe, baseando-se na probabilidade deste objeto pertencer a esta classe.
Em muitas aplicações, a relação entre o conjunto de atributos e a variável classe são não-determinísticos.
4
Introdução - Exemplo
Predizer quando uma pessoa tem doença no coração considerando os fatores alimentação saudável e freqüência que pratica exercícios.
5
Introdução - Exemplo
Outros Fatores podem ocasionar a doença: fumo,
colesterol elevado e hereditariedade.
Doença no coração?
AlimentaçãoSaudável eExercícios
Relação não determinística
6
Teorema de Bayes Fornece o cálculo das probabilidades de que uma
determinada amostra de dados pertença a cada uma das classes possíveis, predizendo para a amostra, a classe mais provável.
Considerando X e Y variáveis aleatórias, uma probabilidade condicional P(Y|X) refere-se a probabilidade de Y assumir um valor determinado, observando-se o valor assumido por X.
)(
)()|()|(
XP
YPYXPXYP
7
Teorema de Bayes na Classificação Exemplo:
ID Idade Renda Estudante Crédito Compra_computador1 <= 30 Alta Não Bom Não2 <= 30 Alta Não Bom Não3 31..40 Alta Não Bom Sim4 > 40 Média Não Bom Sim5 > 40 Baixa Sim Bom Sim6 > 40 Baixa Sim Excelente Não7 31..40 Baixa Sim Excelente Sim8 <= 30 Média Não Bom Não9 <= 30 Baixa Sim Bom Sim10 > 40 Média Sim Bom Sim11 <= 30 Média Sim Excelente Sim12 31..40 Média Não Excelente Sim13 31..40 Alta Sim Bom Sim14 > 40 Média Não Excelente Não
Classificar os seguintes valores:X = (Idade <= 30, Renda = Media, Estudante = sim, Crédito = bom)Y = Compra_Computador?
8
Teorema de Bayes na Classificação Exemplo:
ID Idade Renda Estudante Crédito Compra_computador1 <= 30 Alta Não Bom Não2 <= 30 Alta Não Bom Não3 31..40 Alta Não Bom Sim4 > 40 Média Não Bom Sim5 > 40 Baixa Sim Bom Sim6 > 40 Baixa Sim Excelente Não7 31..40 Baixa Sim Excelente Sim8 <= 30 Média Não Bom Não9 <= 30 Baixa Sim Bom Sim10 > 40 Média Sim Bom Sim11 <= 30 Média Sim Excelente Sim12 31..40 Média Não Excelente Sim13 31..40 Alta Sim Bom Sim14 > 40 Média Não Excelente Não
P(Y=sim) e P(Y=não)P(Y=sim) = 9/14 = 0,643 P(Y=não) = 5/14 = 0,357 = 1-P(Y=sim)
9
Teorema de Bayes na Classificação X = (Idade <= 30, Renda = Media, Estudante = sim, Crédito = bom)
ID Idade Renda Estudante Crédito Compra_computador1 <= 30 Alta Não Bom Não2 <= 30 Alta Não Bom Não3 31..40 Alta Não Bom Sim4 > 40 Média Não Bom Sim5 > 40 Baixa Sim Bom Sim6 > 40 Baixa Sim Excelente Não7 31..40 Baixa Sim Excelente Sim8 <= 30 Média Não Bom Não9 <= 30 Baixa Sim Bom Sim10 > 40 Média Sim Bom Sim11 <= 30 Média Sim Excelente Sim12 31..40 Média Não Excelente Sim13 31..40 Alta Sim Bom Sim14 > 40 Média Não Excelente Não
Probabilidades:P[Idade <= 30 | Y = sim] = 2/9 = 0,222P[Idade <= 30 | Y = não] = 3/5 = 0,6
10
Teorema de Bayes na Classificação X = (Idade <= 30, Renda = Media, Estudante = sim, Crédito = bom)
ID Idade Renda Estudante Crédito Compra_computador1 <= 30 Alta Não Bom Não2 <= 30 Alta Não Bom Não3 31..40 Alta Não Bom Sim4 > 40 Média Não Bom Sim5 > 40 Baixa Sim Bom Sim6 > 40 Baixa Sim Excelente Não7 31..40 Baixa Sim Excelente Sim8 <= 30 Média Não Bom Não9 <= 30 Baixa Sim Bom Sim10 > 40 Média Sim Bom Sim11 <= 30 Média Sim Excelente Sim12 31..40 Média Não Excelente Sim13 31..40 Alta Sim Bom Sim14 > 40 Média Não Excelente Não
Probabilidades:P[Renda = Media | Y = sim] = 4/9 = 0,444P[Renda = Media | Y = não] = 2/5 = 0,4
11
Teorema de Bayes na Classificação X = (Idade <= 30, Renda = Media, Estudante = sim, Crédito = bom)
ID Idade Renda Estudante Crédito Compra_computador1 <= 30 Alta Não Bom Não2 <= 30 Alta Não Bom Não3 31..40 Alta Não Bom Sim4 > 40 Média Não Bom Sim5 > 40 Baixa Sim Bom Sim6 > 40 Baixa Sim Excelente Não7 31..40 Baixa Sim Excelente Sim8 <= 30 Média Não Bom Não9 <= 30 Baixa Sim Bom Sim10 > 40 Média Sim Bom Sim11 <= 30 Média Sim Excelente Sim12 31..40 Média Não Excelente Sim13 31..40 Alta Sim Bom Sim14 > 40 Média Não Excelente Não
Probabilidades:P[Estudante = sim | Y = sim] = 6/9 = 0,667P[Estudante = sim | Y = não] =1/5 = 0,2
12
Teorema de Bayes na Classificação X = (Idade <= 30, Renda = Media, Estudante = sim, Crédito = bom)
ID Idade Renda Estudante Crédito Compra_computador1 <= 30 Alta Não Bom Não2 <= 30 Alta Não Bom Não3 31..40 Alta Não Bom Sim4 > 40 Média Não Bom Sim5 > 40 Baixa Sim Bom Sim6 > 40 Baixa Sim Excelente Não7 31..40 Baixa Sim Excelente Sim8 <= 30 Média Não Bom Não9 <= 30 Baixa Sim Bom Sim10 > 40 Média Sim Bom Sim11 <= 30 Média Sim Excelente Sim12 31..40 Média Não Excelente Sim13 31..40 Alta Sim Bom Sim14 > 40 Média Não Excelente Não
Probabilidades:P[Credito = bom | Y = sim] = 6/9 = 0,667P[Credito = bom | Y = não] = 2/5 = 0,4
13
Teorema de Bayes na Classificação Calculamos isoladamente o valor da probabilidade
condicional de cada atributo, mas para que eles sejam calculado de forma interseccionada, temos:
P[x1, x
2,... x
d | C] = P(x
1| C) * P(x
2| C) * … * P(x
d| C)
Com isso, é possível chegar a uma forma mais geral do Teorema de Bayes:
)(
)|()()|( 1
XP
YXPYPXYP i
di
14
Teorema de Bayes na ClassificaçãoTemos:
P(X|Y=sim) = 0,222 * 0,444 * 0,667 * 0,667 = 0,044
P(X|Y=não) = 0,6 * 0,4 * 0,2 * 0,4 = 0,019
Pela lei da probabilidade total:
P(X) = P(X|Y=sim)*P(Y=sim) + P(X|Y=não)*P(Y=não)
P(X) = 0,044*0,643 + 0,019*0,357 = 0,028 + 0,007 = 0,035
P(X|Y=sim) * P(Y=sim) / P(X) = 0,044 * 0,643 = 0,028 / 0,035 = 0,8
P(X|Y=não) * P(Y=não) / P(X) = 0,019 * 0,357 = 0,007 / 0,035 = 0,2
Ou seja, P(X|Y=sim) > P(X|Y=não) O classificador Bayesiano prediz que a tupla X é classificada
na classe Compra-Computador = sim
15
Classificador Naive Bayes Um classificador Naive Bayes estima a probabilidade de
classe condicional P(X|Y).
Pré-considerações: Assume-se que os atributos são condicionalmente
independentes (Naive Bayes ingênuo ou simples); As probabilidades condicionais são estimadas para os atributos
de acordo com a sua classificação: Categórico; Contínuo.
16
Atributos Condicionalmente Independentes São atributos que apresentam independência estatística
entre si: Dois eventos são estatisticamente independentes se a
probabilidade da ocorrência de um evento não é afetada pela ocorrência do outro evento.
Exemplo: Tamanho do braço x Habilidades de Leitura
Considerando a Idade, a dependência não ocorre.
17
Atributos Categóricos É aquele atributo para o qual é possível estabelecer um
conjunto de valores finito.
Exemplo: Sexo: {Masculino, Feminino} Cor da Pele: {Branca, Marrom, Amarela, Preta}
18
Atributos Categóricos Para uso no algoritmo Naive Bayes:
Estima-se a fração das instâncias de treinamento de acordo com cada valor da classe.
Exemplo:
Casa Própria Estado Civil Inadimplente
Sim Casado Sim
Sim Solteiro Não
Não Casado Não
Sim Divorciado Não
P(Casa Própria=Sim|Não)
19
Atributos Categóricos
Exemplo:
Casa Própria Estado Civil Inadimplente
Sim Casado Sim
Sim Solteiro Não
Não Casado Não
Sim Divorciado Não
P(Casa Própria=Sim|Não) = 2/3
20
Atributos Contínuos
São considerados contínuos os atributos que possuem muitos ou infinitos valores possíveis
Exemplo: Idade: Peso:
00R
21
Atributos Contínuos Existem duas formas de estimar a probabilidade de
classe condicional para atributos contínuos: Discretização dos atributos; Distribuição Gaussiana.
22
Atributos Contínuos Discretização de atributos contínuos:
Os atributos contínuos são divididos em intervalos discretos, que substituem os valores desses atributos.
Esta abordagem transforma os atributos contínuos em atributos ordinais.
A transformação dos atributos contínuos em atributos discretos permite que sejam tratados como atributos categóricos.
23
Atributos Contínuos Distribuição Gaussiana:
Assume uma certa forma de distribuição de probabilidade para variáveis contínuas, e estima os parâmetros da distribuição usando os dados de treinamento.
Caracterizada por dois parâmetros: Média (µ) Variância (σ2) da amostra
24
Atributos Contínuos
Para cada valor de classe y, a probabilidade da classe condicional para o atributo X é:
n
y
2
2
2exp
2
1)|(
x
yYxXP
1
22
n
x
25
Classificador Naive Bayes
Registro Casa Própria Estado Civil Renda Anual Inadimplente
1 Sim Solteiro 125K Não
2 Não Casado 100K Não
3 Não Solteiro 70K Não
4 Sim Casado 120K Não
5 Não Divorciado 95K Sim
6 Não Casado 60K Não
7 Sim Divorciado 220K Não
8 Não Solteiro 85K Sim
9 Não Casado 75K Não
10 Não Solteiro 90K Sim
Atributos Categóricos Atributos Contínuos Classe
Exemplo: Dado o seguinte conjunto de treinamento:
26
Classificador Naive Bayes Cálculo dos atributos categóricos:
Registro Casa Própria Estado Civil Renda Anual Inadimplente
1 Sim Solteiro 125K Não
2 Não Casado 100K Não
3 Não Solteiro 70K Não
4 Sim Casado 120K Não
5 Não Divorciado 95K Sim
6 Não Casado 60K Não
7 Sim Divorciado 220K Não
8 Não Solteiro 85K Sim
9 Não Casado 75K Não
10 Não Solteiro 90K Sim
P(Casa Própria=Sim|Não) = 3/7
27
Classificador Naive Bayes
Registro Casa Própria Estado Civil Renda Anual Inadimplente
1 Sim Solteiro 125K Não
2 Não Casado 100K Não
3 Não Solteiro 70K Não
4 Sim Casado 120K Não
5 Não Divorciado 95K Sim
6 Não Casado 60K Não
7 Sim Divorciado 220K Não
8 Não Solteiro 85K Sim
9 Não Casado 75K Não
10 Não Solteiro 90K Sim
P(Casa Própria=Sim|Não) = 3/7
P(Casa Própria=Não|Não) = 4/7
Cálculo dos atributos categóricos:
28
Classificador Naive Bayes
Registro Casa Própria Estado Civil Renda Anual Inadimplente
1 Sim Solteiro 125K Não
2 Não Casado 100K Não
3 Não Solteiro 70K Não
4 Sim Casado 120K Não
5 Não Divorciado 95K Sim
6 Não Casado 60K Não
7 Sim Divorciado 220K Não
8 Não Solteiro 85K Sim
9 Não Casado 75K Não
10 Não Solteiro 90K Sim
P(Casa Própria=Sim|Não) = 3/7
P(Casa Própria=Não|Não) = 4/7
P(Casa Própria=Sim|Sim) = 0
Cálculo dos atributos categóricos:
29
Classificador Naive Bayes
Registro Casa Própria Estado Civil Renda Anual Inadimplente
1 Sim Solteiro 125K Não
2 Não Casado 100K Não
3 Não Solteiro 70K Não
4 Sim Casado 120K Não
5 Não Divorciado 95K Sim
6 Não Casado 60K Não
7 Sim Divorciado 220K Não
8 Não Solteiro 85K Sim
9 Não Casado 75K Não
10 Não Solteiro 90K Sim
P(Casa Própria=Sim|Não) = 3/7
P(Casa Própria=Não|Não) = 4/7
P(Casa Própria=Sim|Sim) = 0
P(Casa Própria=Não|Sim) = 1
Cálculo dos atributos categóricos:
30
Classificador Naive Bayes
Registro Casa Própria Estado Civil Renda Anual Inadimplente
1 Sim Solteiro 125K Não
2 Não Casado 100K Não
3 Não Solteiro 70K Não
4 Sim Casado 120K Não
5 Não Divorciado 95K Sim
6 Não Casado 60K Não
7 Sim Divorciado 220K Não
8 Não Solteiro 85K Sim
9 Não Casado 75K Não
10 Não Solteiro 90K Sim
P(Casa Própria=Sim|Não) = 3/7
P(Casa Própria=Não|Não) = 4/7
P(Casa Própria=Sim|Sim) = 0
P(Casa Própria=Não|Sim) = 1
P(Estado Civil=Solteiro|Não) = 2/7
P(Estado Civil=Divorciado|Não) = 1/7
P(Estado Civil=Casado|Não) = 4/7
P(Estado Civil=Solteiro|Sim) = 2/3
P(Estado Civil=Divorciado|Sim) = 1/3
P(Estado Civil=Casado|Sim) = 0
Cálculo dos atributos categóricos:
31
Classificador Naive Bayes
Registro Casa Própria Estado Civil Renda Anual Inadimplente
1 Sim Solteiro 125K Não
2 Não Casado 100K Não
3 Não Solteiro 70K Não
4 Sim Casado 120K Não
5 Não Divorciado 95K Sim
6 Não Casado 60K Não
7 Sim Divorciado 220K Não
8 Não Solteiro 85K Sim
9 Não Casado 75K Não
10 Não Solteiro 90K Sim
Média:
µ = (125 + 100 + 70 + 120 + 60 + 220 + 75) / 7 = 110
Variância:
σ2 = (125-110)2 + (100-110)2 + (70-110)2 + (120-110)2 + (60-110)2 + (220-110)2 + (75-110)2 / 6 = 2975
Cálculo dos atributos contínuos:
Para a classe Não
32
Classificador Naive Bayes
Registro Casa Própria Estado Civil Renda Anual Inadimplente
1 Sim Solteiro 125K Não
2 Não Casado 100K Não
3 Não Solteiro 70K Não
4 Sim Casado 120K Não
5 Não Divorciado 95K Sim
6 Não Casado 60K Não
7 Sim Divorciado 220K Não
8 Não Solteiro 85K Sim
9 Não Casado 75K Não
10 Não Solteiro 90K Sim
Cálculo dos atributos contínuos:
Para a classe Sim
Média:
µ = (95 + 85 + 90) / 3 = 90
Variância:
σ2 = (95-90)2 + (85-90)2 + (90-90)2 / 2 = 25
33
Classificador Naive Bayes
Registro Casa Própria Estado Civil Renda Anual Inadimplente
1 Sim Solteiro 125K Não
2 Não Casado 100K Não
3 Não Solteiro 70K Não
4 Sim Casado 120K Não
5 Não Divorciado 95K Sim
6 Não Casado 60K Não
7 Sim Divorciado 220K Não
8 Não Solteiro 85K Sim
9 Não Casado 75K Não
10 Não Solteiro 90K Sim
P(Casa Própria=Sim|Não) = 3/7
P(Casa Própria=Não|Não) = 4/7
P(Casa Própria=Sim|Sim) = 0
P(Casa Própria=Não|Sim) = 1
P(Estado Civil=Solteiro|Não) = 2/7
P(Estado Civil=Divorciado|Não) = 1/7
P(Estado Civil=Casado|Não) = 4/7
P(Estado Civil=Solteiro|Sim) = 2/3
P(Estado Civil=Divorciado|Sim) = 1/3
P(Estado Civil=Casado|Sim) = 0
Para o cálculo da Renda Anual:
Classe Não:
Média: 110 Variância: 2975
Classe Sim:
Média: 90 Variância: 25
Resultado dos cálculos básicos:
34
Classificador Naive Bayes Dado o conjunto de treinamento anterior, qual a
classe do seguinte registro de teste:
X = (Casa Própria=Não, Estado Civil=Casado, Renda Anual=120K)
Avaliar qual a maior probabilidade entre as probabilidades posteriores: P(Inadimplente=Não|X) e P(Inadimplente=Sim|X)
35
Classificador Naive Bayes Para calcular as probabilidades posteriores
P(Não|X) e P(Sim|X) necessitamos: Calcular as classes condicionais P(X|No) e P(X|Yes)
P(X|Não) P(Casa Própria=Não|Não) * P(Estado Civil=Casado|Não) * P(Renda Anual=120K|Não) 4/7 * 4/7 * 0,0072 0,0024
P(X|Sim) P(Casa Própria=Não|Sim) * P(Estado Civil=Casado|Sim) * P(Renda Anual=120K|Sim) 1 * 0 * 1,2x10-9 0
Distribuição Gaussiana
36
Classificador Naive Bayes Juntando os termos:
P(Não|X) α * P(Não) * P(X|Não) α * 7/10 * 0,0024 0,0016α Onde α = 1/P(X) → Termo constante!
Como a probabilidade condicional de P(X|Sim) é zero: P(Sim|X) = 0
Logo, P(Não|X) > P(Sim|X) O registro X é classificado como Não
37
M-Estimate das Probabilidades Condicionais
Problema: se a probabilidade da classe condicional de um dos atributos é zero, a probabilidade posterior para a classe inteira, quando avaliado esse atributo, também será.
Pois Lembre-se: P[x
1, x
2,... ,x
k | C] = P(x
1| C) * P(x
2| C) * … * P(x
k| C)
Quando essa condição existe para atributos das duas classes, o algoritmo não é capaz de classificar o registro.
38
M-Estimate das Probabilidades Condicionais Exemplo, imagine que o conjunto de treinamento fosse assim:
E agora queremos saber P(X | C) sendo X = (Casa Própria = Sim, Estado Civil = Divorciado, Renda = 120k)
Registro Casa Própria Estado Civil Renda Anual Inadimplente
1 Sim Solteiro 125K Não
2 Não Casado 100K Não
3 Não Solteiro 70K Não
4 Sim Casado 120K Não
5 Não Divorciado 95K Sim
6 Não Casado 60K Não
7 Sim Divorciado 220K Não
8 Não Solteiro 85K Sim
9 Não Casado 75K Não
10 Não Solteiro 90K Sim
39
Registro Casa Própria Estado Civil Renda Anual Inadimplente
1 Sim Solteiro 125K Não
2 Não Casado 100K Não
3 Não Solteiro 70K Não
4 Sim Casado 120K Não
5 Não Divorciado 95K Sim
6 Não Casado 60K Não
7 Sim Divorciado 220K Não
8 Não Solteiro 85K Sim
9 Não Casado 75K Não
10 Não Solteiro 90K Sim
M-Estimate das Probabilidades Condicionais
P(Não) = 6/9 = 0.666
40
Registro Casa Própria Estado Civil Renda Anual Inadimplente
1 Sim Solteiro 125K Não
2 Não Casado 100K Não
3 Não Solteiro 70K Não
4 Sim Casado 120K Não
5 Não Divorciado 95K Sim
6 Não Casado 60K Não
7 Sim Divorciado 220K Não
8 Não Solteiro 85K Sim
9 Não Casado 75K Não
10 Não Solteiro 90K Sim
M-Estimate das Probabilidades Condicionais
P(Não) = 6/9 = 0.666
P(Sim) = 3/9 = 0.333
41
Registro Casa Própria Estado Civil Renda Anual Inadimplente
1 Sim Solteiro 125K Não
2 Não Casado 100K Não
3 Não Solteiro 70K Não
4 Sim Casado 120K Não
5 Não Divorciado 95K Sim
6 Não Casado 60K Não
7 Sim Divorciado 220K Não
8 Não Solteiro 85K Sim
9 Não Casado 75K Não
10 Não Solteiro 90K Sim
M-Estimate das Probabilidades Condicionais
P(Não) = 6/9 = 0.666
P(Sim) = 3/9 = 0.333
P(Casa Própria = Sim | Não) = 2/6 = 0.33
42
Registro Casa Própria Estado Civil Renda Anual Inadimplente
1 Sim Solteiro 125K Não
2 Não Casado 100K Não
3 Não Solteiro 70K Não
4 Sim Casado 120K Não
5 Não Divorciado 95K Sim
6 Não Casado 60K Não
7 Sim Divorciado 220K Não
8 Não Solteiro 85K Sim
9 Não Casado 75K Não
10 Não Solteiro 90K Sim
M-Estimate das Probabilidades Condicionais
P(Não) = 6/9 = 0.666
P(Sim) = 3/9 = 0.333
P(Casa Própria = Sim | Não) = 2/6 = 0.33
P(Estado Civil = Divorciado | Não) = 0
43
Registro Casa Própria Estado Civil Renda Anual Inadimplente
1 Sim Solteiro 125K Não
2 Não Casado 100K Não
3 Não Solteiro 70K Não
4 Sim Casado 120K Não
5 Não Divorciado 95K Sim
6 Não Casado 60K Não
7 Sim Divorciado 220K Não
8 Não Solteiro 85K Sim
9 Não Casado 75K Não
10 Não Solteiro 90K Sim
M-Estimate das Probabilidades Condicionais
P(Não) = 6/9 = 0.666
P(Sim) = 3/9 = 0.333
P(Casa Própria = Sim | Não) = 2/6 = 0.33
P(Estado Civil = Divorciado | Não) = 0
P(Renda Anual = 120k | Não) = 0,0072
Média (µ) = 91,66kVariância (σ2) = 732,76
44
Registro Casa Própria Estado Civil Renda Anual Inadimplente
1 Sim Solteiro 125K Não
2 Não Casado 100K Não
3 Não Solteiro 70K Não
4 Sim Casado 120K Não
5 Não Divorciado 95K Sim
6 Não Casado 60K Não
7 Sim Divorciado 220K Não
8 Não Solteiro 85K Sim
9 Não Casado 75K Não
10 Não Solteiro 90K Sim
M-Estimate das Probabilidades Condicionais
P(Não) = 6/9 = 0.666
P(Sim) = 3/9 = 0.333
P(Casa Própria = Sim | Não) = 2/6 = 0.33
P(Estado Civil = Divorciado | Não) = 0
P(Renda Anual = 120 | Não) = 0,0072
P(Casa Própria = Sim | Yes) = 0/3 = 0
45
Registro Casa Própria Estado Civil Renda Anual Inadimplente
1 Sim Solteiro 125K Não
2 Não Casado 100K Não
3 Não Solteiro 70K Não
4 Sim Casado 120K Não
5 Não Divorciado 95K Sim
6 Não Casado 60K Não
7 Sim Divorciado 220K Não
8 Não Solteiro 85K Sim
9 Não Casado 75K Não
10 Não Solteiro 90K Sim
M-Estimate das Probabilidades Condicionais
P(Não) = 6/9 = 0.666
P(Sim) = 3/9 = 0.333
P(Casa Própria = Sim | Não) = 2/6 = 0.33
P(Estado Civil = Divorciado | Não) = 0
P(Renda Anual = 120 | Não) = 0,0072
P(Casa Própria = Sim | Sim) = 0/3 = 0
P(Estado Civil = Divorciado | Sim) = 0.333
46
Registro Casa Própria Estado Civil Renda Anual Inadimplente
1 Sim Solteiro 125K Não
2 Não Casado 100K Não
3 Não Solteiro 70K Não
4 Sim Casado 120K Não
5 Não Divorciado 95K Sim
6 Não Casado 60K Não
7 Sim Divorciado 220K Não
8 Não Solteiro 85K Sim
9 Não Casado 75K Não
10 Não Solteiro 90K Sim
M-Estimate das Probabilidades Condicionais
P(Não) = 6/9 = 0.666
P(Sim) = 3/9 = 0.333
P(Casa Própria = Sim | Não) = 2/6 = 0.33
P(Estado Civil = Divorciado | Não) = 0
P(Renda Anual = 120 | Não) = 0,0072
P(Casa Própria = Sim | Sim) = 0/3 = 0
P(Estado Civil = Divorciado | Sim) = 0.333
P(Renda Anual = 120 | Sim) = 1,2 * 10-9
47
M-Estimate das Probabilidades Condicionais
Aplicando a fórmula de Bayes:
P(C = Não | X) = α * 0.666 * (0.333 * 0 * 0,0072) P(C = Sim | X) = α * 0.333 * ( 0 * 0.333 * 1,2 * 10-9)
P(C = Não | X) = 0 P(C = Sim | X) = 0 Ou seja, o algoritmo não foi capaz de predizer a probabilidade
neste caso
48
M-Estimate das Probabilidades Condicionais
É possível contornar o problema utilizando a abordagem M-Estimate para o cálculo das probabilidades condicionais
49
M-Estimate das Probabilidades Condicionais
Onde: n é o número total de instâncias da classe y nc é o número de exemplos de treinamento da classe y com o valor x m é um parâmetro conhecido como o tamanho de amostra equivalente
m é dito valor de compensação p é um parâmetro especificado pelo usuário
+ ou – a proporção da classe no treinamento
Utilizando m = 3 e p = 2/3 (para a classe “Não”), é possível calcular a probabilidade condicional que anteriormente era zero: P(Estado Civil=Divorciado|Não) = (0 + 3*2/3)/(6+3) = 2/9
50
M-Estimate das Probabilidades Condicionais Assumindo p=1/3 para classe “Sim” e p=2/3 para a classe “Não”, as
classes condicionais dos demais atributos são calculadas: P(Casa própria=Sim|Não) = (2 + 3*2/3)/(6 + 3) = 4/9 = 0.444 P(Estado Civil = Divorciado | Não) = 2/9 = 0.222 (calculado na lâmina anterior) P(Renda Anual = 120k | Não) = 0,0072
P(C = Não | X) = α * 0.666 * (0.444 * 0.222 * 0,0072) = 0,004α
P(Casa própria=Sim|Sim) = (0 + 3*1/3)/(3 + 3) = 1/6 = 0,166 P(Estado Civil = Divorciado | Sim) = (1 + 3 * 1/3) / (3 + 3) = 2/6 = 0,333 P(Renda Anual = 120k | Sim) = 1,2 * 10-9
P(C = Sim | X) = α * 0.333 * ( 0,166 * 0.333 * 1,2 * 10-9) = 0,022 * 10-9α
Portanto, o algoritmo de Naive Bayes prediz que para o conjunto de atributos X utilizado, a classe deverá ser NÃO
51
Caracteristicas Naive Bayes
Vantagens: São robustos para isolar pontos de ruído, pois tais pontos são
calculados pela média quando estima-se a probabilidades condicionais dos dados.
Atributos irrelevantes não tem impacto na computação da probabilidade posterior.
Desvantagens: Atributos correlacionados degradam a performance de classificadores
bayesianos, pois a independência condicional não é mais assegurada.
Perguntas?