120 likes | 215 Vues
In statistical modeling, all attributes are equally important and independent. Naïve Bayes simplifies calculations, yielding surprisingly good results despite its unrealistic assumption of attribute independence. This method, rooted in Bayes' Rule, counts attribute-value occurrences to infer probabilities. Illustrated using a weather prediction problem, it provides a basic understanding of Bayesian statistics.
E N D
NaïveBayes • Na modelagem estatística, todos os atributos são considerados igualmente importantes e independentes um do outro, dada uma classe • Apesar desta suposição irrealista, ela conduz a um esquema bastante simples, com resultados surpreendentemente bons • A idéia é contar quantas vezes cada par atributo-valor ocorre com cada valor do atributo-classe • Este método simples e intuitivo é baseado na Regra de Bayes, de probabilidade condicional
Es ta do /Tem pera tura sim não sim não ensolarado 2 3 quente 2 2 nublado 4 0 amena 4 2 chuvoso 3 2 fria 3 1 ensolarado 2/9 3/5 quente 2/9 2/5 nublado 4/9 0/5 amena 4/9 2/5 chuvoso 3/9 2/5 fria 3/9 1/5
/Umi da de /Ven ta nia Jo go sim não sim não sim não alta 3 4 falso 6 2 9 5 normal 6 1 verdade 3 3 alta 3/9 4/5 falso 6/9 2/5 normal 6/9 1/5 verdade 3/9 3/5 9/14 5/14
A idéia de um programa Oráculo, ou Preditor, baseado em estatísticas de Bayes
Estado Temp. Umidade Ventania Jogo ensol. fria alta verdade ?
Probabilidade de ter jogo (tem_jogo = 'sim') • 2/9 x 3/9 x 3/9 x 3/9 x 9/14 = 0.0053 • Probabilidade de não ter jogo (tem_jogo = 'não') • 3/5 x 1/5 x 4/5 x 3/5 x 5/14 = 0.0206 • Conclusão: para o dia previsto ensolarado, frio, ventoso e com umidade alta é aproximadamente quatro vezes mais provável que não haja jogo
Probabilidades em percentagem • P[sim] = 0.0053 / (0.0053 + 0.0206) = 20.5% • P[não] = 0.0206 / (0.0053 + 0.0206) = 79.5%
Rodando WEKANaiveBayesSimple === Classifier model (full training set) === Naive Bayes (simple) Class yes: P(C) = 0.625 Attribute outlook sunny overcast rainy 0.25 0.41666667 0.33333333 ...
Class no: P(C) = 0.375 Attribute outlook sunny overcast rainy 0.5 0.125 0.375 ...
Note a enorme imprecisão da vírgula flutuante na WEKA • Na nossa planilha • 9/14 = 0,643 • 5/14 = 0,357 • Na WEKA • 9/14 = 0,625 • 5/14 = 0,375