O Classificador Probabilístico Naive Bayes

pastor Thomas Bayes

o algoritmo

Naive Bayes é um algoritmo probabilístico que tem sido fortemente utilizado em aprendizagem de máquina. É amplamente utilizado para resolver problemas de classificação.

Além disso, este algoritmo funciona perfeitamente em problemas classificação de texto eanálise de texto — processamento de linguagem natural (PNL), uma das subáres da Inteligência Artificial.

o teorema

O algoritmo Naive Bayes é baseado no teorema de Bayes. Em termos simples, o teorema de Bayes é uma maneira de encontrar uma probabilidade quando já conhecemos outras probabilidades.

A partir da fórmula, podemos inferir que a probabilidade de B já ocorreu a fim de determinar a probabilidade de A:

  • P(A B) é a probabilidade posterior ou a probabilidade de A ocorrer dado o evento B já ocorrido
  • P(B|A) é a probabilidade, ou a probabilidade de B dado A
  • P(A), P(B) é a probabilidade prévia de ocorrer o evento A e B

qual é a chance de chuva durante o dia de hoje?

Um grupo de pessoas planejando um piquenique para hoje, mas já amanheceu nublado e temos aqui algumas percepções sobre o tempo:

  • 50% de todos os dias chuvosos começam nublados.
  • Manhãs nubladas são comuns (cerca de 40% dos dias começam nublados)
  • Este é geralmente um mês seco (apenas 3 de 30 dias tendem a ser chuvosos, ou 10%)

correlacionando chuva ao tempo

Aqui, correlacionamos a chuva e as nuvens. Usando-as podemos determinar a fórmula como abaixo:

P(chuva|nuvem) = {P(chuva) * P(nuvem|chuva) / P(nuvem)}

portanto:

  • P(nuvem|chuva) a probabilidade de céu nublado e chover é de 50%
  • P(nuvem) a probabilidade de dias nublados 40%
  • P(chuva) a probabilidade de chover 10%
  • P(Chuva| Nuvem) = 0,1 * 0,5/0,4 = 0,125 = 12.5%

a chance de chuva é de 12,5%. Vamos ao piquenique!

Os Naive Bayes são uma coleção de algoritmos de classificação baseados no teorema de Bayes. Não é um único algoritmo, mas uma família de algoritmos onde todos eles compartilham um princípio comum, ou seja, cada par de recursos que estão sendo classificados é independente um do outro.

uma fruta pode ser considerada uma maçã se for vermelha, redonda e com cerca de 10 cm de diâmetro.

Um classificador Naive Bayes considera cada uma dessas características para contribuir independentemente para a probabilidade de que este fruto seja uma maçã, independentemente de possíveis correlações entre as características de cor, arredondamento e diâmetro.

roubo de carros

Vamos dar um exemplo para obter alguma intuição melhor. Considere o problema de roubo de carro com atributos relacionados ao carro:

  • Cor
  • Tipo
  • Origem
  • Já foi roubado?

Precisamos classificar se o carro é roubado, dadas as características do carro. Se pegarmos a primeira linha do conjunto de dados, podemos observar que o carro é roubado se a Cor é Vermelha, o Tipo é Esporte e a Origem é Doméstica.

Então queremos classificar que um SUV doméstico vermelho está sendo roubado ou não. Observe que não há exemplo de um SUV doméstico vermelho em nosso conjunto de dados.

tabela de frequências

A probabilidade posterior P(y| X) pode ser calculado primeiro, criando uma Tabela de Frequência para cada atributo contra o alvo.

Em seguida, moldando as tabelas de frequência para Tabelas de Probabilidade e, finalmente, usando a equação bayesiana para calcular a probabilidade posterior para cada classe.

probabilidade de furto por cor
probabilidade de furto por tipo
probabilidade de furto por origem fabricação

lista de recursos a considerar o roubo

hoje = (Vermelho, SUV, Doméstico)

para deteminar se o carro SIM é roubado

P(Sim|hoje) =

{P(Vermelho| Sim) * P(SUV| Sim) * P(Doméstico| Sim) * P(Sim)/P(hoje)}

determinar que o carro NÃO é roubado

P (Não|hoje) =

{P(Vermelho| No) * P(SUV| No) * P(Doméstico| No) * P(No)/P(hoje)}

Uma vez que P(hoje) é comum em ambas as probabilidades, podemos ignorar p(hoje) e encontrar probabilidades:

P (Sim| hoje) = 3/5 * 1/5 * 2/5 * 1 = 0,048 = 4.8%

P (Não| hoje) = 2/5 * 3/5 * 3/5 * 1 = 0,144 = 14.4%

Sendo para hoje Não 0,144 > 0,048 que para hoje sim, o que significa que dadas as características SUV, vermelho e doméstico, nosso exemplo é classificado como ‘NÃO’, o carro não será roubado.

O método que discutimos acima é aplicável a dados discretos. No caso de dados contínuos, precisamos fazer algumas suposições sobre a distribuição de valores de cada recurso.

Espero que este artigo o ajude a dar uma ideia melhor de Naive Bayes, assim como me ajudou.

Obrigado.

Composing a repository of books (i bought), authors (i follow) & blogs (direct ones) for my own understanding.

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store