Viés, Variância, Tipos e Métodos em Machine Learning

Um breve esclarecimento sobre viés e variância

Business Intellingence é coisa do passado?

Muitas empresas ainda trabalham com modelos descritivos, que basicamente se preocupam basicamente em olhar para o passado. Business Intelligence que é amplamente usado, tem papel fundamental em analisar dados e extrair informações sobre o que aconteceu no passado. Afinal, quantos clientes perdemos nos últimos 3 meses? As fraudes aumentaram ou diminuíram no último ano?

Entretanto, nós temos hoje um volume de dados tão grande e cada vez maior, que começa a fazer sentido realizar algumas perguntas sobre o futuro.

À medida que o volume de dados aumenta, a capacidade computacional aumenta e temos cada vez mais profissionais trabalhando com análise preditiva, conseguimos cada vez mais realizar previsões.

Modelos preditivos identificam padrões ocultos nos dados

O modelo preditivo é uma função matemática que, aplicada a uma massa de dados, consegue identificar padrões ocultos e prever o que poderá ocorrer. Se é isso que a empresa precisa, então Machine Learning pode ser aplicado com sucesso.

Tipos de Aprendizagem

Para que o modelo preditivo aconteça, precisamos usar algoritmos de Machine Learning, que são baseados em diferentes tipos de aprendizagem. Os dois principais tipo de aprendizagem em aprendizado de máquina são:

Tipos de Aprendizagem

Para cada tipo de aprendizagem, temos algoritmos de acordo com o método que é usado para cada tipo de aprendizagem.

Aprendizagemos Supervisionada

Treinamos os dados com dados de entrada e dados de saída.

Aprendizagem Supervisionada

Aprendizagem Não Supervisionada

Neste caso passamos apenas os dados de entrada para um algoritmo de aprendizagem não-supervisionada assumir por si só classificação das saídas, um agrupamento por características semelhantes de acordo com as métricas do algoritmo.

Aprendizagem Não Supervisionada

Métodos de Aprendizagem

Além de decidir qual tipo de aprendizagem, devemos optar por qual método de aprendizagem, porque isso influenciará na precisão do modelo, no tempo de treinamento, resultado, complexidade do modelo…

Métodos de Aprendizagem

Bons modelos preditivos

A construção de bons modelos preditivos implica o domínio de um conjunto de metodologias e conceitos sem os quais a qualidade poderá ser afetada.

Objetivo da Análise preditiva

O objetivo da análise preditiva é ir além das estatísticas e mostrar, através dos dados coletados, uma melhor visão do que vai acontecer no futuro. Assim é possível coletar insights que levarão a decisões melhores.

1. Métodos de Aprendizagem Baseados em Instância

Os métodos de aprendizagem baseados em instâncias são métodos não paramétricos. A generalização é feita somente quando uma nova isntância tiver que ser classificada.

O conceito base por trás deste método é que os dados tendem a estar concentrados em uma mesma região no espaço de entrada.

Para compensar as diferenças entre os atributos contínuos, temos que normalizá-los para ficar no intervalo [0,1]. Métodos de aprendizagem baseados em instâncias assumem que as instâncias podem ser representadas como ponto em um espaço Euclidiano.

2. Método de Aprendizagem Baseada em Probabilidade

Os métodos probabilísticos bayesianos assumem que a probabilidade de um evento A, que pode ser uma classe, dado em um evento B, não depende apenas da relação entre A e B, mas também da probabilidade de observar A independentemente de B.

Teorema de Bayes

Um dos teoremas mais importantes da estatística, a base de tudo que fazemos com os métodos probabilísticos.

O método bayesiano está baseado na suposição de que, quantidades de interesse são reguladas por distribuições de probabilidade.

3. Método de Aprendizagem Baseada em Procura

Nesta categoria, temos um dos algoritmos mais poderoso em Machine Learning, como Árvores de Decisão e Random Forest.

Árvore de decisão também pode ser representada como conjuntos de regras IF-THEN-ELSE

Os Classificadores baseados em Árvores de Decisão são um dos ramos da Inteligência Artificial, mas especificamente o ramo de Aprendizado de Máquina. Isso se deve à sua habilidade de aprender através de exemplos com o objetivo de classificar registros em uma base de dados. Uma árvore de Decisão usa a estratégia dividir para conquistar, dividindo um problema complexo em problemas mais simples, subespações, aos quais recursivamente a mesma estratégia é aplicada.

4. Método de Aprendizagem baseada em Otimização

Algumas técnicas de Machine Learning realizam a busca pela hipótese que descreve os dados, recorrendo à otimização de alguma função matemática. O objetivo consiste em minimizar ou maximizar uma função objetivo

Os métodos de aprendizado nesta categoria são as Redes Neurais e as SVMs

As redes neurais artificiais têm inspiração nas redes neurais biológicas presentes no cérebro humano, enquanto as SVMs têm suas origens na aplicação na teoria do aprendizado estatístico. O algoritmo das Redes Neurais envolve uma regra de correção de erros na qual se recorre à otimização de uma função matemática do erro entre as respostas da Rede Neural e as classes de exemplo.

O treinamento das SVMS envolve a solução de um problema de otimização quadrática, formulado com o objetivo de maximizar a margem de separação entre os objetos, ou seja, a separação entre as classes.

Viés e Variância

Como se não bastassem todas as técnicas exigidas de pré-processamento para alimentar os modelos de análise preditiva, mais todas as opções de configuração e otimização do algoritmo, temos ainda os erros e problemas na fase deaprendizagem e isso sem falar nas questões de armazenamento dos dados. O viés e variância são mais 2 desses problemas com os quais precisamos lidar. Ufa…

O que é viés?

Viés é a tendência de o modelo aprender consistentemente uma generalização incorreta. O viés é a distância entre a média do conjunto de estimativas e o único parâmetro a ser estimado.

Normalmente, modelos mais simples tem viés alto, mas variância baixa, enquanto modelos mais complexos tem viés baixo, mas variância alta (overfitting).

O que é variância?

A variância é valor esperado dos desvios quadrados de amostragem. Ele é usado para indicar quão distante, em média, o conjunto de estimativas está do valor esperado das estimativas.

Um modelo muito complexo, tem alta variância por ser capaz de aprender padrões que possam não ser reais. Isso faz com que, de forma contra intuitiva, os modelos mais complexos não sejam sempre a melhor alternativa e isso traz o desafio adicional de buscar o modelo que não seja tão complexo, mas ainda assim generalizável.

Mas o que significa um modelo ser mais complexo? Em geral, a complexidade de um modelo aumenta conforme o número de variáveis preditoras aumenta e conforme a capacidade do modelo de captar relações não lineares e interações entre as variáveis preditoras aumenta.

Obrigado.

Composing a repository of books (i bought), authors (i follow) & blogs (direct ones) for my own understanding.

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store