Árvores de decisão: a evolução do CART ao BART

O objetivo deste trabalho é apresentar a evolução do uso dos modelos de Árvore de Decisão cuja linhagem remonta ao modelo CART (Classication And RegressionTrees) apresentado na publica- ção seminal Breiman et al. (1984). O modelo CART gerou uma sequência frutífera de modelos a partir da ideia de rep...

Full description

Bibliographic Details
Main Author: Cleber Batista de Souza (author)
Format: masterThesis
Language:por
Published: 2021
Online Access:https://doi.org/10.11606/D.45.2021.tde-05042022-095004
Country:Brazil
Oai:oai:teses.usp.br:tde-05042022-095004
Description
Summary:O objetivo deste trabalho é apresentar a evolução do uso dos modelos de Árvore de Decisão cuja linhagem remonta ao modelo CART (Classication And RegressionTrees) apresentado na publica- ção seminal Breiman et al. (1984). O modelo CART gerou uma sequência frutífera de modelos a partir da ideia de replicação da amostra disponível (via bootstrap) e/ou multiplicação no número de árvores (ensembles) para compor um resultado nal. Passando pelo Bagging com replicação de amostras seguido das Florestas Aleatórias com a soma de múltiplas de árvores, apresentamos os modelos baseados em boosting: AdaBoost, Gradiente Boost e XGBoost. Surgidos a partir da utilização dos modelos aditivos, árvores são ajustadas em sequência onde cada árvore subsequente procura diminuir o erro cometido pela precedente e ao mesmo tempo maximizar uma função de perda que engloba o conjunto de árvores como um todo, o resultado nal é a soma de todas árvores geradas. Os modelos de árvores Bayesianas também são apresentados: árvores Bayesianas CART e árvores Bayesianas BART. Para cada modelo desenvolvemos, segundo aplicável, como a árvore é construída, estimativas de erro, funções de perda adequadas, medidas de importância de variáveis, algoritmo de cálculo e uma ilustração para entendimento. No nal mostramos resultados de simula ção e aplicações em dados reais.