Evolutionary Risk-Sensitive Feature Selection for Learning to Rank - Daniel Xavier de Sousa (2019)
Aprendizado de Ranqueamento (AR) é uma das principais linhas de pesquisa em Recuperação de Informação contudo, com o crescente aumento de dados e complexos algoritmos de aprendizado de máquina, o esforço para processar todas as subtarefas em AR tem crescido enormemente. Mais especificamente, após um algoritmo de ordenação fornecer um imenso subconjunto de documentos (às vezes gigabytes), existe um extenso trabalho na fase de AR para gerar novas meta-atributos no ato de execução da consulta e para executar algoritmos considerados estado da arte de aprendizado de máquina. Nesse contexto, a seleção de atributos (SA) tem se tornado importante alternativa para eliminar atributos não relevantes, pois, além de melhorar o tempo de execução dos AR, criando menos meta-atributos em tempo de execução da consulta e usando menos meta-atributos nos algoritmos de aprendizado de máquina para construir o modelo de ranqueamento, a SA também pode melhorar a efetividade com a ausência de atributos ruidosos e redundantes. Por anos, porém, a literatura tem focado principalmente em efetividade e redução de atributos como os principais critérios objetivos para SA, no entanto, ao remover certos atributos pode se deteriorar a efetividade de modelos de aprendizado para algumas importantes e específicas consultas. De fato, nós temos notado, em nosso trabalho a otimização de somente a efetividade média como métrica pode deteriorar a acurácia de algumas consultas, enquanto melhora somente as consultas que são de mais alta performance. Dessa forma, nesta tese nós propomos avaliar SA para AR com um objetivo adicional em mente, conhecido por sensibilidade ao risco, que em linhas gerais permite avaliar a robustez do modelo, garantindo boa efetividade entre as consultas e minimizando a perda de efetividade em consultas quando comparado a outros modelos de ranqueamento. Nós apresentamos novos objetivos uni e multicritério para otimizar SA, efetividade e sensibilidade ao risco, algumas vezes ao mesmo tempo. Para obter nossas metas, consideramos distintas medidas de sensibilidade ao risco, tais como FRISK, TRISK, e GRISK 1. Como resultado dessa atuação, mostramos que sensibilidade ao risco é um critério objetivo crucial em SA para AR, promovendo, inclusive, resultados melhores do que quando usamos a efetividade como critério objetivo. Isso porque, diferente do valor médio utilizado para comparação, a sensibilidade ao risco avalia todas as consultas em relação a um ou a vários outros métodos de Recuperação de Informação, provendo mais rigor na comparação entre dois subconjuntos de atributos. No intuito de avaliar nossa proposta de critérios objetivos para SA em AR, também propomos uma nova metodologia para explorar o espaço de busca com diversos objetivos, sugerindo extensões efetivas e eficientes do já bem conhecido algoritmo evolucionário SPEA2. Por efetividade, aplicamos uma comparação mais rigorosa para o conjunto de atributos, usando um teste estatístico pareado para aumentar a confiança no relacionamento de dominância. Por eficiência, introduzimos um algoritmo de aprendizado fraco como uma caixa-preta para melhorar a avaliação das diversas interações dos conjuntos de atributos nos procedimentos baseados em wrapper. Apesar de parecer contra intuitivo, conseguimos aprimorar o tempo de execução e a comparação dos atributos de forma mais acurada, melhorando a efetividade na seleção final do indivíduo para critérios multiobjectivos. Nossos resultados experimentais mostram que a proposta multiobjetivo aperfeiçoa os métodos de SA estado da arte, considerando a combinação de efetividade e sensibilidade ao risco. Por exemplo, na coleção WEB10K conseguimos manter a efetividade e sensibilidade ao risco, reduzindo em até 35% dos atributos. Ainda, nós mostramos fortes evidências quanto ao benefício de usarmos aprendizado fraco como uma caixa-preta e a melhoria na seleção final do indivíduo a partir da Fronteira de Pareto, através do uso do teste pareado. Nesta tese, fornecemos, ademais, uma ampla análise da nossa metodologia e de seus impactos na redução de atributos, sensibilidade ao risco e efetividade em SA para AR.