Chatbot para apoio à Divisão Académica - Fonseca, João Miguel Resende da (2022)
O Instituto Superior de Engenharia do Porto é uma Escola constituída por um número elevado de estudantes, cujo processo de suporte é fulcral para o bom funcionamento da sua comunidade. A disponibilidade do atendimento presencial da Divisão Académica é atualmente reduzida, dificultando o esclarecimento de dúvidas. Isto resulta não só no constrangimento dos processos virtuais, como e-mail e linhas telefónicas, como também na diminuição do nível de satisfação do estudante. Para resolver este problema, foi idealizado um agente conversacional com o intuito de responder às perguntas mais frequentes relativas à Divisão Académica da Escola. O chatbot é constituído por um módulo de interpretação de linguagem, portuguesa, recorrendo a machine learning, particularmente técnicas de compreensão de texto. De forma complementar, para manter o sistema abstraído de qualquer especificação técnica, desenvolveu-se um serviço web que efetua a gestão da base de conhecimento do agente. A avaliação da solução comparou o desempenho de vários modelos de classificação, compostos internamente pelo agrupamento de métodos de pré-processamentos de dados, modelos de linguagem (transformadores), e, finalmente, algoritmos de aprendizagem. Os resultados obtidos acentuam a superioridade do modelo de linguagem da Google, BERT, em junção com o classificador DIET, obtendo um F1-Score de 0.965. O sistema foi implantado através de um protótipo exposto não só aos estudantes da Escola, como também aos membros da Divisão Académica. Para um total de 256 mensagens, obtiveram-se cerca de 30% de respostas não enquadradas. Em contrapartida, as avaliações persistidas foram positivas, com uma média acima de 4.20 e um desvio padrão de 1.23.