AIA-BDE: um Corpo de Perguntas, Variações e outras Anotações - Oliveira, Hugo Gonçalo (2021)
Apresentamos neste artigo o corpo AIA-BDE, que tem como principal objetivo a avalia¸c˜ao de sistemas que procuram associar necessidades de informa¸c˜ao expressas em linguagem natural a perguntas com resposta conhecida (i.e., FAQ). Este corpo inclui v´arias perguntas no dom´ınio da Administra¸c˜ao P´ublica em Portugal e respetivas respostas. A 855 dessas perguntas foram adicionadas, manual e automaticamente, formas alternativas de as fazer, a que chamamos varia ¸c˜oes, e que podem ser utilizadas para simular intera ¸c˜oes de humanos. Essas perguntas encontramse classificadas de acordo com a sua origem, com quatro valores poss´ıveis, e tˆem ainda associado um tipo, atribu´ıdo com base na opini˜ao de cinco anotadores. Para al´em de apresentar o AIA-BDE, ilustramos como pode ser utilizado atrav´es de trˆes experiˆencias, com resultados que podem ser vistos como base para melhorias futuras: associa¸c˜ao de varia¸c˜oes `as respetivas perguntas; identifica¸c˜ao autom´atica da origem das varia¸c˜oes; e classifica¸c˜ao autom´atica das perguntas quanto ao seu tipo.