Extra??o e an?lise multidimensional de dados de atletismo a partir de dados n?o estruturados - Lima, Rui Jos? da Rocha (2018)
Este projeto prop?e o design e implementa??o de um armaz?m de dados (DW) composto por resultados de atletismo a n?vel distrital e nacional, a partir de tabelas criadas inicialmente para interpreta??o humana. O projeto prop?e tamb?m um mecanismo de integra??o entre os dados sobre as marcas obtidas em provas de atletismo com a sua localiza??o geogr?fica (altitude inclu?da) e as condi??es atmosf?ricas em que as provas foram realizadas. Os ficheiros de onde os dados sobre os resultados das provas s?o origin?rios encontram-se em m?ltiplos formatos (.xls, .txt, .doc) mas o predominante ? ?.pdf?. Os ficheiros est?o distribu?dos por 20 distritos mais os resultados ao n?vel nacional. Este trabalho de investiga??o est? dividido em duas grandes partes. Uma parte envolve o desenvolvimento do prot?tipo de um m?dulo Python, chamado de PositionParser, que servir? de Framework para a identifica??o e extra??o dos valores dos campos do texto. O processo de an?lise do texto envolve a sua ?tokeniza??o?, marca??o e visualiza??o dos dados ?tokenizados?, segmenta??o e defini??o da ordem de leitura, extra??o e defini??o da hierarquia dos dados. Outra parte envolve todo o processo de an?lise de dados: o Web scraping dos documentos com os resultados das competi??es, a convers?o de todos os documentos para o formato PDF e posteriormente para ficheiros de texto, a extra??o de dados das tabelas n?o formatadas dos ficheiros de texto recorrendo ao prot?tipo criado e a limpeza, uniformiza??o e armazenamento dos dados num DW.