Generalização do Extreme Learning Machine Regularizado para Problemas de Múltiplas Saídas
Nome: FERNANDO KENTARO INABA
Tipo: Tese de doutorado
Data de publicação: 28/02/2018
Orientador:
Nome |
Papel |
|---|---|
| EVANDRO OTTONI TEATINI SALLES | Orientador |
Banca:
| Nome |
Papel |
|---|---|
| ANDRÉ CARLOS PONCE DE LEON FERREIRA DE CARVALHO | Examinador Externo |
| EVANDRO OTTONI TEATINI SALLES | Orientador |
| KLAUS FABIAN COCO | Examinador Externo |
| THIAGO OLIVEIRA DOS SANTOS | Examinador Externo |
| THOMAS WALTER RAUBER | Examinador Externo |
Resumo: Extreme Learning Machine (ELM) recentemente teve sua popularidade aumentada e com isso tem sido aplicada com sucesso em diversas áreas do conhecimento. No estado da arte, variações usando regularização se tornaram comuns na área de ELM. A regularização mais comum é a norma `2, que melhora a generalização, mas resulta em uma rede densa. Regularização baseada em elastic net também foi proposta, mas geralmente restrita a
problemas de regressão de uma saída e classificação binária. Este trabalho tem por objetivo propor uma generalização do ELM regularizado para problemas de classificação multiclasse e regressão multitarget. Nesse sentido, observou-se que o uso da norma `2,1 e de Frobenius proporcionaram uma geralização adequada. Como consequência, foi possível demonstrar que as técnicas R-ELM e OR-ELM, consagradas na literatura, são casos particulares dos métodos propostos nesta Tese, denominados de GR-ELM e GOR-ELM, respectivamete.
Além disso, outra proposta deste trabalho é trazer um algoritmo alternativo para o GR- ELM, o DGR-ELM, para tratar dados que são naturalmente distribuídos. O alternating direction method of multipliers (ADMM) é usado para resolver os problemas de otimização resultantes. Message passing interface (MPI) no estilo de programação single program, multiple data (SPMD) é escolhido para implementar o DGR-ELM. Vários experimentos são conduzidos para avaliar os métodos propostos. Nossos experimentos mostram que o GR-ELM, DGR-ELM e GOR-ELM possuem desempenho similar quando comparados ao R-ELM e OR-ELM, embora, em geral, uma estrutura mais compacta é obtida na rede resultante.
Palavras-chave: norma `2,1. regularização. extreme learning machine. classificação multi- classe. multitarget regression. robustez à outliers. alternating direction method of multipliers.
