Fast Deep Stacked Network: Um algoritmo baseado em Extreme Learning Machine para treinamento rápido de uma arquitetura empilhada com pesos compartilhados

Nome: BRUNO LÉGORA SOUZA DA SILVA
Tipo: Tese de doutorado
Data de publicação: 18/03/2022
Orientador:

Nome	Papel
PATRICK MARQUES CIARELLI	Orientador

Banca:

Nome	Papel
CARMELO JOSÉ ALBANEZ BASTOS FILHO	Examinador Externo
DANIEL CRUZ CAVALIÉRI	Examinador Externo
LUIZ ALBERTO PINTO	Examinador Externo
PATRICK MARQUES CIARELLI	Orientador
THOMAS WALTER RAUBER	Examinador Externo

Resumo: O uso de Redes Neurais Artificiais (RNA) para resolu¸c˜ao de problemas de classifica¸c˜ao e
regress˜ao ganhou bastante popularidade, principalmente ap´os a introdu¸c˜ao do algoritmo
backpropagation para trein´a-las utilizando conjuntos de dados. Nos ´ultimos anos, o grande
volume de dados gerados e a capacidade de processamento de computadores e placas
gr´aficas tornou poss´ıvel treinar grandes arquiteturas (profundas) capazes de extrair e predizer informa¸c˜oes sobre problemas complexos, usualmente usando grandes quantidades de
tempo. Em contrapartida, algoritmos r´apidos para o treinamento de redes simples, como a
composta por apenas uma camada oculta, chamadas de Single Layer Feedforward Network
(SLFN), mas capazes de aproximar qualquer fun¸c˜ao cont´ınua, foram propostos. Um deles ´e
o chamado Extreme Learning Machine (ELM), que possui solu¸c˜ao r´apida e fechada, sendo
aplicado em diversas ´areas do conhecimento e obtendo desempenhos superiores a outros
m´etodos, como as pr´oprias RNA treinadas com backpropagation e Support Vector Machines
(SVM). Variantes do ELM foram propostas para resolver problemas de underfitting e
overfitting, outliers, entre outros, mas ainda sofrem na presen¸ca de grandes volumes de
dados e/ou quando ´e necess´aria uma arquitetura com mais neurˆonios para extrair mais
informa¸c˜oes. Nesse sentido, foi proposta uma vers˜ao empilhada, chamada Stacked ELM,
que p˜oe v´arias SLFN treinadas por ELM em cascata, aproveitando informa¸c˜oes de um
m´odulo em sua posterior, mas que possui limita¸c˜ao quanto ao consumo de mem´oria, al´em
de n˜ao ser adequada para lidar com problemas que envolvem uma ´unica sa´ıda, como
t´ıpicas tarefas de regress˜ao. Outro m´etodo empilhado ´e chamado de Deep Stacked Network
(DSN), que possui problemas quanto ao tempo de treinamento e uso de mem´oria, mas sem
apresentar a limita¸c˜ao de aplica¸c˜ao do Stacked ELM. Assim, este trabalho prop˜oe combinar
a arquitetura DSN com o algoritmo ELM e o Kernel ELM a fim de obter arquiteturas que
empilham m´odulos pequenos, com treinamento r´apido e utilizando pouca mem´oria, capaz
de atingir desempenhos equivalentes a modelos com mais neurˆonios ocultos. Tamb´em ´e
proposta uma forma desta arquitetura lidar com dados que v˜ao chegando aos poucos,
chamado aprendizado incremental (ou online, no contexto de ELM). V´arios experimentos
foram conduzidos para avaliar os m´etodos propostos, tanto para problemas de classifica¸c˜ao
quanto regress˜ao. No caso do m´etodo online, foram considerados apenas os problemas
de regress˜ao. Os resultados mostram que as t´ecnicas s˜ao capazes de treinar arquiteturas
empilhadas com desempenhos estatisticamente equivalentes `as SLFN com muitos neurˆonios
ou a m´etodos online propostos na literatura, quando as m´etricas acur´acia e erro m´edio
s˜ao avaliados. Quanto ao tempo de treinamento, os m´etodos se mostraram mais r´apidos
em diversos casos. J´a quanto ao uso de mem´oria, os m´etodos propostos se mostraram
estatisticamente superiores, o que facilita o seu uso em ambientes com hardware restrito.
Palavras-chave: Deep Stacked Network. Extreme Learning Machine. Classifica¸c˜ao. Regress˜ao. Modelos Empilhados. Aprendizado increme

Acesso ao documento