Neste modulo iremos apresentar uma visão moderna sobre redes neurais Feed-forward, também chamadas de Perscétrons Multicamadas. Iremos detalhar como esta arquitetura de rede neural funciona, como ela pode ser treinada e como ela é aplicada em tarefas de classificação.

Neste módulo você irá aprender como palavras podem ser representadas por uma sequência de valores (inserção num espaço multidimensional) e como sequências de palavras podem ser processadas com estes modelos simples.

A revolução do processamento neural de linguagem começou com métodos capazes de representar palavras de forma a codificar os contextos em que elas ocorrem com mais frequência. O werd2vec foi um dos principais métodos que realizaram esta transição, e neste modulo iremos estudá-lo em detalhe.

Para processar sequências cada vez maiores de palavras é necessário capturar o contexto em que elas ocorrem. As redes neurais recorrentes visam solucionar este problema. No entanto elas introduziram novos desafios os quais serão explicados neste módulo. Iremos também abordar o modelo sequência-para-sequência que se iniciou com as redes recorrentes e que é usado largamente até hoje.

As redes LSTM (Long Short Term Memory) são uma arquitetura recorrente que permite balancear informações de contextos recentes e distantes e assim enfrentando os desafios introduzidos pela recorrência e possibilitando o verdadeiro processamento de textos de tamanho ilimitado. As redes GRU são uma simplificação deste modelo.