Parte VI

Tópicos avançados

• Redes neurais convolucionais (Convolutional neural networks)

  • Visão geral

  • Camadas de uma ConvNet

  • Técnicas de otimização de treino

    • Data Augmentation

    • Modelos pré-treinados

    • Fine Tuning

  • Detecção e Segmentação

    • Segmentação Semântica

    • Localização

    • Detecção de objetos

    • Segmentação de instâncias

• Redes neurais recorrentes (Recurrent neural networks)

  • Visão geral

  • Vetores de palavras (word embeddings)

    • One-hot encoding

    • Word2Vec

  • Arquitetura de uma RNN

  • Aplicações

    • One-to-one

    • One-to-many

    • Many-to-one

    • Many-to-many

  • Função Custo (Cost Function)

  • Backpropagation

  • Função de ativação e propriedades

  • Gradiente de desaparecimento e explosão

  • Long Short-Term Memory (LSTM)

  • Bidirectional & Multi-layer RNNs

  • Attention

  • Redes neurais convolucionais para NLP

• Transformers

  • Positional encoding

  • Encoder

    • Self-Attention

    • Multi-head attention e geração de saída

  • Decoder

    • Masked Multi-head attention

    • Encoder-Decoder attention

• Modelos generativos (Generative models)

  • Visão geral

  • Aplicações

  • Auto-Regressive Models

    • PixelRNN

    • PixelCNN

  • Variational Autoencoders (VAE)

  • Generative Adversarial Networks (GANs)

    • Treinamento: Jogo de dois jogadores

• Deep Q-Learning

• Busca de Monte Carlo

  • Uninformed seaarch

  • Monte Carlo Tree Search