Natural Language Processing Lecture08

Natural Language Processing Lecture08

Sequence to sequence

Encoder decoder architecture

由数据压缩产生的框架。

encoder、decoder 都是神经网络。encoded data 对的维度远小于输入的维度。希望输出的维度和输入的维度一模一样。

Sequence to sequence

机器翻译(中文->英文)、对话系统(一句话 -> 一句话)、重建句子(x -> x)

NLP 一般步骤

  1. 获得数据,建立字典,UNK 代表未知词
  2. 对字典进行 word embedding,创建矩阵
  3. 输入 embedding,神经网络训练
  • Greedy Search
    • 选取每个时间点最优的解,但不一定全局最优
  • Beam search
    • 选取每个时间点最优的前几个解

Attention mechanism

Contextualized word representation

From word embedding to ELMo

Transformer

GPT

Bert

GPT2

# NLP

Comments

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×