Natural Language Processing Lecture07

Recurrent Neural Networks

Why sequence models

特征之间相互有联系

如果使用之前的全连接神经网络模型,存在以下两种缺点:

  • 在序列模型中,输入、输出随着不同的序列有所改变,无法确定输入、输出层的神经元个数
  • 并没有考虑序列模型中,各个特征之间的关系

即:

  • Inputs, outputs can be different lengths in different examples
  • Doesn't share features leanrd across positions of test

Natural Language Processing Lecture06

Some training tips

在人工神经模型中,由于参数过多,很容易导致过拟合。所以在此提出一系列优化方法。

  • Dropout

    在全连接网络中,每一层随机去掉一些节点

  • Regulation

    在 Loss 函数上,加上所有参数的均方差或者绝对值。减小每个参数对训练的影响,减小过拟合的可能性。

  • Back normalization

Natural Language Processing Lecture05

Word2Vec

如果我们设想⼀种神经⽹络:

  • 每个单词的意思是⼀个向量,v1,v2,v3,..vN
  • 前⽂中所述的 function 也是⼀个神经⽹络线性变化,F
  • 对于⽂章中的每个单词 C,使⽤ C 的上下⽂单词,v_i,v_i+1,..v_k 送⼊ F 中,使得 \(F(v_i,v_{i+1},..v_k)\) 产出⼀个概率分布,该概率分布中,使得 C 的位置值的概率值最⼤
  • 使⽤ backpropagation 不断优化 v_1,v_2,..v_n 的值,以及 F 的值
  • 不断更新各个向量以及F的值,使得预测概率分布的准确性越来越⾼
  • 则,我们获得了⼀个函数 F(context_words)=具体某个单词
  • 对于某个单词 v-k,假设它有两组上下⽂:
    • \(v_i,v_j,v-k,v_m,v_n\)
    • $v_i,v_j,v-k,v_p,v_n $
    • \(F(v_1,v_j,v_m,v_n)=F(v_i,v_j,v_p,v_n)\)
    • 则,\(v_m=v_p\)
  • V-m 和 v-p 的上下⽂类似,经过不断的迭代更新,其向量也⼀样了,⽽上下⽂类似,说明其语义类似
  • 所以,v-m 和 v-p 的语义⼀样,⽽向量表⽰也⼀样了
  • Mikolov et.al 2013, Google

Natural Language Processing Lecture04

神经网络概述

一种模仿生物神经网络(动物的中枢神经系统,特别是大脑)的结构和功能的数学模型或计算模型,用于对函数进行估计或近似。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构,是一种自适应系统。

Natural Language Processing Lecture03

The First Book

由经验生成的数据。

  • 优点:全面
  • 缺点:抽象性弱,数据多且冗余,不易修改维护

KNN (K-nearest neighbors, K-近邻算法)

如果一个样本在特征空间中的 k 个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。

Natural Language Processing Lecture02

图搜索算法

Depth-first search (DFS)

  • Time Complexity
    • Some left prefix of the tree
    • If m is finite, takes time O(bm)
  • Space Complexity
    • Only has siblings on path to root, so O(bm)
  • Completion
    • No, can be infinite
  • Optimal
    • It finds the "leftmost" solution, regardless of depth of cost

Natural Language Processing Lecture01

语法生成树模型

AI 其实就是数据驱动的算法模型。在本例中,通过定义hello_rulessimple_programming 这样的统一格式的语法生成树,来指导生成一个完整的句子。

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×