Word2Vec模型用于学习被称为“词嵌入”的词的向量表示。这通常是作为预处理步骤来完成的，在此之后，学习到的向量被输入判别模型(通常是RNN)来生成预测，完成各种各样有趣的事情。
为什么学习词嵌入Why learn word embeddings
图像和音频处理系统使用丰富的高维数据集，对于图像数据，这些数据编码成为单个像素的强度组成的向量，因此所有信息都编码在数据中，从而可以建立系统中各种实体(猫和狗)之间的关系。
但是，在自然语言处理系统中，传统上它将单词视为离散的原子符号，因此“cat”可以表示为Id537，“dog”表示为Id143。这些编码是任意的，并且不向系统提供关于可能存在于各个符号之间的关系的有用信息。这意味着该模型在处理关于“狗”的数据(比如它们都是动物、四条腿、宠物等等)时，能够利用的关于“猫”的知识非常少。
将单词表示为惟一的、离散的id还会导致数据稀疏，这通常意味着我们可能需要更多的数据才能成功地训练统计模型。使用向量表示可以克服其中一些障碍。
举个例子：
传统的自然语言处理方法涉及到语言学本身的许多领域知识。理解像音素和语素这样的术语是相当标准的，因为有整个语言课程专门用于他们的研究。让我们看看传统的NLP是如何理解以下单词的。
假设我们的目标是收集关于这个词的一些信息(描述它的情感，找到它的定义，等等)。利用我们的语言领域知识，我们可以把这个词分成三个部分。
我们知道前缀un表示相反或相反的意思，我们知道ed可以指定单词的时间段(过去时)。通过识别词干“兴趣”的含义，我们可以很容易地推导出整个词的定义和感情。看起来很简单，对吧？然而，当你考虑英语中所有不同的前缀和后缀时，需要非常熟练的语言学家来理解所有可能的组合和含义。
深层学习，在最基本的层面上，是关于表征学习的。在这里，我们将采用相同的方法，通过大型数据集创建单词的表示。
词向量
我们将每个单词表示为d维向量。我们用d = 6。从这个句子中，我们想为每个单词创建一个单词向量。
现在我们来考虑如何填充这些值。我们希望以这样一种方式填充值，即向量以某种方式表示单词及其上下文、含义或语义。一种方法是创建一个共现矩阵。
共现矩阵是一个矩阵，它包含出现在语料库(或训练集)中所有其他单词旁边的每个单词的计数。让我们把这个矩阵可视化。
注意，通过这个简单的矩阵，我们可以获得非常有用的见解。例如，请注意，单词“love”和“like”都包含1，表示它们与名词(NLP和dogs)的计数，它们的“I”的计数也是1，这意味着单词必须是某种动词。有了比一个句子更大的数据集，您可以想象这种相似性将变得更加清晰，因为“like”、“love”和其他同义词将开始具有类似的单词向量，因为它们在类似的上下文中使用。
现在，尽管这是一个很好的起点，我们注意到每个单词的维度会随着语料库的大小线性增加。如果我们有一百万个单词(在NLP标准中不是很多)，我们就会有一个百万×百万大小的矩阵，这个矩阵非常稀疏(很多0)。在存储效率方面肯定不是最好的。在寻找最优的方法来表示这些词向量方面已经取得了许多进展。其中最著名的是Word2Vec。
过去的方法
向量空间模型(VSMs)在一个连续的向量空间中表示(嵌入)单词，在这个空间中，语义相似的单词映射成的点相互靠近(“彼此嵌入到附近”)。VSMs在NLP中有着悠久而丰富的历史，但所有的方法都或多或少地依赖于分布假设，即出现在相同上下文中的词具有相同的语义。利用这一原则的不同方法可分为两类:
区别是：
基于计数的方法计算某个单词在大型文本语料库中与相邻单词共出现的频率，然后将这些计数统计信息映射成每个单词的小而密集的向量。
预测模型直接试图通过学习小的、密集的嵌入向量(考虑模型的参数)来预测相邻单词。
Word2vec是一种从原始文本中学习嵌入词的高效预测模型。它有两种风格，连续的词袋模型(CBOW)和跳格模型。从算法上来说，这些模型是相似的，CBOW从源上下文词预测目标词，而skip-gram则相反，从目标词预测源上下文词。
在接下来的讨论中，我们将重点讨论skip-gram模型。
其中的数学
神经概率语言模型使用极大似然原理进行传统的训练，给定前一个单词h(表示“历史”)，使用softmax函数表示下一个单词wt(表示“目标”)的概率，并使得整个概率最大化。
其中score(wt, h)计算目标词wt与上下文h的兼容性(通常使用点积)。
我们通过在训练集中最大化它的对数似然来训练这个模型：
这为语言建模提供了一个适当规范化的概率模型。
同样的参数也可以用一个稍微不同的公式来表示，它清楚地显示了选择变量(或参数)，这个变量是为了最大化这个目标而改变的。
我们的目标是找到对预测当前单词周围单词有用的词表示。特别是，我们希望最大化整个语料库的平均对数概率：
这个方程本质上是说，在当前单词wt上，大小为c 的窗口内，观察某个特定单词的概率p。这个概率取决于当前单词wt和某个参数theta的设置(由我们的模型决定)。我们希望设置这些参数theta，使这个概率在整个语料库中最大化。
基本参数化：Softmax模型
基本的skip-gram模型通过softmax函数定义了概率p，正如我们前面看到的那样。如果我们认为wi是一个独热编码向量，维数是N，theta是维数为N * K的嵌入矩阵在我们的词汇表中有N个单词而我们学出来的嵌入表示的维数是K，那么我们可以定义：
值得注意的是，在学习完了之后，矩阵theta可以被认为是一个嵌入查找表矩阵。
在结构上，它是一个简单的三层神经网络。
推荐阅读：叶紫