今天更新的部分是深度学习中的前馈神经网络和反馈神经网络（Feedforward Neural Network and Recurrent Neural Network）。

简单来说，前馈神经网络可以看做是一个通过简单非线性函数的多次复合的函数，实现输入空间到输出空间的复杂映射。前馈神经网络包括全连接前馈神经网络和卷积神经网络。

反馈神经网络相较于前馈神经网络，增加了反馈机制。反馈神经网络中神经元不但可以接收其他神经元的信号，而且可以接收自己的反馈信号。

和前馈神经网络相比，反馈神经网络中的神经元具有记忆功能，在不同时刻具有不同的状态。反馈神经网络中的信息传播可以是单向也可以是双向传播，因此可以用一个有向循环图或者无向图来表示。

前馈神经网络

FNN 前馈神经网络

前馈神经网络特点：

固定尺寸输入，无记忆功能，可处理可变长度序列，保持原有序列顺序，序列共享参数。

反馈神经网络

RNN 反馈神经网络

前馈神经网络：渐变梯度下降；

反馈神经网络：消失梯度问题 ➡️ 通过Gates学习长期依赖关系 ➡️ 长短期记忆（Long short term memory LSTM）和 Gated RNN

N-grams语言模型（N-grams Language Model N-grams ML）

—— 通过n个单词块预测下一个出现的单词（N-grams：n个连续单词块）

利用统计单词出现次数（频率）计算单词出现概率，计算概率分布。

问题1: 如果单词出现次数为0（分子为0或分母为0）应该如何处理》

稀疏问题（分子为0）➡️ 为每一个不常出现但有效的单词赋予一个较小概率。

预测单词之前的单词块未出现过（分母为0）➡️ 计算单词块n-1的次数，作为分母。

Use RNN 学习语言模型（LM）

通过RNN来学习语言模型。

优势：可处理不同长度的单词块；可追踪之前的步骤信息；独立于输入长度，模型参数固定

劣势：计算时间太长；实际应用中，很难追踪长时间步骤