深度学习之生成模型
PiexlRNN/CNN 使用概率链式法则计算一张图片出现的概率，其中每一项为给定前i-1个像素点后第i个像素点的条件概率分布。此分布通过RNN（LSTM）/CNN来建模，再通过最大化图片x的似然学习RNN/CNN的参数。 ...
深度学习
MXNet深度学习笔记（二）
模型构造 上一篇中，模型构造是首先需构造Sequential实例，然后添加各层。MXNet还可以通过继承Block类来构造模型。 下面一个例子中，init函数声明带有模型参数的层，函数使用get_constant方法创建训练中不被迭代的参数，即常数参数。forward函数定义模型的前向计算，通过输入x最终返回输出内容。 ...
MXNet深度学习笔记
本文以线性回归为例，展示MXNet以及Gluon的实现。 首先构造一个简单的数据集，其中features是训练数据特征，labels是标签。 ...
序列模型和注意力机制
基础模型 序列模型有Sequence to sequence模型和image to sequence 模型。前者最常见的应用是机器翻译。机器翻译模型的前半部分使用编码网络对输入的原文句子进行编码，后半部分使用解码网络生成对应的翻译。后者的图像描述与之类似。 ...
自然语言处理和词嵌入
词汇表征 计算机是无法直接认识单词的，所以为了让计算机能更好地理解人类语言，需要将词汇进行表征。之前用到的方法是One-hot表征，即创建一个向量，将对应单词的位置用1表示，其余位置用0表示。这种方法的缺点是无法获得词与词之间的相关性。另一种方法是特征表征，即词嵌入，用不同的特征对单词进行特征化表示。 ...