normalization in deep learning

归一化(normalization)在很多领域广泛存在。基本来讲,在数学和统计学中,normalization扮演着对数值分布进行调整的角色。在量子物理里,对波函数进行归一化能够得到物体状态的概率分布;在由像素构成的图像处理领域,不同形式的归一化可以改变图像的对比度、亮度信息;在和深度学习紧密相连的神经科学领域,研究者发现normalization是一种十分重要的正则化神经计算方法,初视觉皮层(primary visual cortex)的非线性特征、海马体的级联记忆(associative memory)或与normalization有关系。

Tensorflow practical guides

引言

作为一款流行的开源深度学习框架,TensorFlow正被越来越多的人使用。然而,TensorFlow相比于其他框架来说,相对底层,有时候仅仅为了实现一些小想法也需要编写很多代码,又因为TensorFlow庞大的体系架构,如果不能理清之间的关系,很容易导致模型稍复杂,就需要经历冗繁的调试过程。鉴于此,写下这篇博客,用于记录学习TensorFlow的过程中所踩过的坑。之后遇到的问题也都记录于此。

Tensorflow lyrics generation

用TensorFlow生成周杰伦歌词

最近深度学习在机器视觉CV、自然语言处理NLP领域表现出强大的潜力,各种深度学习/机器学习框架也层出不穷。tensorflow是google于去年(2015.11)开源的深度学习框架,截止目前(2016-11-28)github上已经有38000+的star数,称之为最近最受欢迎的深度学习框架一点也不过分。

本着学习tensorflow和RNN的目的,前些天发现了char-rnn这个有趣的项目,具体就是基于字符预测下一个字符,比日说已知hello的前四个字母hell,那我们就可以据此预测下一个字符很可能是o,因为是字符char级别的,并没有单词或句子层次上的特征提取,相对而言比较简单易学。