JxKing的博客 | JxKing Blog JxKing Blog | 深度学习

JxKing Blog

Make A Little Progress Every Day.

Optimizer in Tensorflow

Optimizer in tensorflow 前传写Optimizer系列文章，是因为去年2017年在华为做深度学习相关工作时，学习实现了许多基于tensorflow的optimizer的，开源了其中两个分布式的optimizer，并且合入了tf社区，还有个相关专利，做的工作还算出色。由于近期离开华为，加入了蚂蚁，为了纪念，也为了以后的学习，所以在不涉及保密工作的情况下，记录下学习心...

Posted by JxKing on July 20, 2018

RNN学习总结

RNN RNN，循环神经网络，是一种专门处理序列数据的神经网络，其基本结构如图所示： RNN的输入是序列数据x与上轮计算输出的隐藏状态。假设RNN的隐藏层计算为fw，隐藏状态为h，将其计算图展开，可以得到：值得注意是，每次隐藏层计算所需要的参数W，都是一样的，也就是所谓的共享参数。 RNN根据输入输出是不是变长，可以分为下图中的右边四种。one-to-many比如是ima...

Posted by JxKing on December 28, 2017

AutoML总结

前言 AutoML是指尽量不通过人来设定超参数，而是使用某种学习机制，来调节这些超参数。这些学习机制包括传统的贝叶斯优化，多臂老虎机（multi-armed bandit），进化算法，还有比较新的强化学习。我将AutoML分为传统AutoML ，自动调节传统的机器学习算法的参数，比如随机森林，我们来调节它的max_depth, num_trees, criterion等参数。还有一类...

Posted by JxKing on December 21, 2017

Hello and bye 2017

"Hello World, Hello Blog, Bye 2017"

前言工作至今已经快3年了，时间飞逝，以前就在简书上记载过学习、工作经历，入职华为以后，由于华为内部信息安全限制，加上懒，就没更新过了。刚好看到slade有不错的blog模板，就fork了下，感谢！以后就在这里记录下工作学习体会吧~ 正文主要记录在工作学习上的各种问题，主要与机器学习及深度学习相关。以下是输出列表，包括： [] Spark上的机器学习若干，比如KNN，RF和GBD...

Posted by JxKing on December 21, 2017