Exciting Blog

一步一步来，先休息一下

深度学习中的优化算法

sgd, adagrad, momentum, adam

优化算法的目的是为了优化损失函数，损失函数衡量的是模型与数据的偏离程度，主要思想是计算损失函数关于参数的导数（多个参数时计算偏导数），然后沿__导数的负方向__迭代更新参数，一步步最小化损失函数。这类方法就叫做梯度下降法。 一阶优化算法 一阶优化算法只计算一阶偏导，写成矩阵就叫 Jacobian 矩阵。 1.随机梯度下降法SGD Stochastic gradient descent ...

Posted by xyangk on February 13, 2019

感知机

感知机PLA(Perceptron Learning Algorithm) 感知机是线性二分类器。 假设 hypothesis 以审核信用卡为例，每个客户都会有一些资料，如年龄、年收入、工作年龄等等。 有d个特征的一条数据长这样$X = (x_1, x_2, x_3,\dots,x_d)$ 我们使用这些特征算一个(加权)分数：$\sum^d_{i=1}w_ix_i$ 如果这个分数大于...

Posted by Exciting Blog on October 20, 2018

逻辑斯蒂回归

逻辑斯蒂回归 Logistic Regression sigmoid函数： $g(z)=\frac{e^{z}}{1+e^{z}}$函数图像如下，令 $z=\theta^Tx$ $g(x)=\frac{e^{\theta^Tx}}{1+e^{\theta^Tx}}$ $\theta^Tx$的结果是整个实数域，通过sigmoid函...

Posted by xyangk on May 1, 2018

FEATURED TAGS
ABOUT ME

Do some thing exciting

✉️ xyangk@gmail.com