Logistic Regression

本质是解决二分类问题，变量需满足伯努利分布（区分于线性回归-高斯分布）

Hypothesis Function

$f_{\theta}(x) = \frac{1}{1+e^{-\theta x}}$
物理含义 给定$x$和$\theta$条件下，y=1的概率，即$P(y=1|x,\theta)$

其对应的决策函数一般为$y^{*}=1, if P(y=1|x)>C$, $C$为临界阈值，一般取0.5 (用于分类)

Decision Boundary

比如边界为 $-3+x_{1}+x_{2}=0$
此时$f_{\theta}(x)=f(\theta_{0}+\theta_{1}x_{1}+\theta_{2}x_{2})$

又比如边界为 $-3+x_{1}^{2}+x_{2}^{2}=0$
此时$f_{\theta}(x)=f(\theta_{0}+\theta_{1}x_{1}+\theta_{2}x_{2})+\theta_{3}x_{1}^{2}+\theta_{4}x_{2}^{2})$

Cost Function (convex func)

用于衡量模型预测值$f_{\theta}(x)$与标准答案y之间的差异
$J(\theta)=-\frac{1}{m} \left[ \sum_{i=1}^{m} y_{i}logf_{\theta}(x_{i})+(1-y_{i}) log(1-f_{\theta}(x_{i}))\right]$

Gradient Descent Algorithm

梯度下降中的梯度指的是代价函数对各个参数的偏导数，偏导数的方向决定了在学习过程中参数下降的方向。(寻找最大值时用梯度上升)
即
$$
Want \ min_{\theta} J(\theta): \
Repeat \ \theta_{j}=\theta_{j}-\alpha(\frac{\partial}{\partial \theta_{j}}J(\theta)) \
=\theta_{j}- \frac{\alpha}{m} \sum_{i=1}^{m}x_{i,j}(f_{\theta}(x_{i}-y_{i}))
$$