逻辑回归模型

逻辑回归是一种分类模型，根据输入$x\in R^n$，来判断输出Y的类别（Y=1，正类；Y=0，负类），参数为权值$w\in R^n$和偏置$b\in R$。

逻辑回归把输出作为随机变量Y对于输入X的条件概率，取值范围限定在[0,1]，一般情况下，若大于0.5则Y=1，否则Y=0。从广义的线性模型角度考虑，$w\cdot x +b$ 是线性回归的输出，但它的取值范围是全体实数，
逻辑回归为了把输出的范围限定在[0,1]，引入logistic函数：

logistic函数单调且可微，x趋向正无穷时，g(x)趋向1；x趋向负无穷时，g(x)趋向0；x=0时，g(x)=0.5。

Y对于X的条件概率分布如下：

logistic函数又称为对数几率函数。几率（odds）定义为：事件发生概率和不发生概率之间的比值，即

据此，可以计算得到：

换句话说，逻辑回归就是将线性回归的输出$w\cdot x +b$来拟合对数几率函数（logistic函数），核心就是将线性回归输出的取值范围从全体实数映射到概率取值[0,1]之间。

最大似然估计参数

逻辑回归模型学习时，给定数据集，用最大似然法来估计参数。

单个样本的概率：

所以似然函数为：

设logistic函数为g(x), 对数似然函数为：

要最大化对数似然函数，即最小化：

上式即交叉熵（Cross-Entropy）损失函数，通过梯度下降等方法可以解这个最优化问题，得到逻辑回归的参数w,b。