逻辑回归的两种数学表达
\[\newcommand{\R}{\mathbb{R}}
\newcommand{\w}{\mathbf{w}}
\newcommand{\x}{\mathbf{x}}\]
LR两种表达
表达一
假设样本集$\brace{(\x^{(i)},y^{(i)})}_{i=1}^m$ ，特征$\x\in \R^n$，类别$y\in\brace{0,1}$，则LR模型：
\[\begin{aligned}
p(y=1|\x,\w) &=\sigma(\w\tr\x) &=\frac{\exp(\w\tr\x)}{1+\exp(\w\tr\x)} \\
p(y=0|\x,\w) &=1-\sigma(\w\tr\x) &=\frac1{1+\exp(\w\tr\x)}
\end{aligned}\]
所谓“几率”（odds），反映了$x$作为正例的相对可能性。对几率取对数则得到“对数几率”（log odds，即logit），是一个线性函数：
\(\mathrm{logit}(p) = \log\frac{p}{1-p}=\w\tr\x\)
...