拟牛顿算法实现Logistic二分类
使用 BFGS 公式实现阻尼牛顿法求解 Logistic 回归,并进一步实现有限内存 BFGS (L-BFGS) 算法。侧重数学推导,涵盖拟牛顿条件、BFGS 迭代公式推导及 wolfe 准则线搜索。
使用 BFGS 公式实现阻尼牛顿法求解 Logistic 回归,并进一步实现有限内存 BFGS (L-BFGS) 算法。侧重数学推导,涵盖拟牛顿条件、BFGS 迭代公式推导及 wolfe 准则线搜索。
Logistic 回归是一种有监督的分类模型。本文分别用梯度下降法和牛顿迭代法实现二类 Logistic 回归,推导损失函数、梯度与海森矩阵,并用 Python 完整实现。