梯度下降

梯度下降（Gradient Descent）是深度学习中最常见的优化方法。每一步计算损失函数对参数的梯度，然后沿着梯度的负方向更新参数。

特征选择

从已有的特征中选择出有意义的特征，提升模型表现、减少计算量。

特征选择的主要方法：

• 方差选择
• 相关系数
• 卡方检验
• 互信息
• 递归特征消除：Recursive Feature Elimination（RFE）
• 基于L1正则化
• 基于树模型

过拟合

模型在训练数据上表现好，而在测试数据上表现不好的现象称为过拟合。从方差和偏差的角度，过拟合时偏差小但是方差大。

LightGBM是微软开源的一个GBDT算法的高效实现库，在XGBoost的基础上进行改良，在训练效果接近的情况下，运行速度相比XGBoost有大幅提升。

xgboost是一种tree boosting算法，可以看作在GBDT的基础上改进了目标函数、切分点查找、缺失值处理、并行化等方面。

原理

首先，xgboost本质上是一个加法模型，通过Gradient Boosting每一步贪心地计算出一个模型（最小化目标函数），最后加在一起得到最终模型。

集成学习是将多个模型组合在一起形成一个更强大的模型。往往单一的模型存在缺陷，只在某些方面表现的好，集成学习能够把这些有偏好的模型组合在一起，通过集体的决定将缺陷纠正。通俗的说，就是“三个臭皮匠顶个诸葛

决策树是一个基础的模型，也是许多集成算法的基学习器。决策树即可以解决分类问题，也可以解决回归问题。决策树是树状结构，每个非叶子节点表示一个特征或属性，其分叉表示在该属性上的划分，每个叶子节点表示一个分类。从根节点到叶子节点的路径对应了一个决策序列，下图是周志华“西瓜书”的决策树例子。

支持向量机（Support Vector Machine，SVM）是一种分类算法，基本模型是定义在特征空间上的间隔最大的线性分类器，即在特征空间中寻找一个超平面来正确划分数据集，并使得样本点到超平面的距离最大化。

逻辑回归模型

逻辑回归是一种分类模型，根据输入$x\in R^n$，来判断输出Y的类别（Y=1，正类；Y=0，负类），参数为权值$w\in R^n$和偏置$b\in R$。

问题

输入：

• 背包容量W
• n个物品：
  • 价值$v_i$
  • 大小$w_i$

输出：
最优解$S \subseteq \lbrace 1,2,3,…,n \rbrace$；
S中的物品在满足大小之和不超过背包容量W的条件下,最大化$\sum_{i\in S}{v_i}$