逻辑斯蒂回归，即逻辑回归（Logistic Regression），虽然是使用了回归方程但实际该模型是用于解决分类问题的经典算法。逻辑回归的方程 $f(x)=\frac{\exp^{w \cdot x}}{1+\exp^{w\cdot x}}$ ，在 $w \cdot x$ 的结果在实数范围内的分布结果如下：

朴素贝叶斯法是以特征独立性假设为基础，利用贝叶斯定理进行分类方法。因为在朴素贝叶斯方法过程中，需要在学习过程中学习到生成数据的模式——该模式是能够进行预测前 $P(\hat{y}|X)$ 需要通过 $P(X|y)\times P(y)$ 方式能够构建数据生成机制；此外依赖独立性假设，使预测的方式转换为求解最大化后验概率来预测结果。

K-Nearest Neighbour 即 K 邻近算法，是可用于解决分类和回归问题的算法。在用于解决分类问题的思路是在已知的数据实例上，对于新的实例根据 $k$ 个最邻近的已知训练实例通过多数表决的方案进行预测，因此 $k$ 邻近算法不是一个显式学习过程。$k$ 邻近算法模型要素是通过 $k$ 选择，距离度量以及分类决策规则确认。

感知机（Perceptron），是线性分类模型，利用一个线性超平面对数据进行二分类。

1. 感知机模型

感知机的模型的假设是对于输入空间中的变量，经模型
$$
f(x)=\text{sign}(w\cdot x+b) \tag{1} \label{1}
$$
得到输入变量 $y\in \lbrace -1, +1 \rbrace$ 。对于模型中的 $\text{sign}$ 它是一个指示函数，用于筛选在某种条件下属于正例，反之属于负例。该模型是属于 $y=f(x)$ 的模型，即是一个判别模型。

1. 基本概念

统计学习（statistical learning），谈论的是统计机器学习（statistical machine learning），解决的方式是利用数据，抽取出相关特征，构建数据的模型以发现数据中的知识，并最终对未知数据进行分析和预测。而围绕数据的角度来有一个基本的假设，即建立知识模型的数据和预测分析使用的数据具有相同的性质。而且对于数据