二元分类和逻辑回归

二元分类

二元分类（Binary Classification）是机器学习中最常见的任务之一，目标是将数据分为两个互斥的类别。

核心概念

二元分类的输出通常是两个类别标签（如0/1、正/负、是/否）。常见的应用场景包括垃圾邮件检测、疾病诊断、客户流失预测等。关键在于构建一个模型，能够通过学习历史数据中的模式，对新样本进行准确分类。

常用算法

逻辑回归

逻辑回归是一种用于解决二分类问题的统计方法，通过拟合一个逻辑函数（如Sigmoid函数）预测事件发生的概率。尽管名称中包含“回归”，但它实际是一种分类算法，适用于输出为离散值（如0或1）的场景。

逻辑回归通过线性组合输入特征并应用Sigmoid函数将结果映射到[0,1]区间，表示概率。Sigmoid函数公式为：  
其中   ，w 为权重向量，b 为偏置项。

成本函数

为了训练回归的参数w和b，需要定义一个成本函数。

在定义成本函数之前，我们需要先定义损失函数(Loss function)，损失函数衡量的是单个样本的预测值和实际标签值之间的误差。

一般通过最大似然估计或梯度下降法优化损失函数   ，我们希望误差函数越小越好，因为这表明我们的预测很准确。

当y=1时，因为第二项为0 ，所以损失函数变为，所以我们希望尽可能小，所以就要尽可能大，即a要尽可能大，但是a是由σ函数所得，即a最大不超过1，也就是说，当实际标签y=1时，我们希望预测值a也尽可能接近1，这符合我们的要求。

如果y=0，第一项变为0，所以损失函数为，我们希望尽可能小，即尽可能大，所以这使得a尽可能小，a最小不低于0，所以，实际标签为0时，我们希望预测值a尽可能接近0。

损失函数衡量的是单个样本的表现，而成本函数衡量的是全体训练样本的表现，下面是成本函数的定义

梯度下降

为了根据训练集学习得到参数w和b，我们需要使用优化算法，梯度下降法就是优化算法中的一种。梯度下降是一种用于优化目标函数的迭代算法，通过计算目标函数的梯度并沿负梯度方向更新参数，逐步逼近最小值。广泛应用于机器学习模型的参数训练

我们要做的就是随机任意初始化w和b，然后不断用下面的式子更新w和b的值。其中，α表示学习率，它控制更新的速率。

导数的直观理解就是曲线的斜率。假设初始参数w位于最低点右侧，由于此时导数为正，根据更新公式会使w逐渐减小，即损失函数J(w)向左侧最低点移动。反之，若w初始位于左侧，导数为负会使w不断增大，推动J(w)向右移动直至达到最低点。