支持向量机是什么

线性支持向量机（Linear SVM）适用于线性可分的数据集。其核心思想是通过一个超平面将两类样本分开，并且最大化分类间隔。线性SVM的优点是计算效率高，适合处理大规模数据集。然而，当数据线性不可分时，线性SVM的表现会受到限制。因此，线性SVM通常用于简单的分类任务，如文本分类或低维数据的分类问题。

非线性支持向量机通过引入核函数来处理线性不可分的数据。核函数将原始数据映射到高维空间，使得在高维空间中数据变得线性可分。非线性SVM的优点是可以处理复杂的分类问题，例如图像识别和语音识别。然而，非线性SVM的计算复杂度较高，训练时间较长，且对参数选择较为敏感。

在机器学习领域，支持向量机与决策树和神经网络等算法相比，展现出独特的优势。支持向量机在处理高维数据时表现出色，尤其是在样本量较少的情况下，其泛化能力更为稳定。

数据预处理是SVM工作流程的第一步，目的是确保输入数据的质量和一致性，为模型训练奠定基础。这一步骤包括数据清洗、数据标准化和数据分割。数据清洗用于处理缺失值、异常值和噪声数据；数据标准化将数据缩放到相同的尺度，以避免某些特征因数值过大而主导模型训练；数据分割则将数据集划分为训练集和测试集，通常采用70%-30%或80%-20%的比例。

特征选择与提取是SVM工作流程中的重要环节，目的是从原始数据中挑选出对分类任务最有用的特征，降低数据维度并提高模型性能。特征选择通过统计方法（如卡方检验、互信息）或模型方法（如L1正则化）选择重要特征；特征提取则使用降维技术（如PCA、LDA）将高维数据映射到低维空间，保留主要信息。

核函数的选择直接影响SVM的性能，尤其是在处理非线性问题时。常用的核函数包括线性核、多项式核、高斯核（RBF）和Sigmoid核。线性核适用于线性可分数据，多项式核适用于中等复杂度的非线性数据，高斯核适用于复杂的非线性数据，是SVM中最常用的核函数，Sigmoid核则适用于某些特定的分类任务。

在模型训练阶段，SVM通过优化算法寻找最优超平面。首先定义目标函数，SVM的目标是最小化 12∥w∥2+C∑i=1nξi21​∥w∥2+C∑i=1n​ξi​，其中 ww 是超平面的法向量，CC 是惩罚参数，ξiξi​ 是松弛变量。然后使用拉格朗日乘子法或序列最小优化（SMO）算法求解目标函数，得到最优超平面的参数 ww 和 bb。在训练过程中，识别出对超平面有贡献的支持向量。

模型训练完成后，需要使用测试集评估其性能。常用的评估指标包括准确率、精确率、召回率和F1分数。准确率是分类正确的样本占总样本的比例；精确率是预测为正类的样本中实际为正类的比例；召回率是实际为正类的样本中被正确预测的比例；F1分数是精确率和召回率的调和平均值，用于平衡两者。

SVM的性能高度依赖于参数的选择，因此参数调优是工作流程中的重要步骤。主要包括惩罚参数C、核参数和交叉验证。惩罚参数C控制模型对误分类的容忍度，通常通过网格搜索或交叉验证选择最优值；核参数如高斯核中的 γγ 值，影响模型的复杂度和分类边界形状；交叉验证通过K折交叉验证评估不同参数组合的性能，选择最优参数。