朴素贝叶斯
- User
朴素贝叶斯
Assistant
朴素贝叶斯(Naive Bayes) 是一种基于贝叶斯定理的简单概率分类算法,因其“朴素”假设(特征条件独立)而得名。尽管这一假设在现实中往往不成立,但该算法仍广泛应用于文本分类、垃圾邮件过滤、情感分析等领域,并表现出较高的效率和良好的效果。
核心原理
-
贝叶斯定理: [ P(y \mid X) = \frac{P(X \mid y) \cdot P(y)}{P(X)} ]
- (y):类别标签(如“垃圾邮件”或“正常邮件”)。
- (X):特征向量(如文本中的单词)。
- (P(y \mid X)):给定特征 (X) 时属于类别 (y) 的后验概率。
- (P(X \mid y)):似然(类别 (y) 中特征 (X) 出现的概率)。
- (P(y)):类别 (y) 的先验概率。
-
朴素假设:
- 假设所有特征相互独立,即: [ P(X \mid y) = P(x_1 \mid y) \cdot P(x_2 \mid y) \cdots P(x_n \mid y) ]
- 这一简化大大降低了计算复杂度。
常见变种
-
高斯朴素贝叶斯(Gaussian Naive Bayes):
- 假设连续特征服从正态分布,适用于数值型数据。
- 公式:(P(x_i \mid y) = \frac{1}{\sqrt{2\pi\sigma_y^2}} \exp\left(-\frac{(x_i - \mu_y)^2}{2\sigma_y^2}\right))。
-
多项式朴素贝叶斯(Multinomial Naive Bayes):
- 适用于离散特征(如文本的词频统计)。
- 使用多项式分布建模特征概率。
-
伯努利朴素贝叶斯(Bernoulli Naive Bayes):
- 适用于二值特征(如单词是否出现)。
- 忽略词频,仅关注“出现”或“未出现”。
工作步骤
-
训练阶段:
- 计算每个类别的先验概率 (P(y))。
- 计算每个特征在各类别下的条件概率 (P(x_i \mid y))。
-
预测阶段:
- 对新样本 (X),计算所有类别的后验概率 (P(y \mid X))。
- 选择后验概率最大的类别作为预测结果: [ \hat{y} = \arg\max_y P(y) \prod_{i=1}^n P(x_i \mid y) ]
优缺点
优点:
- 计算高效,适合高维数据(如文本分类)。
- 对小规模数据表现良好,对缺失数据不敏感。
- 无需复杂调参。
缺点:
- 独立性假设在现实中常不成立(特征间可能存在关联)。
- 对输入数据的分布假设(如高斯分布)可能不符合实际。
应用场景
- 文本分类:垃圾邮件识别、新闻分类。
- 情感分析:判断评论的正负面。
- 推荐系统:结合用户行为数据进行初步分类。
代码示例(Python)
from sklearn.naive_bayes import GaussianNB from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split # 加载数据 data = load_iris() X_train, X_test, y_train, y_test = train_test_split(data.data, data.target, test_size=0.3) # 训练模型 model = GaussianNB() model.fit(X_train, y_train) # 预测 accuracy = model.score(X_test, y_test) print(f"Accuracy: {accuracy:.2f}")
为什么叫“朴素”?
因为算法假设特征之间完全独立,这一简化在现实中很少成立,显得“天真”(naive)。尽管如此,实际应用中它往往能提供可靠的基线性能。
-
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.