The Elements of Statistical Learning Chapters 8-13 Key Concepts (统计学习要素第 8-13 章核心概念)¶
来源: The Elements of Statistical Learning (Hastie, Tibshirani, Friedman)
编译时间: 2026-06-01
状态: 中英对照编译
基于: ESL 第 8-13 章核心概念
关联: ESL 第 2-7 章
📚 目录 (Table of Contents)¶
8. 第 8 章 模型推断与集成 (Chapter 8 Model Inference and Ensemble)¶
8.1 Bootstrap 方法 (Bootstrap Methods)¶
英文:
The bootstrap is a resampling method for estimating the sampling distribution of a statistic by sampling with replacement from the observed data.
中文:
Bootstrap 是一种重采样方法，通过从观测数据中有放回抽样来估计统计量的抽样分布。
Bootstrap 算法 (Bootstrap Algorithm):
For b = 1 to B:
1. 从原始数据有放回抽取 N 个样本
2. 计算统计量 θ̂*_b
3. 存储 θ̂*_b
估计标准误:
SE_boot = sqrt( (1/(B-1)) Σ (θ̂*_b - θ̂*_.)² )
8.2 Bagging (Bootstrap Aggregating)¶
英文:
Bagging reduces variance by averaging multiple models trained on bootstrap samples.
中文:
Bagging 通过对 bootstrap 样本上训练的多个模型取平均来减少方差。
Bagging 算法 (Bagging Algorithm):
For b = 1 to B:
1. Bootstrap 采样得到训练集 D_b
2. 在 D_b 上训练模型 f_b(x)
预测:
回归: f_bag(x) = (1/B) Σ f_b(x)
分类: f_bag(x) = majority vote{f_b(x)}
8.3 随机森林 (Random Forests)¶
英文:
Random forests add additional randomness to bagging by selecting a random subset of features at each split.
中文:
随机森林在 bagging 基础上增加额外的随机性，在每次分裂时选择随机特征子集。
随机森林 vs Bagging:
| 特性 | Bagging | 随机森林 |
|---|---|---|
| 特征选择 | 所有特征 | 随机子集 (√p 个) |
| 树相关性 | 较高 | 较低 |
| 方差减少 | 好 | 更好 |
| 计算成本 | 中等 | 稍高 |
9. 第 9 章 加法模型与树 (Chapter 9 Additive Models and Trees)¶
9.1 广义加法模型 (Generalized Additive Models)¶
英文:
Generalized additive models extend linear models by allowing each predictor to have a smooth nonlinear effect.
中文:
广义加法模型扩展线性模型，允许每个预测变量有平滑的非线性效应。
GAM 模型 (GAM Model):
其中 \(f_j\) 是平滑函数。
9.2 CART (Classification and Regression Trees)¶
英文:
CART is a decision tree algorithm that uses binary recursive partitioning to create a tree structure.
中文:
CART 是一种决策树算法，使用二元递归分割创建树结构。
CART 分裂准则 (CART Splitting Criterion):
| 问题类型 | 准则 | 公式 |
|---|---|---|
| 回归 | 最小化 RSS | \(\min \sum (y_i - \bar{y}_R)^2\) |
| 分类 | 基尼指数 | \(1 - \sum_k \hat{p}_{mk}^2\) |
| 分类 | 交叉熵 | \(-\sum_k \hat{p}_{mk} \log \hat{p}_{mk}\) |
10. 第 10 章 提升与正则化树 (Chapter 10 Boosting and Regularized Trees)¶
10.1 AdaBoost¶
英文:
AdaBoost is a boosting algorithm that combines weak learners into a strong learner by iteratively reweighting misclassified observations.
中文:
AdaBoost 是一种提升算法，通过迭代重新加权错分观测将弱学习器组合成强学习器。
AdaBoost 算法 (AdaBoost Algorithm):
初始化权重: w_i = 1/N
For m = 1 to M:
1. 在加权数据上拟合分类器 G_m(x)
2. 计算加权误差: err_m = Σ w_i I(y_i ≠ G_m(x_i))
3. 计算分类器权重: α_m = log((1-err_m)/err_m)
4. 更新样本权重:
w_i ← w_i × exp(α_m × I(y_i ≠ G_m(x_i)))
5. 归一化权重
最终分类器: G(x) = sign(Σ α_m G_m(x))
10.2 梯度提升 (Gradient Boosting)¶
英文:
Gradient boosting fits trees sequentially to the residuals (negative gradient) of the loss function.
中文:
梯度提升顺序地将树拟合到损失函数的残差 (负梯度)。
梯度提升算法 (Gradient Boosting Algorithm):
1. 初始化: F_0(x) = argmin_γ Σ L(y_i, γ)
2. For m = 1 to M:
a. 计算伪残差: r_im = -∂L(y_i, F(x_i))/∂F(x_i)
b. 拟合回归树到 r_im, 得到叶子 R_jm
c. 计算叶子值: γ_jm = argmin_γ Σ L(y_i, F_{m-1}(x_i) + γ)
d. 更新: F_m(x) = F_{m-1}(x) + ν Σ γ_jm I(x ∈ R_jm)
3. 输出: F_M(x)
其中 \(\nu\) 是学习率 (shrinkage)。
10.3 XGBoost 要点 (XGBoost Highlights)¶
英文:
XGBoost is an optimized implementation of gradient boosting with regularization and efficient computation.
中文:
XGBoost 是梯度提升的优化实现，具有正则化和高效计算。
XGBoost 目标函数 (XGBoost Objective):
其中正则化项：
11. 第 11 章 神经网络 (Chapter 11 Neural Networks)¶
11.1 前馈神经网络 (Feedforward Neural Networks)¶
英文:
Feedforward neural networks are composed of layers of neurons where information flows from input to output without cycles.
中文:
前馈神经网络由神经元层组成，信息从输入流向输出而无循环。
网络结构 (Network Architecture):
11.2 反向传播 (Backpropagation)¶
英文:
Backpropagation is an algorithm for computing gradients in neural networks using the chain rule.
中文:
反向传播是使用链式法则计算神经网络梯度的算法。
反向传播公式 (Backpropagation Formula):
其中 \(\delta_j\) 是神经元 j 的误差项。
11.3 正则化技术 (Regularization Techniques)¶
| 技术 | 英文 | 作用 |
|---|---|---|
| L2 正则化 | Weight Decay | 防止过拟合 |
| Dropout | Dropout | 随机丢弃神经元 |
| BatchNorm | 批归一化 | 加速训练 |
| Early Stopping | 早停 | 验证误差上升时停止 |
12. 第 12 章 支持向量机与核方法 (Chapter 12 SVM and Kernel Methods)¶
12.1 支持向量分类机 (Support Vector Classifier)¶
英文:
Support vector classifiers find the optimal separating hyperplane that maximizes the margin between classes.
中文:
支持向量分类机找到最优分离超平面，最大化类间间隔。
SVM 优化问题 (SVM Optimization Problem):
约束：
12.2 核方法 (Kernel Methods)¶
英文:
Kernel methods implicitly map data to high-dimensional feature spaces where linear methods can capture nonlinear patterns.
中文:
核方法隐式地将数据映射到高维特征空间，线性方法可在其中捕捉非线性模式。
常见核函数 (Common Kernel Functions):
| 核函数 | 公式 | 特点 |
|---|---|---|
| 线性核 | K(x,x') = x^T x' | 最简单 |
| 多项式核 | K(x,x') = (γx^T x' + r)^d | 捕捉交互 |
| RBF 核 | K(x,x') = exp(-γ | |
| Sigmoid 核 | K(x,x') = tanh(γx^T x' + r) | 类似神经网络 |
12.3 支持向量回归 (Support Vector Regression)¶
英文:
Support vector regression uses ε-insensitive loss to fit a tube around the data.
中文:
支持向量回归使用 ε-不敏感损失在数据周围拟合管。
SVR 损失函数 (SVR Loss Function):
13. 第 13 章 原型方法与最近邻 (Chapter 13 Prototype and Nearest Neighbors)¶
13.1 K 近邻 (K-Nearest Neighbors)¶
英文:
K-nearest neighbors classifies a point based on the majority class among its K nearest neighbors in the feature space.
中文:
K 近邻根据特征空间中 K 个最近邻的多数类来分类一个点。
KNN 分类 (KNN Classification):
其中 \(N_k(x)\) 是 x 的 k 个最近邻。
13.2 学习向量量化 (Learning Vector Quantization)¶
英文:
LVQ is a prototype method that learns representative prototypes for each class.
中文:
LVQ 是一种原型方法，学习每个类的代表性原型。
LVQ 算法 (LVQ Algorithm):
初始化原型 {m_k}
For each iteration:
1. 选择样本 (x, y)
2. 找到最近原型 m_c
3. 如果 y == class(m_c):
m_c ← m_c + α(x - m_c)
否则:
m_c ← m_c - α(x - m_c)
🔑 关键术语对照表 (Glossary)¶
| English | 中文 | 定义 |
|---|---|---|
| Bootstrap | Bootstrap | 有放回重采样方法 |
| Bagging | Bagging | Bootstrap 聚合 |
| Random forest | 随机森林 | 特征子集的 bagging |
| GAM | 广义加法模型 | 平滑函数加法模型 |
| CART | CART | 分类回归树 |
| AdaBoost | AdaBoost | 自适应提升算法 |
| Gradient boosting | 梯度提升 | 拟合残差的提升 |
| XGBoost | XGBoost | 正则化梯度提升 |
| Neural network | 神经网络 | 神经元组成的网络 |
| Backpropagation | 反向传播 | 计算梯度的算法 |
| SVM | 支持向量机 | 最大间隔分类器 |
| Kernel method | 核方法 | 高维空间映射方法 |
| KNN | K 近邻 | 基于邻近度的方法 |
| LVQ | 学习向量量化 | 学习原型的方法 |
编译完成时间: 2026-06-01
来源: The Elements of Statistical Learning 第 8-13 章
关联文档: esl-key-concepts-zh-en.md