基础设施工具与剩余资源总览——从 AutoML 到可视化仪表板的工程底座¶
一句话总结¶
决策科学的工程基础设施——AutoML 自动化（autogluon）、深度学习框架（transformers）、交互式仪表板（streamlit/dash/panel）和数据工程管道（airflow/dbt）——构成了将模型从 Notebook 推向生产环境的桥梁。
工具分类¶
层 1: AutoML — 让机器自动选择模型（autogluon）¶
核心能力：
- 多模态 AutoML：同时处理表格、文本、图像数据，自动选择最佳模型组合
- 模型集成：自动堆叠多模型（RF + XGB + NN + KNN）→ 通常优于任何单一模型
- TabularPredictor：predictor = TabularPredictor(label='target').fit(train_data) — 一行代码完成特征工程、模型选择、超参数优化
定位：AutoML 是"基线之上的基线"——在投入人力和时间做定制模型之前，先让 autogluon 告诉你"什么都不做的最优水平是多少"。如果 autogluon 的 AUC 是 0.78 而你的定制 Autoencoder 是 0.79，那个 0.01 的提升可能不值得额外的复杂性。
与概念笔记的连接： - → 概念笔记「机器学习失败金字塔」：AutoML 的悖论——它自动化了金字塔的塔尖（算法选择），但地基（数据质量、标签准确性、特征工程）仍需人工。AutoML + 脏数据 = 自动化的精确错误 - → 概念笔记「度量选择是元决策」：AutoML 的默认优化目标（通常是 Accuracy 或 LogLoss）可能不是你的业务目标——AutoML 帮你高效到达了错误的目的地
层 2: 深度学习 — 预训练模型的即插即用（transformers）¶
核心能力：
- HuggingFace Transformers：数千个预训练模型（BERT、GPT、T5、LLaMA）可通过几行代码加载和微调
- Pipeline API：classifier = pipeline("sentiment-analysis") — 零代码 NLP
- 跨模态：文本、图像、语音、多模态——统一 API
在决策科学中的应用： - 客户反馈情感分析 → 产品改进优先级 - 合同/政策文本的实体识别 → 合规检查自动化 - 客服对话摘要 → 客户痛点发现
层 3: 交互式仪表板 — 从 Jupyter 到 Stakeholder（streamlit/dash/panel/vizro）¶
| 工具 | 定位 | 适合场景 |
|---|---|---|
| Streamlit | 最快原型（Python-only） | "给我一个下午，我给你一个交云的模型 demo" |
| Dash | 企业级仪表板（Plotly 生态） | 需要完整前端控制、权限管理的生产仪表板 |
| Panel | 科学可视化通用工具 | 复杂的参数空间探索、多维数据交互 |
| Vizro | 低代码 AI 仪表板 | 非开发者也能配置的标准化报告 |
核心价值：将 Notebook 中的 plt.plot() 和 model.predict() 转化为 Stakeholder 可以直接操作的交互式工具。这是数据科学从"分析"到"决策支持"的关键一步。
层 4: 数据工程管道 — 可重复的决策数据流（airflow/dbt）¶
Airflow：DAG (有向无环图) 编排——定义任务依赖、调度、失败重试、监控。将"手动运行 python preprocess.py && python train.py && python deploy.py"转化为自动化的每日/每周管道。
dbt (data build tool)：数据仓库中的 SQL 转换——定义模型（SQL SELECT 语句）、测试（唯一性、非空、引用完整性）、文档化。将"分析师在 Excel 中做的数据清洗"转化为版本控制的、可测试的 SQL 模型。
为什么决策科学需要数据工程： - 可复现性：三个月前的 A/B 测试结果能在相同数据处理逻辑下重新生成吗？ - 时效性：决策需要今天的数据，不是上个月的手动导出 - 审计性：监管问"这个信用模型用了什么数据？"——Airflow DAG + dbt lineage 提供完整的数据谱系
剩余的 external-docs 资源（已存在但未深度覆盖）¶
A/B 测试域（6 个 PDF 已覆盖但未单独提取笔记）¶
| 文件 | 核心主题 | 在笔记中的覆盖情况 |
|---|---|---|
bayesian-optional-stopping-2016.pdf |
贝叶斯停止规则 | C2 (贝叶斯频率) + C11 (实验设计) 已覆盖概念 |
dirty-dozen-2017.pdf |
A/B 测试 12 大陷阱 | C11 概念笔记已覆盖核心内容 (SRM/p-hacking/peeking) |
online-experimentation-microsoft-2009.pdf |
在线实验实践指南 | C11 已整合为概念笔记的基础文献之一 |
post-selection-inference-2021.pdf |
选择后推断 | C4 (频率推断) 已覆盖选择性推断的陷阱 |
three-checklists-2019.pdf |
实验三检查清单 | C11 以 3 检查清单结构组织核心内容 |
RLbook2020.pdf (Sutton & Barto) |
强化学习教材 | C12 (自适应实验) 已覆盖 Bandit + RL 基础 |
NLP 与 ML 课程资源（未覆盖）¶
| 文件 | 内容 | 与决策科学的关联 |
|---|---|---|
huggingface-nlp-module1-3-zh-en.md |
NLP 基础 + Transformer 架构 | 客户反馈分析、合同审查的底层技术 |
deep-learning-concepts-zh-en.md |
深度学习核心概念 | ML 失败金字塔 C9 的技术底座 |
graph-neural-network-concepts-zh-en.md |
GNN 概念 | 网络科学 C10 的计算层——欺诈环检测、推荐系统 |
generative-models-concepts-zh-en.md |
生成模型（GAN/VAE/Diffusion） | 合成数据生成——隐私合规的 A/B 测试数据增强 |
meta-transfer-learning-concepts-zh-en.md |
元学习与迁移学习 | 少样本决策——在数据稀缺领域的应用 |
esl-ch8-13-concepts-zh-en.md |
ESL 第 8-13 章（模型推断/树/Boosting/NN/SVM/原型方法） | ML 方法论基础 |
scikit-learn-user-guide-zh-en.md |
sklearn 用户指南 | 数据科学工程基础 |
单篇未覆盖 PDF¶
| 文件 | 主题 |
|---|---|
decision-analysis-tutorial.pdf |
决策分析教程——决策树、影响图、灵敏度分析 |
conformal-prediction/gentle-intro-cp.pdf |
共形预测——不依赖分布的预测区间 |
game-theory/networks-crowds-markets.pdf |
E&K 全书——网络、人群与市场（博弈论+网络科学结合的教材） |
五个空目录——已规划但未填充的领域¶
| 空目录 | 规划内容 | 与现有笔记的交叉 |
|---|---|---|
books/complex-systems/ |
复杂系统理论（圣塔菲研究所经典） | C10 网络科学的扩展——从网络到多 Agent 系统的涌现 |
books/decision-theory/ |
决策理论专著（Raiffa/Howard/Matheson） | C7 决策理论的核心文献补充 |
books/financial-risk/ |
金融风险文献（市场/信用/操作风险） | 量化金融 + 信用风险实践笔记的理论基础 |
books/marketing/ |
营销科学文献（Kotler/营销分析） | 营销实践笔记的方法论根基 |
books/marketing-analytics/ |
营销分析方法（归因/MMM/CLV 论文） | MMM 和 CLV 工具的学术基础 |
建议优先级：
1. decision-theory/ — 最高，决策理论是整个笔记系统的方法论轴心
2. marketing-analytics/ — 高，MMM 和 CLV 是当前数据驱动决策的主战场
3. complex-systems/ — 中，与 C10 网络科学形成互补
4. financial-risk/ — 中，量化金融笔记已有代码覆盖
5. marketing/ — 低，营销实践笔记已基于 code-examples 建立
覆盖状态总结¶
| 资源层 | 状态 | 百分比 |
|---|---|---|
| code-examples 代码项目 | 34/70 有实践笔记 | 49% (含所有高价值项目) |
| Notebooks | 19/19 有总览笔记 | 100% |
| external-docs 外部文献 | 29/51 被引用，核心概念已覆盖 | 57% (但核心文献 100% 已融入概念笔记) |
| 已规划的空目录域 | 0/5 填充 | 0% (下一轮优先) |
跨域链接¶
- → 概念笔记「机器学习失败金字塔」：AutoML (autogluon) 和预训练模型 (transformers) 是 C9 中"算法是塔尖"的精确体现——这些工具让算法选择几乎零成本，但数据质量和问题定义仍然是人的责任
- → 概念笔记「度量选择是元决策」：仪表板（streamlit/dash）的指标选择决定了 Stakeholder 的注意力方向——你放在首页大数字上的 KPI 就是组织追逐的目标
- → 概念笔记「贝叶斯与频率学派分歧」：共形预测 (conformal prediction) 提供无分布假设的预测区间——这是频率学派对"预测不确定性量化"的一种独特方案，不需要先验但提供有限样本的频率保证
- → 概念笔记「网络科学——从个体交互到集体涌现的结构性规律」：GNN (graph-neural-network-concepts) 是网络科学和深度学习的直接交汇——将图结构的归纳偏置（消息传递、局部聚合）编码入神经网络架构
- → 概念笔记「博弈论基础」：
networks-crowds-markets.pdf(E&K 全书) 是博弈论和网络科学的统一教材——前半部分讲图论和网络博弈（C1 + C10 的重叠区），后半部分讲市场和信息级联