import live www.sillylaird.ca webrootHEADmain

1 files changed, 561 insertions, 0 deletions

diff --git a/.agents/skills/results-analysis/references/statistical-methods.md b/.agents/skills/results-analysis/references/statistical-methods.md
new file mode 100644
index 0000000..db3e74f
--- /dev/null
+++ b/.agents/skills/results-analysis/references/statistical-methods.md
@@ -0,0 +1,561 @@
+# Statistical Methods for ML/AI Experiments
+
+完整的统计分析方法指南，用于 ML/AI 实验结果分析。
+
+## 基础统计量
+
+### 均值 (Mean)
+
+**定义**: 所有观测值的平均值
+
+**公式**: μ = (Σx) / n
+
+**报告格式**: "模型在测试集上达到 85.3% 的准确率"
+
+### 标准差 (Standard Deviation, SD)
+
+**定义**: 衡量数据分散程度
+
+**公式**: SD = √[Σ(x - μ)² / (n-1)]
+
+**报告格式**: "准确率为 85.3% ± 2.1%（标准差）"
+
+**何时使用**: 描述数据的变异性
+
+### 标准误 (Standard Error, SE)
+
+**定义**: 样本均值的标准差
+
+**公式**: SE = SD / √n
+
+**报告格式**: "准确率为 85.3% ± 0.7%（标准误）"
+
+**何时使用**: 估计均值的不确定性
+
+### 标准差 vs 标准误
+
+| 特性 | 标准差 (SD) | 标准误 (SE) |
+|------|------------|------------|
+| 含义 | 数据的分散程度 | 均值估计的不确定性 |
+| 随样本量变化 | 不变 | 减小（∝ 1/√n） |
+| 用途 | 描述数据变异 | 推断总体均值 |
+| 报告场景 | 描述性统计 | 推断性统计 |
+
+**重要**: 论文中必须明确说明使用的是标准差还是标准误。
+
+### 置信区间 (Confidence Interval)
+
+**定义**: 总体参数的可能范围
+
+**95% 置信区间公式**: CI = μ ± t(α/2, n-1) × SE
+
+**报告格式**: "准确率为 85.3% [95% CI: 83.9%, 86.7%]"
+
+**解释**: 95% 的置信区间意味着如果重复实验多次，95% 的区间会包含真实值。
+
+## 预先检验（必须执行）
+
+在进行参数检验前，必须验证数据是否满足检验的假设条件。
+
+### 1. 正态性检验 (Normality Test)
+
+**目的**: 验证数据是否服从正态分布
+
+**何时需要**: 使用 t-test、ANOVA 等参数检验前
+
+**常用方法**:
+
+#### Shapiro-Wilk 检验
+- **适用**: 样本量 n < 50
+- **零假设**: 数据服从正态分布
+- **判断**: p > 0.05 → 接受正态分布假设
+- **使用场景**: 小样本，最常用
+
+#### Kolmogorov-Smirnov 检验
+- **适用**: 样本量 n ≥ 50
+- **零假设**: 数据服从正态分布
+- **判断**: p > 0.05 → 接受正态分布假设
+- **使用场景**: 大样本
+
+#### Anderson-Darling 检验
+- **适用**: 所有样本量
+- **优点**: 对尾部偏离更敏感
+- **使用场景**: 需要检测尾部异常时
+
+#### Q-Q 图 (Quantile-Quantile Plot)
+- **类型**: 图形化方法
+- **判断**: 点接近直线 → 正态分布
+- **优点**: 直观展示偏离程度
+- **使用场景**: 配合数值检验使用
+
+**不满足正态性时的处理**:
+1. 数据转换（log, sqrt, Box-Cox）
+2. 使用非参数检验（Wilcoxon, Mann-Whitney U）
+3. 增加样本量（中心极限定理）
+
+### 2. 方差齐性检验 (Homogeneity of Variance)
+
+**目的**: 验证多组数据的方差是否相等
+
+**何时需要**: 使用独立样本 t-test、ANOVA 前
+
+**常用方法**:
+
+#### Levene 检验
+- **适用**: 最常用，对非正态分布鲁棒
+- **零假设**: 各组方差相等
+- **判断**: p > 0.05 → 接受方差齐性假设
+- **使用场景**: 默认选择
+
+#### Bartlett 检验
+- **适用**: 数据严格正态分布时
+- **零假设**: 各组方差相等
+- **判断**: p > 0.05 → 接受方差齐性假设
+- **使用场景**: 正态性已验证
+
+#### Brown-Forsythe 检验
+- **适用**: Levene 检验的改进版
+- **优点**: 对非正态分布更鲁棒
+- **使用场景**: 数据明显偏态时
+
+**不满足方差齐性时的处理**:
+1. 使用 Welch's t-test（不假设方差相等）
+2. 使用 Welch's ANOVA
+3. 数据转换
+4. 使用非参数检验
+
+### 3. 独立性检验
+
+**目的**: 验证观测值之间是否独立
+
+**何时需要**: 所有统计检验前
+
+**常见违反独立性的情况**:
+- 时间序列数据（自相关）
+- 重复测量（同一对象多次测量）
+- 聚类数据（同一组内的观测）
+
+**处理方法**:
+- 时间序列：使用时间序列分析方法
+- 重复测量：使用配对检验或混合效应模型
+- 聚类数据：使用多层模型或聚类标准误
+
+### 4. 异常值检测
+
+**目的**: 识别和处理极端值
+
+**常用方法**:
+
+#### IQR 方法
+- **定义**: 异常值 = Q1 - 1.5×IQR 或 Q3 + 1.5×IQR 之外
+- **使用场景**: 最常用，简单直观
+
+#### Z-score 方法
+- **定义**: |Z| > 3 为异常值
+- **使用场景**: 数据近似正态分布
+
+#### Grubbs 检验
+- **适用**: 检测单个异常值
+- **使用场景**: 正态分布数据
+
+**处理异常值**:
+1. 检查是否为数据错误
+2. 报告异常值的存在
+3. 进行敏感性分析（有/无异常值）
+4. 使用鲁棒统计方法
+
+## 预先检验决策树
+
+```
+开始
+  ↓
+样本量 < 30？
+  ↓ 是
+  检查正态性（Shapiro-Wilk）
+    ↓ 不满足
+    使用非参数检验
+  ↓ 否
+  检查正态性（K-S 或 Q-Q 图）
+    ↓ 满足
+    两组比较？
+      ↓ 是
+      检查方差齐性（Levene）
+        ↓ 满足
+        独立样本 t-test
+        ↓ 不满足
+        Welch's t-test
+      ↓ 否
+      多组比较？
+        ↓ 是
+        检查方差齐性（Levene）
+          ↓ 满足
+          ANOVA
+          ↓ 不满足
+          Welch's ANOVA
+```
+
+## 预先检验报告模板
+
+**论文中应报告**:
+
+"在进行参数检验前，我们使用 Shapiro-Wilk 检验验证了数据的正态性（方法 A: W = 0.96, p = 0.23; 方法 B: W = 0.95, p = 0.18），使用 Levene 检验验证了方差齐性（F = 1.23, p = 0.31）。所有检验均满足参数检验的假设条件。"
+
+**如果不满足假设**:
+
+"Shapiro-Wilk 检验显示数据不满足正态性假设（方法 A: W = 0.87, p = 0.01），因此我们使用非参数的 Mann-Whitney U 检验进行比较。"
+
+## 假设检验（参数检验）
+
+### 1. t-test（两组对比）
+
+**用途**: 比较两个方法的性能差异
+
+**假设条件**:
+- 数据服从正态分布
+- 方差齐性（独立样本 t-test）
+- 观测值独立
+
+#### 独立样本 t-test (Independent Samples t-test)
+
+**使用场景**: 比较两个独立组的均值
+- 例：方法 A vs 方法 B 在不同数据集上的性能
+
+**假设**:
+- H₀: μ₁ = μ₂（两组均值相等）
+- H₁: μ₁ ≠ μ₂（两组均值不等）
+
+**报告格式**: "方法 A (85.3% ± 2.1%) 显著优于方法 B (82.1% ± 1.8%), t(18) = 3.45, p = 0.003"
+
+**何时使用**: ✅ 两个独立组，满足正态性和方差齐性
+
+#### 配对样本 t-test (Paired Samples t-test)
+
+**使用场景**: 比较同一组对象在两种条件下的表现
+- 例：同一数据集上，方法 A vs 方法 B 的性能
+
+**假设**:
+- H₀: μd = 0（差值的均值为0）
+- H₁: μd ≠ 0（差值的均值不为0）
+
+**报告格式**: "在10个数据集上，方法 A 显著优于方法 B, t(9) = 4.23, p = 0.002"
+
+**何时使用**: ✅ 配对数据，同一对象的前后对比
+
+#### Welch's t-test
+
+**使用场景**: 两组方差不相等时
+- 例：方差齐性检验不通过（Levene's test p < 0.05）
+
+**优点**: 不假设方差相等，更鲁棒
+
+**报告格式**: "方法 A 显著优于方法 B, Welch's t(16.3) = 3.21, p = 0.005"
+
+**何时使用**: ✅ 方差齐性检验失败时的替代方案
+
+### 2. ANOVA（多组对比）
+
+**用途**: 同时比较三个或更多方法
+
+**假设条件**:
+- 数据服从正态分布
+- 方差齐性
+- 观测值独立
+
+#### 单因素 ANOVA (One-Way ANOVA)
+
+**使用场景**: 比较多个独立组的均值
+- 例：方法 A vs B vs C vs D 的性能对比
+
+**假设**:
+- H₀: μ₁ = μ₂ = μ₃ = ... = μk（所有组均值相等）
+- H₁: 至少有一组均值不同
+
+**报告格式**: "不同方法之间存在显著差异, F(3, 36) = 8.45, p < 0.001"
+
+**何时使用**: ✅ 三个或更多独立组
+
+**重要**: ANOVA 只告诉你"至少有一组不同"，需要事后检验找出具体哪些组不同。
+
+#### 重复测量 ANOVA (Repeated Measures ANOVA)
+
+**使用场景**: 同一组对象在多个条件下的表现
+- 例：同一数据集上，多个方法的性能对比
+
+**假设**:
+- H₀: 所有条件下的均值相等
+- H₁: 至少有一个条件的均值不同
+
+**报告格式**: "不同方法之间存在显著差异, F(3, 27) = 12.34, p < 0.001"
+
+**何时使用**: ✅ 配对数据，多个条件的对比
+
+#### 双因素 ANOVA (Two-Way ANOVA)
+
+**使用场景**: 研究两个因素的影响及其交互作用
+- 例：方法类型（因素1）× 数据集大小（因素2）对性能的影响
+
+**报告格式**:
+- "方法类型主效应显著, F(2, 54) = 15.23, p < 0.001"
+- "数据集大小主效应显著, F(2, 54) = 8.91, p < 0.001"
+- "交互作用不显著, F(4, 54) = 1.23, p = 0.31"
+
+**何时使用**: ✅ 研究多个因素及其交互作用
+
+#### Welch's ANOVA
+
+**使用场景**: 方差不齐时的 ANOVA 替代方案
+
+**报告格式**: "不同方法之间存在显著差异, Welch's F(3, 18.5) = 7.89, p = 0.002"
+
+**何时使用**: ✅ 方差齐性检验失败时
+
+### 3. 事后检验 (Post-hoc Tests)
+
+**目的**: ANOVA 显著后，找出具体哪些组不同
+
+**常用方法**:
+
+#### Tukey HSD (Honestly Significant Difference)
+
+**使用场景**: ANOVA 后的标准事后检验
+- **优点**: 控制家族错误率
+- **适用**: 各组样本量相等或接近
+- **报告**: "Tukey HSD 检验显示，方法 A 显著优于方法 B (p = 0.003) 和方法 C (p = 0.012)"
+
+**何时使用**: ✅ 默认选择，最常用
+
+#### Bonferroni 校正
+
+**使用场景**: 保守的事后检验
+- **优点**: 简单，控制家族错误率
+- **缺点**: 过于保守
+- **报告**: "Bonferroni 校正后，方法 A 显著优于方法 B (p = 0.002)"
+
+**何时使用**: ✅ 需要严格控制 Type I 错误时
+
+#### Scheffé 检验
+
+**使用场景**: 最保守的事后检验
+- **优点**: 适用于所有对比（包括复杂对比）
+- **缺点**: 功效最低
+- **报告**: "Scheffé 检验显示，方法 A 显著优于方法 B (p = 0.015)"
+
+**何时使用**: ✅ 需要进行复杂对比时
+
+#### Dunnett 检验
+
+**使用场景**: 多个实验组与一个对照组比较
+- **优点**: 专门设计用于与对照组比较
+- **报告**: "Dunnett 检验显示，方法 A、B、C 均显著优于基线方法 (p < 0.01)"
+
+**何时使用**: ✅ 有明确的对照组（基线方法）时
+
+## 假设检验（非参数检验）
+
+**何时使用非参数检验**:
+- 数据不满足正态分布假设
+- 样本量很小（n < 30）
+- 数据为序数或等级数据
+- 存在明显的异常值
+
+### 4. Wilcoxon 检验（配对数据）
+
+**用途**: 配对数据的非参数检验，t-test 的非参数替代
+
+**使用场景**: 同一数据集上，两个方法的性能对比
+- 例：10个数据集上，方法 A vs 方法 B
+
+**假设**:
+- H₀: 两组的中位数相等
+- H₁: 两组的中位数不等
+
+**报告格式**: "Wilcoxon 符号秩检验显示，方法 A 显著优于方法 B, Z = 2.81, p = 0.005"
+
+**何时使用**: ✅ 配对数据，不满足正态性假设
+
+### 5. Mann-Whitney U 检验（独立数据）
+
+**用途**: 独立样本的非参数检验，独立样本 t-test 的非参数替代
+
+**使用场景**: 两个独立组的性能对比
+- 例：方法 A 在数据集1上 vs 方法 B 在数据集2上
+
+**假设**:
+- H₀: 两组的分布相同
+- H₁: 两组的分布不同
+
+**报告格式**: "Mann-Whitney U 检验显示，方法 A 显著优于方法 B, U = 45, p = 0.012"
+
+**何时使用**: ✅ 独立样本，不满足正态性假设
+
+**别名**: Wilcoxon 秩和检验
+
+### 6. Kruskal-Wallis 检验（多组对比）
+
+**用途**: 多组独立样本的非参数检验，ANOVA 的非参数替代
+
+**使用场景**: 三个或更多方法的性能对比
+- 例：方法 A vs B vs C vs D
+
+**假设**:
+- H₀: 所有组的分布相同
+- H₁: 至少有一组的分布不同
+
+**报告格式**: "Kruskal-Wallis 检验显示，不同方法之间存在显著差异, H(3) = 15.23, p = 0.002"
+
+**何时使用**: ✅ 多组独立样本，不满足正态性假设
+
+**事后检验**: Dunn 检验（带 Bonferroni 校正）
+
+### 7. Friedman 检验（重复测量）
+
+**用途**: 配对数据的多组非参数检验，重复测量 ANOVA 的非参数替代
+
+**使用场景**: 同一数据集上，多个方法的性能对比
+- 例：10个数据集上，方法 A vs B vs C vs D
+
+**假设**:
+- H₀: 所有条件下的分布相同
+- H₁: 至少有一个条件的分布不同
+
+**报告格式**: "Friedman 检验显示，不同方法之间存在显著差异, χ²(3) = 18.45, p < 0.001"
+
+**何时使用**: ✅ 配对数据，多组对比，不满足正态性假设
+
+**事后检验**: Nemenyi 检验或 Wilcoxon 符号秩检验（带 Bonferroni 校正）
+
+### 8. Sign 检验
+
+**用途**: 最简单的配对数据非参数检验
+
+**使用场景**: 只关心方向（哪个更好），不关心差异大小
+- 例：方法 A 在多少个数据集上优于方法 B
+
+**假设**:
+- H₀: 正负差异的数量相等
+- H₁: 正负差异的数量不等
+
+**报告格式**: "Sign 检验显示，方法 A 在 10 个数据集中的 8 个上优于方法 B, p = 0.055"
+
+**何时使用**: ✅ 只关心胜负，不关心差异大小
+
+**优点**: 最鲁棒，对异常值不敏感
+**缺点**: 功效最低
+
+## 统计检验选择流程图
+
+```
+数据类型？
+  ↓
+配对数据？
+  ↓ 是
+  两组对比？
+    ↓ 是
+    正态性检验
+      ↓ 满足
+      配对 t-test
+      ↓ 不满足
+      Wilcoxon 符号秩检验
+    ↓ 否（多组）
+    正态性检验
+      ↓ 满足
+      重复测量 ANOVA
+      ↓ 不满足
+      Friedman 检验
+  ↓ 否（独立数据）
+  两组对比？
+    ↓ 是
+    正态性检验
+      ↓ 满足
+      方差齐性检验
+        ↓ 满足
+        独立 t-test
+        ↓ 不满足
+        Welch's t-test
+      ↓ 不满足
+      Mann-Whitney U 检验
+    ↓ 否（多组）
+    正态性检验
+      ↓ 满足
+      方差齐性检验
+        ↓ 满足
+        ANOVA + 事后检验
+        ↓ 不满足
+        Welch's ANOVA + Games-Howell
+      ↓ 不满足
+      Kruskal-Wallis + Dunn 检验
+```
+
+## 多重比较校正
+
+**问题**: 多次检验增加 Type I 错误（假阳性）概率
+
+**公式**: P(至少一次错误) = 1 - (1-α)^k，其中 k 为检验次数
+
+**常用方法**:
+
+| 方法 | 公式 | 保守程度 | 使用场景 |
+|------|------|----------|----------|
+| Bonferroni | α' = α/k | 最保守 | 少量检验 |
+| Holm-Bonferroni | 逐步校正 | 较保守 | 中等数量检验 |
+| FDR (Benjamini-Hochberg) | 控制错误发现率 | 较宽松 | 大量检验，探索性分析 |
+
+## 效应量
+
+**定义**: 衡量差异的实际大小，独立于样本量
+
+**常用指标**:
+
+| 效应量 | 适用场景 | 解释 |
+|--------|----------|------|
+| Cohen's d | t-test | \|d\| < 0.2 小，0.2-0.5 中，≥0.8 大 |
+| η² (Eta squared) | ANOVA | 0.01 小，0.06 中，0.14 大 |
+| r (相关系数) | 非参数检验 | 0.1 小，0.3 中，0.5 大 |
+
+**报告**: 必须同时报告 p-value 和效应量
+
+## 实验设计要点
+
+**重复次数**: 最少 3-5 次，推荐 5-10 次，高方差任务 10+ 次
+
+**随机种子**: 报告所有使用的随机种子，确保可重现
+
+**交叉验证**: k-fold (k=5 或 10) 用于评估泛化性能
+
+## 常见错误
+
+1. **Cherry-picking**: 只报告最好结果 → 报告所有实验
+2. **p-hacking**: 尝试多种分析找显著结果 → 预先确定方法
+3. **混淆 SD 和 SE**: 不说明使用哪个 → 明确标注
+4. **忽略多重比较**: 多次检验不校正 → 使用 Bonferroni/FDR
+5. **只报告 p-value**: 缺少效应量 → 同时报告两者
+
+## 报告检查清单
+
+- [ ] 报告均值和标准差/标准误（明确标注）
+- [ ] 报告实验重复次数
+- [ ] 执行预先检验（正态性、方差齐性）
+- [ ] 选择适当的统计检验
+- [ ] 报告完整统计信息（检验统计量、自由度、p-value）
+- [ ] 报告效应量
+- [ ] 多重比较进行校正
+- [ ] 说明随机种子设置
+
+## 参考资源
+
+- [Nature Statistics Checklist](https://www.nature.com/documents/nr-reporting-summary-flat.pdf)
+- [ASA Statement on P-Values](https://www.amstat.org/asa/files/pdfs/p-valuestatement.pdf)
+- [Reporting Statistics in Psychology](https://apastyle.apa.org/instructional-aids/numbers-statistics-guide.pdf)
+
+## 总结
+
+统计分析的核心原则：
+
+1. **预先检验** - 验证假设条件
+2. **完整报告** - 均值、标准差/标准误、样本量
+3. **适当检验** - 根据数据特征选择方法
+4. **多重校正** - 多次比较时校正 α
+5. **效应量** - 不只报告 p-value
+6. **可重现** - 提供足够细节
+
+遵循这些原则可以确保实验结果的统计严谨性和可信度。