wuxinbo-bo/math-model-skills/computational-realization

计算实验工程实现

DATA_PREPARATION 条件子流程

它属于 COMPUTATION，不是第八阶段。有数据时先执行 程序/data_preprocessing.py：校验原始数据，按 FORMULATION 合同实施题目专属处理，比较处理前后质量，把唯一规范输入冻结到 数据/processed/，然后模型程序只读取该输入。将源文件路径/哈希、步骤、质量统计、泄漏控制和处理后文件路径/哈希写入现有 图表/全部结果.json.data_preparation，并在 计算结果.md 留一段摘要。无数据时不得创建这些伪产物。

对 new_model/model_extension 子问题，在现有 图表/全部结果.json.model_identity 中按 Q1/Q2/... 写入 academic_name、canonical_model_family、solver_algorithm、objective_count、objective_direction、variable_type、relation_type 和 multiobjective_evidence。各项值必须直接复制 建模报告.md 审计身份与模型语义卡。comparison/validation/application 子问题不伪造模型身份，只在计算结果中记录其继承模型和真实比较或验证证据。

发布声明与新增机制验证

在同一个 图表/全部结果.json 中维护 publication_claims，逐问至少登记一项进入论文的关键结果，包含 question、statement、display_value、source_key、derivation 和 required_in。直接结果使用 derivation: direct；加总、区间并集、均值、比率或归一化结果必须写明真实派生方式。论文只读取该账本，不另造数字。

对 model_extension 验证新增机制：新增时序检查先后和边界精度，新增资源检查边际贡献、重叠与闲置，新增分配检查容量和分配后可行性，新增随机机制检查情景外可行率。元启发式或混合求解至少报告可行基线、全局阶段结果、局部精化增益、重复运行分布和最终约束残差中适用的项目。

灵敏度分析必须记录指标定义、扰动范围、固定决策或重新优化、可行率和响应方向。不得把低灵敏度或零灵敏度直接写成“模型正确/鲁棒”。

稳定执行契约

• 执行目标：把建模报告中的每个子问题实现为可运行程序，并冻结真实计算结果与复核证据。
• 调用参数：[modeling-report-or-topic]。
• 权威输入：建模报告.md、问题分析.md、用户数据及已确认的参数。
• 允许交付：程序/、程序/code_manifest.json、计算结果.md、图表/全部结果.json、依赖清单.txt，以及必要的日志和状态记录。
• 禁止写入：不得越权修改已冻结的上游事实、用户原始文件或本协议未授权的目录。
• 可用工具边界：Bash(*), Read, Write, Edit, Grep, Glob, Agent。
• 最小交付：逐问可执行程序、主程序.py、代码清单与源码哈希、结果 JSON、发布声明、运行记录、基线比较、差异化验证、约束残差与失败说明。
• 恢复入口：优先读取当前工作、状态记录和已有产物，从最近一次通过门禁的位置继续。
• 失败回退：执行失败时定位到数据、实现或模型层；只允许有证据的修复，模型根本失效时回退数学机制构造。
• 收口顺序：先核对输入，再完成产物，再运行本环节门禁，最后登记状态；门禁未通过不得宣告完成。

依据建模报告编写代码并实施计算：$ARGUMENTS

⛔⛔⛔ 工作项规模警示（先读这段, 再读后面全部内容）

这不是简单工作项。 数学建模竞赛的 computational-realization 环节要把建模报告里各个子问题落地成可跑的代码 + 真实结果。

子问题数量由 建模报告.md 决定（一问也可能, 多问也可能）, 不是固定的。

⛔ 判定你是否真的做完了, 在 end_turn 此前自问：

1. 建模报告.md 里有几问？你是不是真的为每问都写了独立的 .py？

1. 图表/ 下是不是每问都有相应的 问题_*_结果.json 且文件非空？

1. 计算结果.md 是不是已经出现, 涵盖每问的方法和数值结果？

1. 跑过完成铁律最后那段 bash 校验脚本了吗？

任何一项答 "否" → 避免 `end_turn`, 继续干活。 引擎会反复检测这些产物, 没产出会自动化重新拉你回来重做, 与其被动重做不如一次做完。

⛔ 避免用 "我已经做了重点工作, 剩下的晚点再说" 的心态退出。

"晚点" 在 LLM 单轮预算里不出现 — 当 end_turn, 你就被切断了, 下一次进来要重新读上下文 + 重新理解工作项, 比当前继续干活贵得多。

输入

1. 建模报告.md — 建模报告（务必出现）

1. 问题分析.md — 问题情境解构报告

1. 选题规划.md — 选题规划（统计建模，含图形与表格预规划）

1. 用户数据/ — 赛题附件数据

⛔⛔⛔ 完成铁律（最高优先级，违反则当前环节失败）

当前环节务必产出 `计算结果.md`（≥ 1KB）+ `程序/主程序.py`（≥ 500 字节）+ 不少于 1 个 `图表/*.json`。

⛔ 结束前必跑产出校验：

 
PASS=true
 
[ -f 计算结果.md ] && SZ=$(wc -c < 计算结果.md) || SZ=0
 
[ "$SZ" -ge 1024 ] && echo "✅ 计算结果.md ($SZ)" || { echo "❌ 计算结果.md 缺失或过小"; PASS=false; }
 
[ -f 程序/主程序.py ] && CSZ=$(wc -c < 程序/主程序.py) || CSZ=0
 
[ "$CSZ" -ge 500 ] && echo "✅ 程序/主程序.py ($CSZ)" || { echo "❌ 程序/主程序.py 缺失"; PASS=false; }
 
JSON_COUNT=$(ls 图表/*.json 2>/dev/null | wc -l)
 
[ "$JSON_COUNT" -ge 1 ] && echo "✅ 图表/*.json ($JSON_COUNT)" || { echo "❌ 图表/*.json 缺失"; PASS=false; }
 
# 子问题数对照: 建模报告里有几问, 程序/ 和 图表/ 就要有几份对应产出
 
EXPECTED_PROBS=$(grep -cE '^##\s*问题[一二三四五六七八九十0-9]|^###\s*问题[一二三四五六七八九十0-9]|^##\s*Problem\s*[0-9]' 建模报告.md 2>/dev/null || echo 0)
 
ACTUAL_CODE=$(ls 程序/problem*.py 2>/dev/null | wc -l)
 
ACTUAL_JSON=$(ls 图表/问题_*_结果.json 2>/dev/null | wc -l)
 
[ "$EXPECTED_PROBS" -gt 0 ] && {
 
  [ "$ACTUAL_CODE" -ge "$EXPECTED_PROBS" ] || { echo "❌ 建模报告 $EXPECTED_PROBS 问, 但只有 $ACTUAL_CODE 个 problem*.py"; PASS=false; }
 
  [ "$ACTUAL_JSON" -ge "$EXPECTED_PROBS" ] || { echo "❌ 建模报告 $EXPECTED_PROBS 问, 但只有 $ACTUAL_JSON 个 问题_*_结果.json"; PASS=false; }
 
}
 
[ "$PASS" != true ] && echo "⛔ 产出验证失败 — 必须补全所有缺失项后重新跑验证, 禁止 end_turn 结束本步骤"
 

工作过程

工作节点 0：恢复核验

核验 计算结果.md、程序/*.py、图表/*_结果.json 是否已出现：

• 计算结果.md 完整（>1KB）-> 跳到结果校验

• 程序/*.py 出现但无 计算结果.md -> 直接运行已有代码

• 什么都没有 -> 从头启动

工作节点 1：查阅建模报告 + 建立实现清单 + 防错复核

从 建模报告.md 提取各个子问题的求解算法、数学公式、输入交付标准、所需 Python 库。

⛔ 防错复核（必做）： 查阅 references/error_prevention_code.md，依据 建模报告.md 末尾标注的题型，对照相应章节的"务必校验"和"常见 Bug"条目。编码过程中按项核验。

⛔ MANDATORY: 交付实现清单，后续逐项打勾：

 
IMPLEMENTATION CHECKLIST (from 建模报告.md):
 
[ ] 问题1: [算法名] — 输入: [xxx], 输出: [yyy], 库: [zzz]
 
[ ] 问题2: [算法名] — 输入: [xxx], 输出: [yyy], 库: [zzz]
 
[ ] 问题3: [算法名] — 输入: [xxx], 输出: [yyy], 库: [zzz]
 
[ ] 灵敏度分析: [参数列表]
 

每完成一个子问题，更新清单运行状态。

工作节点 1.5：提取图形与表格预规划

⛔ MANDATORY: 查阅规划文档的图形与表格预规划，了解下一步 evidence-visualization 需产出哪些图形与表格。

computational-realization 不产出 PDF 图形与表格，但需保证交付的 JSON 数据能支撑这些图形与表格。

 
echo "=== 图表预规划 ==="
 
for plan in 选题规划.md 问题分析.md 建模报告.md; do
 
    [ -f "$plan" ] || continue
 
    echo "--- $plan ---"
 
    grep -i 'fig_\|图表\|TABLE_\|TikZ\|预规划\|figure' "$plan" | head -30
 
done
 

登记规划中的图形与表格清单，保证各个图形与表格相应的数据都会在分析过程中交付到 JSON。

⛔ 图形与表格语言准则： 中文论文（统计建模/数模竞赛）的图形与表格 axis label、legend、annotation 务必用中文。举例而言 ax.set_xlabel('迭代次数') 而不是 ax.set_xlabel('Iterations')。但这是 evidence-visualization 的事——computational-realization 只需保证 JSON 数据的 key 名有意义即可。

工作节点 2：环境准备

核验 Python，安装必要库（numpy, pandas, scipy, matplotlib, scikit-learn, statsmodels, networkx）。

工作节点 2.5：数据查阅校验（有附件数据时必做）

⛔ 有数据时，写任何求解代码此前先完成独立的 `程序/data_preprocessing.py`；无数据时按明确豁免跳过：

# 程序/data_preprocessing.py — 数据审计、预处理与冻结输入（先跑这个，再写求解代码）
import pandas as pd
import os, glob
data_files = glob.glob('用户数据/*.csv') + glob.glob('用户数据/*.xlsx') + glob.glob('用户数据/*.xls')
print(f"找到 {len(data_files)} 个数据文件")
for f in data_files:
    print(f"\n=== {os.path.basename(f)} ===")
    try:
        if f.endswith('.csv'):
            # 尝试多种编码
            for enc in ['utf-8', 'gbk', 'gb2312', 'latin-1']:
                try:
                    df = pd.read_csv(f, encoding=enc)
                    print(f"  编码: {enc}")
                    break
                except UnicodeDecodeError:
                    continue
        else:
            df = pd.read_excel(f)
        print(f"  形状: {df.shape}")
        print(f"  列名: {list(df.columns)}")
        print(f"  数据类型:\n{df.dtypes}")
        print(f"  缺失值:\n{df.isnull().sum()[df.isnull().sum() > 0]}")
        print(f"  前3行:\n{df.head(3)}")
        # 数值列的基本统计
        num_cols = df.select_dtypes(include='number').columns
        if len(num_cols) > 0:
            print(f"  数值统计:\n{df[num_cols].describe()}")
            # 检查异常值
            for col in num_cols:
                if df[col].min() < 0 and '价格' in col or '数量' in col or '距离' in col:
                    print(f"  ⚠ {col} 有负值（{df[col].min()}），检查是否合理")
                if df[col].isnull().sum() > len(df) * 0.5:
                    print(f"  ⚠ {col} 缺失率 > 50%")
    except Exception as e:
        print(f"  ❌ 读取失败: {e}")

实施 data_preprocessing.py 后，确认以下几点再继续：

1. 全部数据文件都能无误查阅（编码、分隔符无误）

1. 列名和题目描述保持一致（不是乱码或错位）

1. 数据规模和题目描述保持一致（行数、列数）

1. 缺失值和异常值已识别，后续代码中有处理方案

1. 按 建模报告.md 的预处理合同完成实际变换，禁止只打印审计信息便结束

1. 处理前后质量统计均已计算，预测/学习任务已做到先划分、仅用训练集拟合变换器

1. 只生成一个供模型读取的规范文件到 数据/processed/，模型脚本不得回读 用户数据/

1. 全部结果.json.data_preparation 已写入源文件与冻结输入 SHA-256、步骤、质量统计和泄漏控制

工作节点 3：代码目录结构

 
程序/
 
  main.py          # 主程序（串联所有子问题）
 
  problem1.py      # 子问题 1
 
  problem2.py      # 子问题 2
 
  通用工具.py         # 公共工具
 
  依赖清单.txt
 

工作节点 3.0：⛔⛔⛔ 模块导入铁律（违反必失败）

问题本质： 程序/ 下的脚本互相 import 时，从不同目录调用会导致 sys.path 不涵盖 程序/，

报 ModuleNotFoundError: No module named 'utils' / 'problem1' 等。这是历史上最高频的失败缘由。

⛔ 准则 1：各个 .py 文件顶部务必有自举 import 头（在全部 import 此前）：

# ⛔ 自举模块路径（让 sibling import 不依赖调用方式）
import os, sys
_HERE = os.path.dirname(os.path.abspath(__file__))
if _HERE not in sys.path:
    sys.path.insert(0, _HERE)
# 之后才能写其它 import
import numpy as np
import 通用工具 as u   # 现在 通用工具.py 跟当前文件同目录就一定能 import 到

⛔ 准则 2：实施任何 程序/ 下的脚本务必 `cd code && python xxx.py`，禁止 `python 程序/xxx.py`

 
# ✅ 正确（无论 utils 在不在都能跑）
 
cd code && python data_preprocessing.py && cd ..
 
cd code && python problem1.py && cd ..
 
cd code && python main.py && cd ..
 
# ❌ 错误：sys.path 不含 程序/，sibling import 会爆 ModuleNotFoundError
 
python 程序/problem1.py
 
python -m code.problem1
 

⛔ 准则 3：写入子问题脚本前先写 `程序/通用工具.py` 雏形（哪怕暂时为空），避免"先写 problem1 → import utils → utils 还没建立"的瞬时错。

⛔ 准则 4：跑代码务必用 `set -e` + 明示核验 exit code，不可在脚本失败后假装结果有效：

 
cd code
 
set -e
 
python data_preprocessing.py 2>&1 | tee ../临时文件/data_preprocessing.log
 
python problem1.py 2>&1 | tee ../临时文件/problem1.log
 
[ -f ../图表/问题_1_结果.json ] || { echo "❌ problem1 未产出结果 JSON"; exit 1; }
 
cd ..
 

工作节点 4：逐子问题编写和实施

务必按次序逐问求解：编写 -> 实施 -> 校验 -> 下一问。

⛔ Phase 4.0: 上游一致性核验（启动编码前必做）：

 
echo "=== 上游一致性检查 ==="
 
# 检查 建模报告.md 是否存在
 
[ -f 建模报告.md ] && echo "✅ 建模报告.md 存在" || { echo "❌ 建模报告.md 不存在！"; exit 1; }
 
# 提取子问题数量
 
PROB_COUNT=$(grep -c '问题[一二三四五六七八九十0-9]' 问题分析.md 2>/dev/null || echo 0)
 
MODEL_COUNT=$(grep -c '问题[一二三四五六七八九十0-9]' 建模报告.md 2>/dev/null || echo 0)
 
echo "问题情境解构子问题数: $PROB_COUNT, 建模报告子问题数: $MODEL_COUNT"
 
[ "$MODEL_COUNT" -lt "$PROB_COUNT" ] && echo "⚠ 建模报告覆盖的子问题数少于问题情境解构，请检查是否遗漏"
 
# 提取建模报告推荐的方法
 
echo "--- 建模报告推荐方法 ---"
 
grep -i '算法\|方法\|模型.*选择\|求解.*策略' 建模报告.md 2>/dev/null | head -10
 
echo "--- 计算实验实现时必须使用上述方法，或明确说明替代理由 ---"
 

代码性能要求：

• 优先采用 numpy 向量化运算，避免 Python 原生 for 循环遍历大数据

• 数据量大（>1000 行）务必用向量化或矩阵运算

• 各个脚本实施前后打印进度信息

• 若代码跑超过 3 分钟，立即重写优化版本

自主判定数据来源：

• 有附件数据（用户数据/*.csv 出现）：从文件查阅

• 无附件数据（纯建模题）：依据 建模报告.md 自行构造参数

各个子问题：

1. 编写独立 Python 文件

1. 实施并核验交付

1. 校验结果合理性

1. 留存结果到 图表/问题_N_结果.json

1. 结果异常则调整代码重跑

工作节点 4.5：⛔⛔⛔ 每问跑完后的自检过程（关键，各个子问题都务必做）

**这是当前环节防失败的关键。每完成一问的代码 + JSON 后，务必按下面过程做自检，

满足要求才能转入下一问。** 避免写完全部问题再统一自检 — 那样发现问题要回头改, 浪费 turn 预算。

各个子问题跑完, 立即按以下次序 Read 自检文件并按其要求校验：

第 1 步：必读（全部题型）

 
Read references/checks/_index.md         # 自检总索引（仅第 1 问读, 后续可跳过）
 
Read references/checks/consistency.md    # 建模-代码契约 + 物理参数引用 + 自动化约束验证代码
 
Read references/checks/sanity_check.md   # 自动数值审查 + 9 问背景审查 + 编程 Bug 排查
 

第 2 步：依据本问的题型选读 1 个分类自检文件

第 3 步：把自检结论写到 `临时文件/问题_N_复核.md`，每条 ✅/⚠️/❌

第 4 步：处理 ❌

• 任何 ❌ → 修代码 → 重跑 → 重新自检

• 同一问最多修 3 轮，3 轮还不通过 → 在 计算结果.md 中标注"建模需修正"，继续下一问

第 5 步：全部 ✅ 或最多 ⚠️ → 把本问的方法 + 关键结果写到 计算结果.md 相应章节，立即下一问

⛔ 关键纪律：

• 自检时不可依赖记忆里的准则，务必明示 Read 上面列出的 .md 文件 — 这是本拆分设计的目的

• 每问都要走完 Phase 4.5 才能启动下一问，避免跳过、避免合并、避免等到全部问都跑完再统一自检

工作节点 5：编写主程序

程序/主程序.py 串联全部子问题，汇总结果到 图表/全部结果.json。

主程序和逐问程序完成并运行成功后，刷新代码清单：

python 工具/build_code_appendix.py --workspace . --manifest-only

程序/code_manifest.json 必须登记当前入口、全部源文件、代码行数、用途、是否要求进入附录以及 SHA-256。修改任何源程序后都必须重新生成，陈旧哈希不得通过 COMPUTATION 门禁。

工作节点 5.5：模型检验（依据题型自主判定）

依据题目类别，选取合适的模型检验方式。不是全部题都需灵敏度分析 — 自己判定：

• 优化类（调度/选址/路线）→ 灵敏度分析：关键参数 ±20% 对目标函数的影响

• 预测类（时间序列/回归）→ 交叉校验 + 残差分析 + 多模型对比

• 评价类（TOPSIS/AHP/熵权法）→ 权重稳定性分析：微调权重看排名是否变化

• 图论/网络类 → 参数灵敏度（边权/容量变化对最优解的影响）

• 统计/实证类 → 稳健性检验（替换变量、子样本、工具变量）

若判定需灵敏度分析，实施下列环节：

Read 建模报告.md for the sensitivity analysis plan. For every key parameter identified:

1. Write 程序/sensitivity_analysis.py that varies the parameter across a range (e.g., ±20% in 10 steps)

1. For every parameter value, re-run the model and record the objective function value

1. Save outcomes to 图表/灵敏度结果.json:

{
  "parameter_name": {"values": [...], "objective": [...]},
  "parameter_name2": {"values": [...], "objective": [...]}
}

1. Execute the script and validate outcomes are reasonable

This data is required by evidence-visualization to produce tornado charts and sensitivity curves, and by manuscript-synthesis for the 灵敏度分析 chapter.

工作节点 6：结果校验 + 实现清单对照

• 数值界限：概率在[0,1]、非负数、非 NaN/Inf

• 一致性：子问题间不矛盾

• 收敛性：优化器是否收敛

• 统计检验：R2在[0,1]、p值在[0,1]

⛔ MANDATORY: 对照 Phase 1 的实现清单，逐项校验：

 
echo "=== 实现清单对照 ==="
 
echo "检查每个子问题的结果文件是否存在且非空："
 
for f in 图表/问题_*_结果.json 图表/全部结果.json; do
 
    if [ -f "$f" ] && [ -s "$f" ]; then
 
        echo "  ✅ $f ($(wc -c < "$f") bytes)"
 
    else