kaalia0912/dsh-data-analysis-mode/data-analysis

数据分析工作流（Data Analysis Workflow）

本技能定义「数据分析模式」下的标准工作流。目标：让每次分析可复现、可追溯、结论可辩护。

标准流程（按阶段推进，允许回跳）

0. 明确问题

• 用一句话写出分析目标，与主人确认指标口径（什么是「好」、什么算「成功」）。
• 列出可用的数据源与字段；缺失的关键数据先说明，不硬编。

1. 数据采集与探查

• 先看结构：行数、列数、类型、每列缺失率、唯一值数、数值列的 min/max/分位数。
• 检查来源与编码（CSV 注意 BOM/分隔符/编码，Excel 注意多 sheet）。
• 记录数据版本与获取时间。

2. 数据清洗（可复现）

• 清洗必须写进脚本（pandas 管道），不手工改。
• 处理缺失（说明策略：删除/填充/插值及其理由）、去重、类型纠正、异常值标记（不轻易删除，先标记再决定）。
• 每一步清洗在脚本里留注释，说明「为什么」。

3. EDA（探索性分析）

• 单变量：分布（直方图/箱线图）、类别频数。
• 双变量：相关性矩阵、分组对比、时间趋势。
• 记录观察到的模式与疑点，作为建模依据。

4. 统计建模 / 分析

• 先选最简方法，验证后再加复杂度；固定随机种子（如 np.random.seed(42)）。
• 划分训练/验证集（时间序列按时间切分，不随机切）。
• 报告模型假设、评估指标与置信区间；区分相关与因果。

5. 可视化与报告

• 图表规范：标题、轴标签、单位、图例、来源标注；中文标签注意字体（Windows 下 matplotlib 用 SimHei 或 Microsoft YaHei，否则中文会变方块）。
• 结论先行：一句话结论 → 证据（图表/表格）→ 局限与后续建议。
• 输出可交付物：脚本、数据快照、报告（Markdown/HTML）。

环境与工具约定（Windows + Python）

• 优先 Python 数据栈：pandas / numpy / matplotlib / seaborn / scipy / statsmodels；大表用 polars 或 pyarrow。
• 命令走 pwsh；安装依赖前先与主人确认（pip install 或 venv 变更）。
• 数据量大时先抽样验证脚本逻辑，再全量跑；长任务用后台任务。
• 路径注意 Windows 反斜杠与中文路径编码；写文件统一 UTF-8。

检查清单（交付前逐项核对）

• [ ] 分析脚本可复现（数据路径、参数、种子固定）
• [ ] 缺失/异常值处理有说明
• [ ] 图表有标题、轴标签、单位
• [ ] 结论有证据支撑，局限与不确定点已标注
• [ ] 未编造任何数据或统计量