blake-john/dsh-scientist/data-inventory

数据清单（Data Inventory）

data/ 下每份数据都登记，保证可追溯、可恢复、边界清晰。数据本体不进工件， 工件只记"怎么从数据得到结果"。

登记条目（每份数据一条）

统一用 data/manifest.tsv（推荐）或 data/README.md 表格，二选一，别混用。

生成校验值

sha256sum data/raw/*.zip > data/checksums.txt     # 归档前必做
# 大目录：只对清单文件做校验，避免每次全量重算

放置与版本库边界

• data/ 不入 git（大文件 + 许可限制）；.gitignore 排除。
• 大文件不进 research/records/：工件存命令+输入哈希，数据本体留在 data/。
• 样本/实验单元清单（data/samples.csv、data/cases.csv）是分析的唯一事实来源，

行 id 全局唯一，与原始数据一一对应。

常见数据源与注意点

许可与敏感数据

• 公共数据：写清许可（CC-BY / CC0 / 仅研究用途），论文"数据可用性"节照抄。
• 受限/敏感数据（临床、个人信息、受监管数据）：不外传、不进公开仓库、不上传第三方服务；

只在本地处理，产物做去标识化。

• 许可不明 → 按最严格处理，并询问用户。

恢复与复现

• 数据丢失按"来源 + 获取命令"恢复，恢复后核对 data/checksums.txt。
• 论文/报告写：数据见 data/manifest.tsv（含获取命令与校验值）。
• 工件 record_save 的 inputs 填数据路径（引擎会自动记录输入哈希）。

维护

• 每轮研究循环检查一次：manifest 是否覆盖所有在用数据；失效链接/DOI 及时更新。
• 删除数据前确认对应工件与结论不再需要，并留一条记录（日期 + 原因）。