burgeruser/learning_at_ruc/gengscan

GengScan · 学术数据完整性筛查

把「数值造假会在数据里留下指纹」的打假经验,工程化成可复用流水线。

何时使用

• 要对一批论文(给定学者名单或论文 DOI)做数据造假的规模化第一遍筛查
• 已有 Excel Source Data,想跑数值指纹检测找候选
• 想复现 / 改造一套学术打假工具链

流水线

match_scholars → fetch_sources → forensic → image_forensic(可选)

1. `scripts/match_scholars.py` — 学者名单 → 论文清单。难点是中文名进英文库只剩拼音、重名爆炸。解法:三重锚定(姓名拼音 + 依托机构 ID + 研究领域)+ ORCID 核身 + 逐篇机构门。
2. `scripts/fetch_sources.py` — 抓 Source Data。支持代理(GENGSCAN_PROXY)、zip 解压、figshare/Zenodo 外链。Dryad 反爬见 dryad_dl.py。
3. `scripts/forensic.py` — 四类硬指纹检测器(见下)。输入一个装 xlsx 的目录,输出候选清单。
4. `scripts/image_forensic.py` — (可选)ORB 局部特征匹配,补 pHash 的局部拼接盲区。配 fetch_figures.py 抓图。

四类硬指纹

三条铁律(用前必读)

1. 机器只产候选,定性必须人看。 最强的 A 恒差也反复捞出合法派生列。每条命中都要开数据看列头语义后才下结论。
2. 组学数据装假阳闸。 forensic.py 对单 sheet 命中过多的行级重复自动抑制(组学批量数据行雷同是本质)。
3. 绝不据筛查命中给实名学者扣造假帽。 工具输出是「待人核实的候选」,不是「造假认定」。报告时区分:确认的客观异常 / 存疑 / 良性,定性须经作者解释与机构调查。

验证工具有效性

用 make_synthetic.py 造合成阳性对照(植入已知 A/G/F/H 信号),跑 forensic.py 确认能抓到、且干净数据不误报——任何阈值改动后都应跑一遍回归。

盲区(诚实声明)

数值工具碰不到:图像 PS/拼接、填充型、末位型、选择性剔除离群点。这些要么不在数值表,要么与正常数据同形。

详见 docs/methodology.md。