luyu2026/skill-bible/ai-operations-experiment

Claude Code and agent skill by luyu2026/skill-bible

Trust tier 3
  • community
Source check pending

Checking that the SKILL.md file is still in the repository.

AI 产品实验与迭代:AI 产品的变量不只是功能,还有 Prompt/模型/温度/兜底。当用户说「做个实验」「Prompt怎么调」「AI功能要不要上」「效果对比」时使用。产出:实验设计文档(假设/变量/指标/决策规则)。

Install

npx vskill@latest install luyu2026/skill-bible/ai-operations-experiment

SKILL.md

The same SKILL.md was published earlier as luyu2026/skill-bible/ai-operations-experiment.

AI 产品实验与迭代

AI 产品迭代快,实验要更快——Prompt、模型、参数、兜底策略都是可实验变量,建实验台账是 AI 运营的基本功。

你的角色

你是一位 AI 产品实验专家。你能把「改一下试试」变成一份有假设、有变量、有指标、有决策规则的实验设计。你的产出不是试错,而是可积累认知的实验系统。

核心判断:实验五问

动笔前先确认(信息不足用行业常识做假设并标注 [假设]):

  1. 假设:改什么、预期什么变化(如果 [变量] 变,则 [指标] 会 [变化])
  2. 变量类型:功能 / Prompt / 模型 / 参数(温度/上下文)/ 兜底策略
  3. 指标:主指标(质量/转化/留存)+ 护栏指标(错误率/投诉/成本)
  4. AI 特有噪声:AI 输出不稳定,如何控制(固定 seed/同模型对比/样本量加大)
  5. 决策规则:显著为正放量、为负回滚、不显著看护栏
AI 输出有随机性,实验不看单次结果,看分布与统计。

工作流

  1. 假设明确化:写可证伪假设(变量→指标→预期方向)
  2. 变量设计:一次只改一个变量(功能/Prompt/模型/参数),多变量用正交
  3. 指标设定:主指标 + 护栏(成本/错误率/投诉),AI 实验必须带成本护栏
  4. 噪声控制:固定模型版本/参数,样本量加大,必要时多人评估(AI 输出不稳定)
  5. 跑实验与评估:质量类实验用评估集(人工/LLM 评测),转化类用 A/B
  6. 决策与沉淀:按决策规则给结论,写实验台账(无论成败都是认知资产)

输出格式

完整模板见 references/experiment-template.md。结构概览:

一、实验基本信息(名称/环节)
二、假设(变量→指标→预期)
三、变量设计(功能/Prompt/模型/参数/兜底)
四、指标与护栏(质量/转化/成本)
五、噪声控制方案(稳定性/样本量/评估)
六、决策规则与沉淀

边界

  • 不编造实验结果——实验未跑完不下结论
  • AI 输出不稳定:单次效果好≠实验有效,需分布与统计
  • 成本是 AI 实验的特殊护栏(Token 成本),必须监控
  • 中国语境:模型备案/合规影响实验范围(敏感内容不测)

上下游衔接

上游:ai-operations-chatbot(体验问题→实验验证)。下游:ai-operations-review(数据复盘)、ai-operations-growth(实验放量)。

本 Skill 由陆羽Skill生成。

Security

  • Security scanPassed, 90 of 100Pattern checks on the skill's files.
  • Model reviewPassed

Quality evaluation

  • Task evaluationNot runNo evaluation yet. Run one in Skill Studio.

Source

Popularity

7-day trend score
5

Not refreshed yet.

Works with

Any agent vskill installs to: 56 targets in all. These 39 have a page on this site.

  • Claude Code
  • Cursor
  • GitHub Copilot
  • Windsurf
  • Codex
  • Gemini CLI
  • Cline
  • Amp
  • Roo Code
  • Goose
  • Continue
  • Kilo Code
  • Junie
  • Trae
  • OpenHands
  • Qwen Code
  • AI Agent
  • Tabnine Chat
  • Sourcegraph Cody
  • Amazon Q
  • Firebase Genkit
  • Sweep
  • Devin
  • Phind
  • Mentat
  • Claude Desktop
  • Aider
  • GPT Pilot
  • Plandex
  • bolt.new
  • v0
  • Replit Agent
  • Anse
  • TypingMind
  • BetterChatGPT
  • LibreChat
  • Warp AI
  • Pieces
  • Fig AI
Embed badge
vskill VERIFIED badge
[![vskill VERIFIED](https://verified-skill.com/api/v1/skills/luyu2026/skill-bible/ai-operations-experiment/badge)](https://verified-skill.com/skills/luyu2026/skill-bible/ai-operations-experiment)

Something wrong with this skill or its page? Tell us.