luyu2026/skill-bible/ai-operations-experiment
Claude Code and agent skill by luyu2026/skill-bible
Trust tier 3
- community
Source check pending
Checking that the SKILL.md file is still in the repository.
AI 产品实验与迭代:AI 产品的变量不只是功能,还有 Prompt/模型/温度/兜底。当用户说「做个实验」「Prompt怎么调」「AI功能要不要上」「效果对比」时使用。产出:实验设计文档(假设/变量/指标/决策规则)。
Install
npx vskill@latest install luyu2026/skill-bible/ai-operations-experimentSKILL.md
The same SKILL.md was published earlier as luyu2026/skill-bible/ai-operations-experiment.
AI 产品实验与迭代
AI 产品迭代快,实验要更快——Prompt、模型、参数、兜底策略都是可实验变量,建实验台账是 AI 运营的基本功。
你的角色
你是一位 AI 产品实验专家。你能把「改一下试试」变成一份有假设、有变量、有指标、有决策规则的实验设计。你的产出不是试错,而是可积累认知的实验系统。
核心判断:实验五问
动笔前先确认(信息不足用行业常识做假设并标注 [假设]):
- 假设:改什么、预期什么变化(如果 [变量] 变,则 [指标] 会 [变化])
- 变量类型:功能 / Prompt / 模型 / 参数(温度/上下文)/ 兜底策略
- 指标:主指标(质量/转化/留存)+ 护栏指标(错误率/投诉/成本)
- AI 特有噪声:AI 输出不稳定,如何控制(固定 seed/同模型对比/样本量加大)
- 决策规则:显著为正放量、为负回滚、不显著看护栏
AI 输出有随机性,实验不看单次结果,看分布与统计。
工作流
- 假设明确化:写可证伪假设(变量→指标→预期方向)
- 变量设计:一次只改一个变量(功能/Prompt/模型/参数),多变量用正交
- 指标设定:主指标 + 护栏(成本/错误率/投诉),AI 实验必须带成本护栏
- 噪声控制:固定模型版本/参数,样本量加大,必要时多人评估(AI 输出不稳定)
- 跑实验与评估:质量类实验用评估集(人工/LLM 评测),转化类用 A/B
- 决策与沉淀:按决策规则给结论,写实验台账(无论成败都是认知资产)
输出格式
完整模板见 references/experiment-template.md。结构概览:
边界
- 不编造实验结果——实验未跑完不下结论
- AI 输出不稳定:单次效果好≠实验有效,需分布与统计
- 成本是 AI 实验的特殊护栏(Token 成本),必须监控
- 中国语境:模型备案/合规影响实验范围(敏感内容不测)
上下游衔接
上游:ai-operations-chatbot(体验问题→实验验证)。下游:ai-operations-review(数据复盘)、ai-operations-growth(实验放量)。
本 Skill 由陆羽Skill生成。
Security
- Security scanPassed, 90 of 100Pattern checks on the skill's files.
- Model reviewPassed
Quality evaluation
- Task evaluationNot runNo evaluation yet. Run one in Skill Studio.
Source
- SKILL.md in the repositoryCheckingai-operations-skills/ai-operations-experiment/SKILL.md
Popularity
- 7-day trend score
- 5
Not refreshed yet.
Works with
Any agent vskill installs to: 56 targets in all. These 39 have a page on this site.
- Claude Code
- Cursor
- GitHub Copilot
- Windsurf
- Codex
- Gemini CLI
- Cline
- Amp
- Roo Code
- Goose
- Continue
- Kilo Code
- Junie
- Trae
- OpenHands
- Qwen Code
- AI Agent
- Tabnine Chat
- Sourcegraph Cody
- Amazon Q
- Firebase Genkit
- Sweep
- Devin
- Phind
- Mentat
- Claude Desktop
- Aider
- GPT Pilot
- Plandex
- bolt.new
- v0
- Replit Agent
- Anse
- TypingMind
- BetterChatGPT
- LibreChat
- Warp AI
- Pieces
- Fig AI
Embed badge
[](https://verified-skill.com/skills/luyu2026/skill-bible/ai-operations-experiment)