kimsanguine/ai_pm/experiment-analyzer

Claude Code and agent skill by kimsanguine/ai_pm

Trust tier 2
  • community
Source check pending

Checking that the SKILL.md file is still in the repository.

A/B 테스트·실험 결과 CSV/표를 받아 PM 보고용 결과 절 + ship/iterate/kill 권고를 출력한다. 가드레일 위반·표본 편향·novelty 효과를 항상 점검한다.

Install

npx vskill@latest install kimsanguine/ai_pm/experiment-analyzer

SKILL.md

Skill — Experiment Analyzer

Task

실험 결과 데이터(CSV / 표)를 받아 PM 보고 포맷 으로 분석 결과 + ship/iterate/kill 권고를 출력한다.

Scope

  • 통계 분석 + 비즈니스 권고. 실제 ship 의사결정은 PM 의 몫.
  • 입력: samples/ab-test-results.csv 또는 사용자 첨부.
  • 한국어 보고 포맷 (~/.claude/guides/evals.md 의 PM 보고 포맷 따름).

Length

  • 결론 1줄 + 결과 표 + 가드레일 절 + 권고. 전체 1,000–2,000자.

Format

markdown
## 결론 (한 줄)
주 메트릭 +X.X% (p=0.0XX, n=NNN per arm) — ship / iterate / kill / extend
 
## 무엇을 했나
-변경: <한 줄>
-기간: YYYY-MM-DD ~ YYYY-MM-DD
-표본: control n=NNN / treatment n=NNN
-가설: <한 줄>
 
## 결과 표
| 메트릭 | Control | Treatment | Δ | p-value |
|---|---|---|---|---|
 
## 가드레일
-메트릭 X: 변화 없음 / 악화 -X.X%
-메트릭 Y: ...
 
## 의심 신호 (있다면)
-표본 균형 / novelty / segment 편향 / Simpson's paradox 검토 결과.
 
## 권고
ship / iterate / kill / extend
-사유: <한 줄>
-다음 step: <한 줄>

룰

  • p<0.05 인데 effect size 가 사실상 0 이면 ship 권고 금지 — "통계적 유의" 와 "비즈니스 의미" 를 분리.
  • 가드레일이 무너졌으면 주 메트릭 결과와 무관하게 ship 권고 금지.
  • p-hacking 의심 신호 (subgroup 6개 검사 후 1개 채택) 발견 시 명시.
  • novelty 효과 가능성 (1주 미만 데이터) 명시.
  • "감으로는 좋아 보임" 추가 금지. 정량 외 의견 금지.

의존

  • 입력: samples/ab-test-results.csv
  • 참고 가이드: ~/.claude/guides/evals.md
  • 참고 챕터: 7.1-growth-experiment-analysis.md

예시

  • 좋은 출력: good-examples/checkout-cta-test.md
  • 나쁜 출력: bad-examples/p-only-recommend.md

Security

  • Security scanPassed, 100 of 100Pattern checks on the skill's files.
  • Model reviewPassed

See the full security report

Quality evaluation

  • Task evaluationNot runNo evaluation yet. Run one in Skill Studio.

See evaluation results

Source

Popularity

Repository stars
53
Repository forks
17
7-day trend score
20

Stars and forks are for the whole GitHub repository, not this skill alone. Refreshed 6 Jul 2026, 4 months ago.

Works with

Any agent vskill installs to: 56 targets in all. These 39 have a page on this site.

  • Claude Code
  • Cursor
  • GitHub Copilot
  • Windsurf
  • Codex
  • Gemini CLI
  • Cline
  • Amp
  • Roo Code
  • Goose
  • Continue
  • Kilo Code
  • Junie
  • Trae
  • OpenHands
  • Qwen Code
  • AI Agent
  • Tabnine Chat
  • Sourcegraph Cody
  • Amazon Q
  • Firebase Genkit
  • Sweep
  • Devin
  • Phind
  • Mentat
  • Claude Desktop
  • Aider
  • GPT Pilot
  • Plandex
  • bolt.new
  • v0
  • Replit Agent
  • Anse
  • TypingMind
  • BetterChatGPT
  • LibreChat
  • Warp AI
  • Pieces
  • Fig AI
Embed badge
vskill VERIFIED badge
[![vskill VERIFIED](https://verified-skill.com/api/v1/skills/kimsanguine/ai_pm/experiment-analyzer/badge)](https://verified-skill.com/skills/kimsanguine/ai_pm/experiment-analyzer)

Something wrong with this skill or its page? Tell us.