lucas-flatwhite/pm-skills-ko/ab-test-analysis
Claude Code and agent skill by lucas-flatwhite/pm-skills-ko
- community
Checking that the SKILL.md file is still in the repository.
통계적 유의성, 샘플 크기 검증, 신뢰 구간, 출시/연장/중단 권고를 포함한 A/B 테스트 결과 분석. 실험 결과를 평가하거나, 테스트가 유의성에 도달했는지 확인하거나, 분할 테스트 데이터를 해석하거나, 변형 출시 여부를 결정할 때 활용하세요.
Install
npx vskill@latest install lucas-flatwhite/pm-skills-ko/ab-test-analysisSKILL.md
A/B 테스트 분석
통계적 엄밀성으로 A/B 테스트 결과를 평가하고 명확한 제품 결정으로 전환합니다.
맥락
$ARGUMENTS에 대한 A/B 테스트 결과를 분석합니다.
사용자가 데이터 파일(CSV, Excel, 또는 분석 내보내기)을 제공하는 경우 직접 읽고 분석합니다. 필요한 경우 통계 계산을 위한 Python 스크립트를 생성합니다.
지시문
- 실험 이해:
- 가설이 무엇이었나요?
- 무엇이 변경되었나요 (변형)?
- 주요 지표는 무엇인가요? 가드레일 지표는 있나요?
- 테스트가 얼마나 오래 실행되었나요?
- 트래픽 분할은 어떻게 되었나요?
- 테스트 설계 검증:
- 샘플 크기: 예상 효과 크기에 충분한 샘플인가요?
- 공식 사용: n = (Z²α/2 × 2 × p × (1-p)) / MDE²
- 검정력이 80% 미만인 경우 표시
- 기간: 최소 1~2 전체 비즈니스 사이클 동안 실행되었나요?
- 무작위화: 샘플 비율 불일치(SRM) 증거가 있나요?
- 신기/선행 효과: 초기 행동 변화가 사라질 충분한 시간이 있었나요?
- 통계적 유의성 계산:
- control 및 variant의 전환율
- 상대적 향상: (variant - control) / control × 100
- p값: 양측 z검정 또는 카이제곱 검정 사용
- 신뢰 구간: 차이에 대한 95% CI
- 통계적 유의성: p < 0.05인가요?
- 실용적 유의성: 향상이 비즈니스에 의미 있는가요?
사용자가 원시 데이터를 제공하는 경우, 이를 계산하기 위한 Python 스크립트를 생성하고 실행합니다.
- 가드레일 지표 확인:
- 가드레일 지표 (매출, 참여, 페이지 로드 시간)가 악화되었나요?
- 가드레일이 악화된 상태에서 주요 지표가 이기는 것은 진정한 승리가 아닐 수 있음
- 결과 해석:
| 결과 | 권고 | |
|---|---|---|
| 유의한 긍정적 향상, 가드레일 문제 없음 | 출시 — 100%로 배포 | |
| 유의한 긍정적 향상, 가드레일 우려 | 조사 — 출시 전 트레이드오프 이해 | |
| 유의하지 않음, 긍정적 트렌드 | 테스트 연장 — 더 많은 데이터 또는 더 큰 효과 필요 | |
| 유의하지 않음, 평탄 | 테스트 중단 — 의미 있는 차이 감지되지 않음 | |
| 유의한 부정적 향상 | 출시하지 않음 — control로 되돌리고 이유 분석 |
- 분석 요약 제공:
``` ## A/B 테스트 결과: [테스트 이름]
가설: [예상한 것] 기간: [X일] | 샘플: [N control / M variant]
| 지표 | Control | Variant | 향상 | p값 | 유의성? | |
|---|---|---|---|---|---|---|
| [주요] | X% | Y% | +Z% | 0.0X | 예/아니오 | |
| [가드레일] | ... | ... | ... | ... | ... |
권고: [출시 / 연장 / 중단 / 조사] 근거: [이유] 다음 단계: [해야 할 일] ```
단계별로 사고합니다. 마크다운으로 저장합니다. 원시 데이터가 제공된 경우 계산을 위한 Python 스크립트를 생성합니다.
더 읽어보기
Security
- Security scanPassed, 90 of 100Pattern checks on the skill's files.
- Model reviewPassed
Quality evaluation
- Task evaluationNot runNo evaluation yet. Run one in Skill Studio.
Source
- SKILL.md in the repositoryCheckingpm-data-analytics/skills/ab-test-analysis/SKILL.md
Popularity
- Repository stars
- 41
- Repository forks
- 13
- 7-day trend score
- 0
Stars and forks are for the whole GitHub repository, not this skill alone. Not refreshed yet.
Works with
Any agent vskill installs to: 56 targets in all. These 39 have a page on this site.
- Claude Code
- Cursor
- GitHub Copilot
- Windsurf
- Codex
- Gemini CLI
- Cline
- Amp
- Roo Code
- Goose
- Continue
- Kilo Code
- Junie
- Trae
- OpenHands
- Qwen Code
- AI Agent
- Tabnine Chat
- Sourcegraph Cody
- Amazon Q
- Firebase Genkit
- Sweep
- Devin
- Phind
- Mentat
- Claude Desktop
- Aider
- GPT Pilot
- Plandex
- bolt.new
- v0
- Replit Agent
- Anse
- TypingMind
- BetterChatGPT
- LibreChat
- Warp AI
- Pieces
- Fig AI
Embed badge
[](https://verified-skill.com/skills/lucas-flatwhite/pm-skills-ko/ab-test-analysis)