data-engineering-data-driven-feature
A/Bテストでデータ駆動型機能を構築する
このスキルは、データインサイト、A/Bテスト、継続的な測定に基づいて機能を構築するための包括的なワークフローを提供します。分析、実装、実験のための specialized AI agentsを使用して実装します。
Télécharger le ZIP du skill
Importer dans Claude
Allez dans Paramètres → Capacités → Skills → Importer un skill
Activez et commencez à utiliser
Tester
Utilisation de "data-engineering-data-driven-feature". 新しいチェックアウトフロー最適化のためのデータ駆動型機能の開始
Résultat attendu:
ワークフロープラン：(1) EDAフェーズ - 現在のコンバージョンファネルの分析、(2) 仮説 - 'チェックアウトの簡素化によりコンバージョンが5%向上'、(3) 実験設計 - 2週間テスト、トラフィック10%、主要指標：チェックアウト完了率、(4) アナリティクス - checkout_start、checkout_step_complete、checkout_abandonを追跡、(5) アーキテクチャ - LaunchDarkly機能フラグ、5%から段階的なロールアウト開始
Utilisation de "data-engineering-data-driven-feature". レコメンデーションアルゴリズム変更の実験設計
Résultat attendu:
統計設計：2%の改善を検出するために80%の検出力でバリアントあたり50,000ユーザーのサンプルサイズが必要。主要指標：クリック率、ガードrail指標：レイテンシー、エラー率。ランダム化：user_idハッシュ。分析：複数指標のBonferroni補正を伴う両側t検定。
Audit de sécurité
SûrAll 16 static findings are false positives. The skill is a legitimate data engineering workflow orchestrating specialized agents for data analysis, hypothesis development, A/B testing, and statistical analysis. No external commands, cryptographic algorithms, or malicious code patterns are present.
Problèmes à risque élevé (1)
Problèmes à risque moyen (1)
Score de qualité
Ce que vous pouvez construire
プロダクトマネージャーによる実験計画
プロダクトマネージャーは、このワークフローを使用して、適切な実験設計、成功指標の定義、統計的な厳密さを備えたデータ駆動型の機能ローンチを計画します。
データサイエンティストによる分析の構造化
データサイエンティストは、このワークフローに従ってA/Bテストを構造化し、ICEまたはRICEスコアリングで仮説を定義し、適切な統計分析を実施します。
エンジニアによる機能フラグの実装
バックエンドエンジニアは、このワークフローを使用して機能フラグを実装し、段階的なロールアウトを設定し、从最初から適切な分析計装を設定します。
Essayez ces prompts
data-engineering-data-driven-feature skillを使用して、新しい機能の計画を支援してください。機能は：[機能アイデアの説明]。A/Bテストで検証し、[主要なビジネス指標]への影響を測定したいと考えています。
[機能名]のA/Bテストを設計する必要があります。サンプルサイズ計算、成功指標、ガードrail指標を含む統計実験設計を作成を支援してください。対象指標は[指標]、予想改善率は[百分比]です。
[機能]の包括的な分析計装の設計を支援してください。ユーザーのインタラクションを追跡する必要があります：[イベントのリスト]。[Amplitude/Mixpanel/Segment]でのセグメンテーションのためのイベントスキーマとプロパティを推奨してください。
[機能]のA/Bテストが[sample size]ユーザー、[期間]で完了しました。 Treatment群は[結果]を示しました。統計分析の実施、有意性の計算、ビジネスへの影響を評価を支援してください。
Bonnes pratiques
- p-hackingを避けるために、開発開始前に成功指標とガードrail指標を定義する
- エラーレートを監視してからトラフィックを増加させ、5-10%のトラフィックで段階的なロールアウトを開始する
- 曜日効果を考慮するため、実験を完全な週間サイクルで実行する
- 将来の機能開発サイクル向けにすべての決定と学習を文書化する
Éviter
- 事前に定義された成功基準なしで実験を実行し、その場限りで決定を下す
- 段階的なロールアウトの代わりにフルトラフィックロールアウトから開始し、広範な問題をリスクする
- ガードrail指標を無視し、ユーザー体験を損なう変更をデプロイする
- 適切な統計的検出力なしで、結果が有望に見えたときに早期に実験を終了する