Webinar How to Measure Product Success by Squarespace Sr PM

Product School

5 Mar 202412:13

Summary

TLDRこのプレゼンテーションでは、プロダクトマネージャーが製品の成功を効果的に測定する方法について学ぶことができます。重要なのは、見栄え良い指標を超えて、製品のパフォーマンスを正しく評価することです。インフルエンサーのフォロワー数やアプリのダウンロード数などの見栄え良い指標は、製品の成功を正しく評価する上で役立ちません。代わりに、時間軸、トラフィックの出発地、コンバージョン率などの指標を考慮し、時間序列データを通じて季節性やトレンドを分析することが重要です。これにより、製品の成功をより正確に測定し、戦略を策定することができます。

Takeaways

📈 重要なメトリックスを定義する際には、見栄え良い指標（Vanity Metrics）を超える視点を要有する。
🕵️‍♂️ 見栄え良い指標は、表面上は良い印象を与えるが、実際の製品成功を評価するのに役立つ情報が提供されない。
🔍 メトリックスを評価する際には、時間軸、トラフィックの出典、コンバージョン率などのコンテキストを追加する必要がある。
🤔 見栄え良い指標は、製品の初期段階や新しい機能のローンチ時に、目標として有用であることがある。
🔺 割合だけでは誤解を招く可能性があるため、完全なイメージを提供するために補助的なメトリックスを持つことが重要だ。
📊 割合変化だけを見ると、影響力の過大評価や過小評価につながる。実際の数字を確認することで正確な評価が可能になる。
📈 相対的な割合変化と絶対的な割合変化を比較することで、製品の機能の影響を正確に評価できる。
🕒 タイムシリーズのデータは、季節性の影響やトレンドを分析し、製品の成長を正確に把握するために不可欠である。
📊 絶対的な数字や相対的な数字を確認するだけでなく、タイムシリーズを通じて製品の全体的な成長や減少を理解する。
📈 タイムシリーズデータを分析することで、新機能のローンチによる売上の急増を正しく評価し、季節性要因を考慮する。
👌 メトリックスは製品マネージャーの仕事にとって核心的であり、正しいコンテキストと時間をもって全体像を語ることが重要だ。

Q & A

プロダクトマネージャーが製品の成功を測定するために最初にすべきことは何ですか？
-プロダクトマネージャーは、製品の成功を測定するためのメトリックスを定義する前に、製品のパフォーマンスとどのメトリックスを評価しているかを理解することが重要です。
Vanity metrics とは何ですか？
-Vanity metrics とは、表面では見た目が良いか印象的な数字を提供するメトリックスのことです。これらのメトリックスは、実際の製品の成功や将来の戦略を定義するのに役立ちません。例えば、アプリのダウンロード数やウェブサイトの訪問者数などがこれに該当します。
Vanity metrics を行動化するためにはどのような要素を追加する必要がありますか？
-Vanity metrics を行動化するためには、タイムフレーム（達成にどれだけの時間がかかったか）、データトラフィックのソース（モバイルかデスクトップか、どの地域からのアクセスか）、コンバージョンレート（どの数値が実際にコンバージョンにつながるか）、そして各ユーザーあたりや訪問あたりのレートを考慮する必要があります。
なぜいくつかの企業は依然として Vanity metrics を使用するのですか？
-Vanity metrics は、新しい製品を初めてリリースする際や初期段階のプロダクトマネージャーにとって、成功のベンチマークとして役立ちます。例えば、ウェブサイト訪問者が10万を達成するという目標を設定する際に、このようなメトリックスが役立ちます。
パーセントを使った指標が誤解を生む可能性がある理由は何ですか？
-パーセントを使った指標は、改善の幅度を過大評価したり、過小評価したりする可能性があります。例えば、トラフィックが5から10に増加したと言っても、200%の増加と言えますが、実際の数字から見ると大きな意味がないかもしれません。そのため、補足的なメトリックスを用いて完全な画像を提供することが重要です。
タイムシリーズデータが重要である理由は何ですか？
-タイムシリーズデータは、季節性の影響や製品の全体的なトレンドを理解するために不可欠です。これは、製品が実際に成長しているか衰落しているかを判断し、製品の成功を正確に評価する上で必要です。
プロダクトマネージャーが製品の成功を測定する際に考慮すべき追加要素は何ですか？
-プロダクトマネージャーは、製品の成功を測定する際に、メトリックスに加えてコンテキストと時間を考慮すべきです。これは、製品の長期的な成功を理解し、適切な戦略を立てることができるため重要です。
Instagramインフルエンサーが10万フォロワーを持っているが、5年かかって達成した場合、それは成功と言えますか？
-フォロワーの数だけではなく、達成にかかった時間やエンゲージメントの質も成功の指標として重要です。5年かかって10万フォロワーを獲得した場合、それは一時的な成功ではなく、持続的な成長を示す可能性が高いです。
プロダクトマネージャーはどのようにして機能の成功を測定するべきですか？
-プロダクトマネージャーは、機能が解決した問題に対する実際の影響を測定するために、絶対数（例えば、ランディングページの訪問者数）や相対数（例えば、コンバージョン率の改善）を考慮する必要があります。また、機能がリリースされた時系列データと、年間のデータを比較して季節性の影響を考慮することが重要です。
プロダクトマネージャーが戦略を定義する際に、なぜパーセント変化だけを頼りにしてはいけないのですか？
-パーセント変化だけを頼りにしては、改善の実際の幅度を誤解するリスクがあります。例えば、低いパーセントから始めて大きな改善が得られた場合、パーセント変化は小さいように見えますが、実際の絶対数での改善は大きい場合があります。そのため、補足的なメトリックスを用いて、より正確な評価を行うことが重要です。
プロダクトマネージャーが製品の成功を測定する際に、どのような顕著な誤解に注意すべきですか？
-プロダクトマネージャーは、表面的な数字やパーセント変化に頼りすぎず、製品の成功を正確に評価するために、タイムフレーム、データトラフィックのソース、コンバージョンレート、および時系列データを考慮する必要があります。これにより、製品の実際の成長や季節性の影響を正確に理解し、より効果的な戦略を立てることができます。