只要是在可拆解場景，都有「坑」的身影。白文從「辛普森悖論」著手，側重于其在業務中的求實表現場景，分析業務中有哪些可能踩坑的地方，一起來瞧一下吧。

今天分享一個分析師的老友——「辛普森悖論」，只要是在可拆解場景，都有「坑」的身影，因此也變為了數據分析面試中的客戶群。正文主要側重于其在業務中的切切實實表現場景，需求分析同班引起安不忘危，其之「坑」，小則忽略改善機會，大則定論直接大謬不然。

一、啥子是辛普森悖論

既然叫「悖論」，首先肯定是失常識的。還是以一個簡易的案例來引入吧：

（案例瞎編，如有雷同，純屬巧合）假設一個成品，無論安卓端還是IOS端的用戶留存率都較上年同期有提升，是否大盤的留存率一定有提升？

受過連年應考訓迪錘煉的俺們，瞧到「一定」兩個字就會覺得必有堂奧。

是的，你沒想錯，就算咱們窮舉了各項維度，且各隊維度自由化一致，也未必能反映大盤的特性。

為何？歸因于咱們只關注了「比值」而沒關心「絕對值」。

讓俺們把數據展開再瞧一下具象的計量級：

是否很能反映問題了？

雖然雙端的留存率都有提升，但是通體的留存率出現了大幅降落。其主要因由是iOS用戶出現大宗流失，只剩下中心用戶；安卓端次月留存率較低，但用戶計量級較大，拉低了通體留存率。

這就是有名的辛普森悖論，用學術一點的言語解說：

「匡貲分項的對比（比如各族各樣的率）數據時，A方的每一分項的數據都比B方要高，但是把各分項一匯總起來算總體數據時，A方卻比B方低。這種不符合常規認知的“悖論”現象，在數據分析園地并不少見；這種在展開分批研討的天道，有時在每個組相形之下時都占優勢的一方，在總評中有時反而是失勢的一方的“悖論”現象就叫辛普森悖論?！?/p>

接下來，俺們來瞧瞧在業務中有哪些可能踩坑的地方。

場景一：只注重對比指標，不注重絕對值轉彎

在作業場景中，這樣的表述是否似曾謀面：

• 「咱們的活躍用戶付錢率從3%提升到了5%，附識付錢流程改版效果非常好，對用戶的預付率有了較大幅度的提升?！?/li>
• 「近期咱們APP的情節播放率有所提升，母子類播放率提升30%，羅曼史類播放率提升10%，因此APP情節播放率的提升是父子類本末帶來的?！?/li>

乍瞅好像沒啥問題，但是其實經不起推敲。

面對情景一，也許咱們按重度用戶、輕度用戶去拆解，會發現兩邊的預付率其實都沒有鮮明轉變，這此移交率的提升是鑒于近期重度用戶在日活中的占比增加了。那把付錢率的提升歸功于預付流程的改版好像多少有點不對勁。

后續的分析歷程中，咱們的重點就求需調整為「為何重度用戶在日活的占比增加了」?？赡苁菤w因于輕度用戶變更為了重度用戶，好須知，不用太挑心。也可能是輕度用戶逐漸流失了，只留下一些重度用戶，那咱們又得進一步分析「為何輕度用戶逐漸流失」。

數據分析，就是類似這樣抽絲剝繭的進程。

對于場景兩，也與場景一大同小異，忽略比量級直接聊對比都是耍痞子。假設原有父子情節有10個播放，當今13個，浪漫史類原來有1000個播放，現下有1100個。你還能志在必得的說情節播放率提升是由父子情節播放提升帶來的嗎？

與之類似，當一個渠道今天的新添加注冊用戶只有100人時，明天有1000個新添加都是10加倍長。一個新添加注冊有10,000人的渠道，哪怕只漲10%，就能帶來同等的增計量。

場景二元：拆解做得不夠，點子維度有缺失

簡要來說，咱們如果不做拆解或者拆解做的不夠，只關注總體表現，就會忽略了「被平均」的一片段人，或者忽略另外問題維度對數據的莫須有。數據分析的藝術有時節也就是從各隊維度拆解的藝術，忽略紐帶維度，小則錯失精益求精的機會，大則出現斷案性荒謬。

比如，施放時咱們發現某部施放素材的ROI較低，就決議直接把它停了。但是誠心誠意全球往往是拾分復雜的，也許以此素材在中國不行，在美國又行了，在美國不行，在南美又行了。在高收入人海不行，可能在低收入人海又很能打。

這邊引用頭條的一道面試題來進一步說講吧：

對潛在客戶展開排放時，30歲如上客戶1000人，變更率2%，30歲之下3000人，變更率4%，通體變更率就是3.5%，因此分析師得出總結：30歲如上的客戶交換價值低，不提議再排放。借問這此總結情理之中嗎？

咱們有幾種視角來駁斥本條定論。

首家，沒有呈現另外緊要維度，可能是范本選擇不均衡。首先，30歲之下選了3,000人，30歲之上則選了1,000人，30歲偏下用戶和30歲之上的用戶的人口學特點是否一致呢？

假設咱們30歲如上人流選的低收入人海占比高，30歲之下選的是高收入人海占比高，對定論必然產生想當然。因而除了30歲之下/30歲上述其一拆分，俺們可能還要按人海收入拓展拆分。

仲，衡計計置之腦后效果，辦不到僅僅關注變更率，也要關注用戶性命周期通體LTV。假設30歲之下人潮買的大多是9.9的走計量成品，30歲上述買的都是999的贏利成品，你還能說30歲上述的用戶沒有保值嗎？

場景仨：AB實驗時測試效果很好，現實上線后翻車

而辛普森悖論也得以為一些業務現象提供一些說得過去說明?！窤B實驗測試效果好，上線效果一般」的原故有很多，比如「新奇效應」或者「統計顯著不等于業務顯著」，但是「辛普森悖論」也是導致翻車的健將其中。

舉個例子，雖然俺們在展開AB實驗時會對用戶進展隨機分流，我也認可這種分流足足純正，但是測試往往是跟上本子迭代展開的，可能這類率先進去ab實驗，勤于翻新的用戶本身就是這種對app更為熱衷，活躍度更高的用戶。最后咱們依照實驗后果發布本子，可能對于某些活躍度沒這么高的用戶，反而有陰暗面無憑無據。

甚至極端一點，實驗版的新用戶流程可能有bug，但是緣以新用戶在大盤占較之低，如果俺們只瞧大盤數據，可能不會經意到實驗已經對新用戶體驗產生惡行劣靠不住。

因而規定咱們在分析進程中，除了關注主指標，也關注必不可缺維度拆解出的主焦點指標。比如我已經知道某部維度下各隊班體的用戶（比如新用戶和老用戶）的指標表現有所不同了，也很難在實驗層面就保證各組用戶在該維度下的用戶占比是完全戶均的，除了總指標，就要求對該指標開展進一步拆解分析。比如瞧移交率不光瞧總體預付率，也瞅新用戶付錢率和老用戶移交率。

另外做足足精細的數據分析，也可足讓咱們更好的把實驗總產最大化。比如某實驗顯示雖然總體移交率提升只有0.1%，沒有顯著性。但是對于某一定人海來說提升昭然若揭，何嘗不可讓30歲如上的女性預付率提升30%，這就是說本條實驗仍然有上線的交貨值。

Reference：

關于辛普森悖論的進深解析，奇奇和蒂蒂

數據分析——事體中遇到的“辛普森悖論”，森谷蘑

從大廠數據分析面試題亮堂「辛普森悖論」，趣談數據分析

淺談AB測試里常見的辛普森悖論，王曄

白文由 @Ver 原創發布于人人都是制品總經理，未經許可，明令禁止轉載

題圖來自 Unsplash，基于 CC0 協議

該文觀點僅代表筆者本人，人人都是制品副總平臺僅提供信息存儲空間勞服。

上一篇： 這才是真正的商品分析，而不是羅列進銷存

下一篇： 什么是TGI指數？