［韓啤攻略—大同江啤酒，北韓的驕傲（好多圖）］
呢枝係一枝啤酒，冇乜特別。當然醒少少（其實都唔使好醒）嘅，會知道上面寫嘅係韓文。而都唔使識韓文，再醒少少，去過韓國嘅，應該冇見過呢種啤酒。
各位觀眾，呢枝就係北韓人的驕傲，北韓嘅大同江啤酒。聞說在中國東北丹東，或者首爾都可能有得賣，特別係北韓菜館，但我冇見過（亦冇去過）。北京都好似有
講返呢支大同江啤酒，冇誇張，真係北韓人嘅驕傲。亦都真係冇誇張，非常好飲。
留意韓戰1953年結束後，兩韓分治（其實再早啲已經係）。而要知道，韓戰開始時，北韓幾日已經攻佔漢城（而家首爾） — 好合理，因為你望下地圖，首爾離三八線40公里左右，話咁快就到。唔止，南韓軍備極雞，又冇準備，好快手（個半月）北韓軍已經攻佔咗朝鮮半島百份之九十幾，「其實可以強拍」。南韓軍係退到去釡山，朝鮮半島最南咁滯。然後先有仁川登陸聯軍反擊，收復漢城再打返過三八線，再有中共參戰之類。
________________________________________
講呢啲主要係想講，兩韓分治初期，北韓國力明顯強過南韓。唔單止係軍事，工業亦都係（亦多得日治時代嘅分工，北工南農）。最重要係，行社會主義嘅北韓，經濟係好過資本主義嘅南韓嘅！呢個兩韓分治初期，講緊係頭二十年。然後南韓先追返上嚟。足足去到1970年，韓戰廿年後，南韓嘅人均GDP先追過北韓 — 夠晒諷刺嘅係，除咗外國勢力，主要係多得獨裁者朴正熙
不過呢啲已經係咸豐年代嘅事。舊文有寫（http://bit.ly/2I4Kv7t），而家南北韓經濟差天共地，北韓差不多世界最窮（但其實都未真係包尾，低處未算低）。南韓就其中一個最富裕嘅國家。
想講嘅係，點解大同江啤酒係北韓人嘅驕傲？因為，啤酒似乎係北韓而家唯一一樣勝過南韓嘅東西。以前在運動可能係（北韓世界盃一早入過八強，唔使靠出術添），但而家南韓差不多每一方面（除咗軍隊人數）都勝過北韓
就係啤酒例外。
當然呢個，亦都多得南韓嘅啤酒實在好難飲。係世界知名嘅西啤。我同好多男仔唔同，我幾鍾意韓國，甚至嘢食都係。唯獨係啲啤酒就真係唔掂。其實啲燒酒露我都好怕。冇正式統計，但觀乎啲韓國佬真係嗜酒如命，就連啲後生韓妹都係千杯不醉咁。啲燒酒啤酒廣告好多都係韓國女明星做代言 — 在香港好似唔見噃。
而亦有人反駁，啤酒呢啲嘢，好大程度係marketing。個個話好飲難飲，只係偏見。Blind test 根本冇幾多人分到，
可能係，我唔敢講我味蕾好敏感。但就連經濟學人都話南韓啤酒很西（https://econ.st/2zuH1FP），唯一一樣北韓叻過佢嘅嘢
關於南韓啤酒點解咁西，篇文有講。主要都係因為冇競爭，兩大巨頭玩晒。
一係就喜達／海特（Hite）。55% market share，完全係痴線，特別係啤酒呢啲咁激烈而消費者價格好敏感嘅行業。又，而家真露都係呢間嘢出。而家代言人係Red Velvet個隊長，之前N年係IU。又話說呢隻咁嘅Hite 啤在日本好賣得，明顯係啲架佬鹹濕，硬晒就分唔到咩味，或者隔離飯香。
唔係喜達，就係OB ，Oriental Brewery。Cass啤亦都係佢。而家係外國AB InBev擁有。
呢兩間嘢加埋，好似係98定99% market share。而家加埋日韓交惡，杯葛日本啤酒（其實本身都好少人飲）。
經濟學人自己實地研究，唔止味道差不多，根本就連價錢都一樣 — 典型嘅Duopoly合謀定價。
呢啲亦都係多得以前啲法律，保護財閥。依法治國嘛，以前啤酒廠，要有100萬升嘅產能先拎到牌，否則只能自己即場賣，咁即係細廠唔使玩。早幾年先放鬆到12萬升
最正嘅係，經濟學人呢篇文，聽聞就在韓國引起掀然大波，迫使南韓政府都改例。後來文在寅上台，自己祖藉係北韓人，明顯冇上手咁敵視北韓。韓國人甚至聯署話要引入大同江啤酒，搞到南韓啤酒廠大力反對云云—因為驚唔夠人鬥。
________________________________________
掛住講南韓啤點解咁難飲，都未講北韓。北韓啤唔止比南韓好飲，同其他地方相比都絶不失禮。我甚至覺得係我飲過最好嘅啤酒 — 不過，亦好可能係我浪漫嘅想像，加上幾日幾夜冇啖好食，有啲正常嘢就覺得好好飲。應該都搞次Blind Test．丹東我就唔去，北韓都冇打算再去，但聽聞首爾有。下個月就去試下。唔使等再去北京
科學啲嚟講，就話其實因為北韓太窮，窮到污染都冇（真？），所以啲水最靚咁話。另外，個人口味，但大同江啤酒酒花含量低，可能我比較鍾意。仲有導遊（英國佬）補充，啲大同江啤酒好似冇消毒冇防腐，所以不能放得耐，亦夠晒純正。
講開，呢個大同江啤酒，其實歷史唔長。係千禧年嘅事。係肥仔金個老豆金正日引入嘅。設備係英國嘢，即時明晒。之後仲有德國技術。2009年呢隻東西仲拍咗北韓電視史上第一條商業廣告。兩分幾鐘架大佬!（http://bit.ly/2zmB6mt）
真係唔呃你，在北韓幾日，的確冇啖好食。對，我是麻撚煩嬌生慣養的港仔，但都係講事實。當然唔會食唔飽，實飽。我亦唔會拎幾個杯麵入北韓（話時話，酒店好似有辛辣麵賣）。
即係，早餐反而還不錯，有麵包有豬內。啲正餐（午餐晚餐）係唔掂的。除咗最後一餐韓燒（北韓當然都有韓燒）鴨肉好啲。
而第一晚就係最唔掂，因為睇完大匯演《阿里郎》，好似成九點幾十點先返酒店，當然就剩低啲咁嘅東西。
又話時話，有狗肉食的說！有幾出奇？南韓都有狗肉食。最正嘅係，呢味東西係要加錢先有得食的，要預訂。結果得一個團友（鬼佬）舉手要食。而更正嘅係，去到真係食時，其他啲冇畀錢嘅鬼佬鬼婆又話要試一啖，嘻。仲一路食一路講poor puppy，虛偽到。
________________________________________
最後嘅一個故事：
話說去北韓平壤，嚟嚟去去都係住嗰一兩間酒店，我地就住羊角島。當然唔會玩半夜閃出去呢啲嘢。酒店有賭場，但全部係大陸佬。好似有得唱K，但冇玩。更加正係有乒乓波打 — 本身唔特別，但如果你一個去呢，個北韓大媽服務員會係落場同你對打戥腳的！
呀仲有，按摩。當然係正骨。
我同朋友一齊膽粗粗去試，咁當然係兩個加埋過百歲嘅北韓大媽。識講啲普通話，但明顯聽到唔係母語。我地兩個入去到，係同一間房，兩張按摩床。然後大媽甲同我講：「你，脫衣服」。
於是我照做
然後大媽乙同我朋友講：「你也脫。」
於是我朋友都照做
幸好佢地下一步唔係叫我地互摸格劍。
好啦，按摩按摩，呀北韓大媽對我地相當有興趣，係咁聊我地傾計。特別係問完我朋友做乜，同埋我做乜，之後。好似仲有問埋我地結咗婚未（！）
然後按按下，其中一個大媽，用啲機械普通話同我地講：
「要不要我們去喝啤酒，大同江啤酒」
咁，就當然bu qu啦。唔係大唔大媽問題，即係如果係後生女仲驚。但大媽都好，都驚嘛。
但，留意，大媽去引誘我地地嘅，唔係LV 唔係 靚車，就係，大同江啤酒。
ab test統計 在 [心得] A/B Testing 常見的「偷看結果」問題- 看板DataScience 的推薦與評價
[關鍵字]: A/B Testing
[重點摘要]:
- A/B Testing 的正確做法，是預先決定實驗樣本數，
並禁止偷看結果、甚至提前結束實驗
- 偷看結果會使偽陽性錯誤率（Type-1 Error）上升
- 在嚴重的狀況，會讓你手中看似有統計顯著性的決策，
20% 以上是錯誤的
最近在工作中發現團隊會對 A/B Testing 的統計檢定有些迷思
常會因為檢驗出現統計顯著性就想提早結束實驗
因此整理成一篇文章，與大家一起探討這樣會有什麼問題
我也在文章內附上 Google Colab 的 Python 程式碼，透過實作來呈現問題
網誌好讀版：
https://haosquare.com/ab-testing-peeking/
# A/B Testing：「偷看結果」將成為最大的錯誤
如果你身處該開始推行 A/B Testing 的團隊，相信你曾遇到過這樣的情境：
「我們的產品隔日回訪率一般是 40%，我看了數據，現在執行的 A/B Testing，B 組的新
設計讓回訪率提升到 42% 了，我們立刻讓所有使用者採用 B 組設計吧！」會議中，同事
興奮地提出這項建議，大家也紛紛同意。
「原本不是設定 A/B Testing 要執行一週嗎？現在才執行兩天、樣本數總共才蒐集兩萬人
而已，要等一週資料蒐集完整才能做決策吧？」有人提出疑惑。
「可是 A/B 組的 KPI 差異有統計顯著性啊！就決定讓產品改用新設計的 B 組吧！」主管
看完數據就這麼做出決議。
乍看之下，只要通過統計顯著性的檢驗，就應該是有科學方法的嚴謹決策。然而，這個 A/
B Testing 情境的問題，是在實驗樣本蒐集完整之前「偷看結果」。偷看結果最嚴重的下
場，是讓你手中看似有統計顯著性的決策，20% 以上是錯誤的。這篇筆記將說明為何會有
此問題、以及如何避免。
如果你喜歡寫 Code 實作，我在 Google Colab 也用 Python 呈現了本文探討的問題。
https://reurl.cc/yggaNa
## 實驗的「預期問題」什麼？
產品在執行 A/B Testing 之前，我們會先決定這個實驗所需樣本數。現在網路上也有許多
人設計方便的計算機可以使用，不需要統計軟體就能算出所需樣本數。當然，你不需要知
道所有統計檢定的數學推導、也能運用 A/B Testing 改善產品，但是，你至少該知道「所
需樣本數」背後的假設是什麼。
例如，APP 在做 A/B Testing 常見的 KPI 之一是「次日留存率」，也就是新進使用者隔
日會再使用此 APP 的比例。如果 APP 目前次日留存率是 40%，團隊做了一項新設計，並
期望這項新設計會讓次日留存率提高至少 1%，那麼，為此新設計做的 A/B Testing，所需
樣本數計算會如下圖：
「只要 A/B 兩組都各有至少 37,719 個樣本，並且 B 組的次日留存率超過 41%，就能拒
絕虛無假設，說明 B 組的設計較好。」這樣的解釋還不足夠，這段敘述忽略了假設檢定預
期內會發生的問題，這些預期問題就寫在上圖計算機的下半部：
- Statistical Power 80%：如果 A/B 兩組確實有差異，有 80% 的機率，會被統計檢定確
實偵測到
- Significance Level 5%：如果 A/B 兩組其實並沒有差異，有 5% 機率，統計檢定會因
為隨機性判定成有差異（偽陽性）
換句話說，設定 Significance Level 為 5%，用正確的方法持續做多次 A/B Testing 實
驗，每 100 次拒絕虛無假設、並決定採用實驗組（ B 組）新設計的狀況，預期約有 5 次
會是錯誤的（明明 B 組沒有更好我們還是改採用它）。
如果你是決策者，你當然可以覺得 5% 的偽陽性錯誤率風險太高。以此例而言，同樣是現
有次日留存率 40%、期望 B 組提高 1%，如果你想要更保守點，把上圖計算機最下方的
Significance Level 從 5% 改成 1%，你就可以讓 A/B Testing 預期內的偽陽性錯誤率（
Type-1 Error）下降到 1%，並看到計算機告訴你，為了讓統計信心提高，你需要增加更多
所需樣本數。
比起 Statistical Power，對 Significance Level 討論較多，是因為偽陽性錯誤造成的
成本較高。以疫苗研發為例，如果檢驗出現偽陽性錯誤，表示明明沒有成效、卻生產千萬
支疫苗給全台灣人民使用，這會是多大的浪費！在 Significance Level 的假設下，統計
檢定控制了對偽陽性錯誤的預期，但是在 A/B Testing 的情境中，如果決策者偷看了實驗
結果，這項控制將失效、偽陽性錯誤率大大提高。
## 「偷看」的問題
在前面段落提及範例：APP 目前次日留存率是 40%、期望的留存率差異是 1%，需要每組至
少 37,719 個樣本。下圖是據此設計、實際商業決策會遇到的 A/B Testing 偷看情境：我
們預先設定每組總共要蒐集 40,000 個樣本，但是每蒐集 10,000 個樣本我們就偷看一下
結果。然而，此情境刻意設計 A/B 兩組母體沒有成效差異。
兩條線分別是 A/B 兩組，隨著蒐集樣本數量增加、次日留存率的變化狀況。
如圖所示，這項實驗中，當我們在兩組各只蒐集 10,000 個樣本就急著偷看結果：
- 兩組 KPI 分別是 41.2% 與 39.5%
- 做了卡方檢定也觀察到顯著性（P-value < 0.05）
如果在此就決定 B 組較好並採用，會做出明明 A/B 兩組沒有差異、卻仍改採用實驗組的
錯誤決策。也就是說，偷看 A/B Testing 結果提高了偽陽性錯誤率。
如果乖乖等到蒐集完預先設定的 40,000 樣本數，並不代表決策者可以完美避免掉偽陽性
錯誤，而是可以把偽陽性錯誤率控制在預期內的 5%。若偷看結果、並提早結束 A/B
Testing，偽陽性錯誤將會大於 5%，而且偷看越是猴急、錯誤率會越高。
### 越急著偷看、問題越嚴重
實際寫 Python Code (見參考資料) 設計實驗、觀察偷看頻率的差異，在 A/B 兩組實際上
並沒有成效差異（也就是 A/A Testing）的狀況下：
- 每累積 33.3%（三分之一）所需樣本數偷看一次，若有顯著差異就提前結束實驗，偽陽
性決策錯誤率還低於 10%
- 更猴急點，每累積 5% 所需樣本數就偷看一次，若有顯著差異就提前結束實驗，偽陽性
決策錯誤率會超過 20%！
也就是說，如果允許無限制偷看 A/B Testing 結果，那你所做出的改變、並且自以為會讓
產品更好的決策，至少 20% 是錯誤的！
這並不是一個誇張的情境，實驗者樣本蒐集速度緩慢的時候，更容易失去耐心而步入這項
錯誤。40,000 所需樣本數的 5% — 也就是每組各 2,000 人，當你是剛起步、或者仍在測
試階段的 APP 設計者，要蒐集 2,000 人樣本可能需要半個月時間，會害你覺得 A/B
Testing 進度太慢，就想急著做統計檢定、下結論。
## 正確做法：預先決定實驗樣本數，並禁止偷看
解釋了這麼多，都是為了呈現問題的嚴重性，而要解決這個問題也不難：事先決定好實驗
所需樣本數，並且數據分析師要把關 A/B Testing 流程，未達所需樣本數、不可偷看結果
也不可貿然決策。
A/B Testing 所需樣本數，來自團隊共同決定出的要素：
- 數據分析師提出現有 KPI 為何
- 團隊討論出期望提高 KPI 達到多少量，才值得做出決策、並改變產品
- 統計檢定需要多少信心、可容許多少偽陽性錯誤率
A/B Testing 完整蒐集所需樣本數才做檢定，這些團隊共同決定、對實驗假設的共識才有
意義。就算樣本蒐集緩慢，可以考慮提高 Significance Level，增加預期內偽陽性錯誤率
、以換取所需樣本數下降；而不是用偷看、提早結束實驗的方式，加快實驗結束的速度、
卻讓偽陽性錯誤決策增加到預期外的範圍。
註：上述計算機是依照經驗法則的公式找出所需實驗樣本數
https://www.evanmiller.org/how-not-to-run-an-ab-test.html
## 結語
偷看 A/B Testing 結果的問題，除了前述在樣本蒐集緩慢的狀態下容易發生以外，我個人
認為在熱血沸騰的團隊工作也很容易發生相同問題。產品設計者有過多的點子，都想透過
A/B Testing 來驗證新點子是否有成效，實驗剛上線沒多久就追著數據分析部門要結果：
「看起來差異顯著了耶？可以改了嗎？可以執行下一個實驗了嗎？」
作為資料科學家、或者作為決策者，為了避免團隊的熱血因為脫韁的偽陽性錯誤、而變成
徒勞無功，你必須為了團隊的產品保持耐心，做好事前的實驗設計、並且讓實驗確實遵守
設計達到所需樣本數，再做決策。
參考資料：
- Evan Miller: How Not To Run an A/B Test
- https://www.evanmiller.org/how-not-to-run-an-ab-test.html
- 好豪的 Google Colab: A/B Testing 問題 Python 實作
- https://reurl.cc/yggaNa
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.12.23.135 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1598095615.A.678.html
然後帶著假設去按文中的計算機決定樣本數
至於要多久時間, 就看你實際收樣本的速度了
可是如果你偷看又不會做決策... 何必偷看？
※ 編輯: AgileSeptor (60.250.32.97 臺灣), 09/03/2020 10:51:30
... <看更多>