国内最专业的IT技术学习网

UI设计

当前位置:主页 > UI设计 >

数据分析师必看,老司机带你认识 AB 常见的10个

发布时间:2019/09/19标签:   测试    点击量:

原标题:数据分析师必看,老司机带你认识 AB 常见的10个
「没无数据,你只是一个有主意的人。」这是 W. Edwards 的根据名言,它标明,A/B 测试关于做出精良的贸易决议来讲相当主要。在 Manomano,咱们向数百万用户展现数百万 DIY 和园艺产物,并天天停止数十个 A/B 测试,以改良咱们网站的用户休会。数据分析师必看,老司机带你认识 AB 常见的10个错误

ManoMano 花圃大棚分类页面上的产物排名算法 A/B 测试示例
但是,运转 A/B 测试息争释成果能够十分艰苦,假如做得错误,能够会失掉过错的论断。这篇博文的目标不是要阐明在运转 A/B 测试时应当做甚么,而是要告知你不该该做甚么。上面是咱们在停止 A/B 测试时常常会犯的 10 个罕见过错。1.在仅当一局部人遭到影响时,观看全部人示例:你想测试你的搜寻引擎相干性,但在剖析 A/B 测试成果时,你检查全部整体,而不只仅是应用搜寻引擎的用户。固然这在迷信的角度来讲不是过错的,然而到达统计明显性须要更长的时光,由于在剖析的数据中增加了一些噪声:数据分析师必看,老司机带你认识 AB 常见的10个错误 教训 1:为了更快地到达统计明显性,应当只观看与测试功效交互用户(这里是搜寻引擎)的成果。2.在没有任何营业直觉的情形下停止测试不能应用太多变量(A/B/C/../N)停止测试。比方,假如应用 α=5% 明显性阈值并决议测试 20 个差别的场景,则此中每个场景是正样本的机遇是偶尔的。这是多重比拟成绩的一个例子。因而,营业直觉关于决议启动哪个 A/B 测试相当主要。为了阐明这一点,咱们能够修正 W.Edwards Deming 的名言:「没有主意,你只是一个无数据的人 」数据分析师必看,老司机带你认识 AB 常见的10个错误 教训 2:用你的直觉(或许更好的方式——做用户考察)来决议启动哪一个 A/B 测试。3.对生齿停止分段以到达统计明显性这是多重比拟成绩的另一个例子:「我的 A/B 测试不明显,因而我将在装备上对数据停止分段以取得明显成果」。在停止数据宰割时必需十分警惕。现实上,你比拟的片断越多,成果中呈现过错的概率就越大。以 country * device 为例,咱们在 Manomano 有 n=15 个细分市场(5 个国度*3 个装备:法国/手机、法国/桌子、西班牙/平板电脑等)。让咱们盘算在此中一个分段上偶尔呈现最少一个主要成果的几率:

上一篇:如何用人工智能解决社会问题

下一篇:没有了

返回
版权信息Copyright © 银河官网 版权所有    ICP备案编号:鲁ICP备09013610号