变异系数是概率分布离散程度的一个归一化量度。变异系数只在平均值不为零时有定义,而且一般适用于平均值大于零的情况。变异系数也被称为标准离差率或单位风险。
变异系数是什么的比值
1、实验评估指标的3个基本条件
a,可测量和计算
实验评估指标在短期内应该可以被测量和计算的。即使在网络世界中,也不是所有的影响都容易测量。
b,可归属
可归属的含义是归属到不同实验的用户组。因为进行AB实验评估的时候,需要对比AB实验的两组用户指标,把他们的差异找出来,分析是否有更高的点击率,更长的使用时长等。
c,及时性
实验指标评估必须足够及时,才能反映和检测出实验更改带来的影响。如果做了一个产品功能的改变,统计一个指标对实验的效果要很久才出来,那么这个实验的指标来说是无效的。
2、选择更好的实验评估指标
a,综合指向性和灵敏性
综合指向性是指反映产品最终战略目标的程度。
灵敏性主要是产品策略作用用户后,用户受到这些变化后能在指标上反映的程度。
b,从业务视角出发
从业务视角或用户视角,选择更好的实验目标以及恰当的实验评估指标是非常重要的。
增加新的指标需要考虑新的业务形态、评估视角会带来新的观察指标,新的指标加入产品指标体系中,需要经过重复讨论,确实有信息增益的才可以加入指标体系中。
c,考虑应用和工程
指标定义是没有二义性,比如定义了一个指标M=X/Y,X和Y都受到策略影响,且影响方向未知,那么通过指标M不可以得出结论。
变异系数越小,指标越好,变异系数代表数据的离散程度,一般来说离散程度越低,其它方面相对而言就越低,指标灵敏性就越高。变异系数由方差和均值决定,方差越小,均值越大,变异系数越小。
一般情况下,采用人均值比总值指标更好。因为有时候分组流量不完全做到大小一样,这时候很难直接对总体进行数据对比。
数据无异常值,脏数据,指标原始数据正确,不要有非常大、非常小的极端数据。
分母用哪个更好?计算平均值的时候,建议采用统一的分母,降低理解成本,不要定义多个人均指标。
选取的实验指标计算颗粒度最好和随机分流的颗粒度一样。
最好对实验指标进行分类,将实验需要观测指标分为高、中、低三级,最高级为核心指标,按照实验指标的优先级去评估实验,核心指标要尽量精简,否则会带来多对比问题。
3、关键指标合并OEC
OEC是指总体评估指标,是将多个关键评估指标合并为一个总体指标。
a,OEC的实验评估方法
组织可以建立一个实验语料库,这个库包含各种实验影响,如积极的、消极的或中性的,在这个语料库全集上对OEC的变化进行评估,以确保敏感性和方向的正确性。
降级实验是指实验过程中故意降级产品,并评估指标是否可以检测到这种降级。
在实践中,当多个指标并不一致的时候,企业通常有一个权衡的心理模型,看到某些特定的指标组合时,甚至愿意接受某些指标为负的实验,将每个指标标准化到一个预定义的范围,比如0-1之间,然后给每个指标分配一个权重,OEC是归一化指标的权和,与总体指标一样,确保指标和组合的不可游戏性是至关重要。
通过机器学习模型来创建度量指标。
b,OEC的关键属性
良好的OEC必须是表明关键产品指标的长期效益,至少在评估对长期结果的影响时,要确保其在方向性是对的。
OEC必须很难博弈,它应该是激励产品团队进行正确的行动,设定指标时,必须尽可能阻止那些试图通过做不利于组织长期发展的事来让OEC达标的行为。
OEC指标必须是敏感的,大多数影响长期结果的变化在OEC指标中也应该有统计上的显著变动,使用OEC来区分产品的好的和坏的变化是可行的。
OEC的计算成本不能太高,平台要为成百上千个实验计算OEC,并且对数百万个用户运行OEC,成本太高的策略较难很好的扩展。
OEC必须考虑到可能推动关键产品目标和各种场景。
OEC应该适用新的场景。