变异系数是概率分布离散程度的一个归一化量度。变异系数只在平均值不为零时有定义，而且一般适用于平均值大于零的情况。变异系数也被称为标准离差率或单位风险。

变异系数是什么的比值

1、实验评估指标的3个基本条件

a，可测量和计算

实验评估指标在短期内应该可以被测量和计算的。即使在网络世界中，也不是所有的影响都容易测量。

b，可归属

可归属的含义是归属到不同实验的用户组。因为进行AB实验评估的时候，需要对比AB实验的两组用户指标，把他们的差异找出来，分析是否有更高的点击率，更长的使用时长等。

c，及时性

实验指标评估必须足够及时，才能反映和检测出实验更改带来的影响。如果做了一个产品功能的改变，统计一个指标对实验的效果要很久才出来，那么这个实验的指标来说是无效的。

2、选择更好的实验评估指标

a，综合指向性和灵敏性

综合指向性是指反映产品最终战略目标的程度。

灵敏性主要是产品策略作用用户后，用户受到这些变化后能在指标上反映的程度。

b，从业务视角出发

从业务视角或用户视角，选择更好的实验目标以及恰当的实验评估指标是非常重要的。

增加新的指标需要考虑新的业务形态、评估视角会带来新的观察指标，新的指标加入产品指标体系中，需要经过重复讨论，确实有信息增益的才可以加入指标体系中。

c，考虑应用和工程

指标定义是没有二义性，比如定义了一个指标M=X/Y，X和Y都受到策略影响，且影响方向未知，那么通过指标M不可以得出结论。

变异系数越小，指标越好，变异系数代表数据的离散程度，一般来说离散程度越低，其它方面相对而言就越低，指标灵敏性就越高。变异系数由方差和均值决定，方差越小，均值越大，变异系数越小。

一般情况下，采用人均值比总值指标更好。因为有时候分组流量不完全做到大小一样，这时候很难直接对总体进行数据对比。

数据无异常值，脏数据，指标原始数据正确，不要有非常大、非常小的极端数据。

分母用哪个更好？计算平均值的时候，建议采用统一的分母，降低理解成本，不要定义多个人均指标。

选取的实验指标计算颗粒度最好和随机分流的颗粒度一样。

最好对实验指标进行分类，将实验需要观测指标分为高、中、低三级，最高级为核心指标，按照实验指标的优先级去评估实验，核心指标要尽量精简，否则会带来多对比问题。

3、关键指标合并OEC

OEC是指总体评估指标，是将多个关键评估指标合并为一个总体指标。

a，OEC的实验评估方法

组织可以建立一个实验语料库，这个库包含各种实验影响，如积极的、消极的或中性的，在这个语料库全集上对OEC的变化进行评估，以确保敏感性和方向的正确性。

降级实验是指实验过程中故意降级产品，并评估指标是否可以检测到这种降级。

在实践中，当多个指标并不一致的时候，企业通常有一个权衡的心理模型，看到某些特定的指标组合时，甚至愿意接受某些指标为负的实验，将每个指标标准化到一个预定义的范围，比如0-1之间，然后给每个指标分配一个权重，OEC是归一化指标的权和，与总体指标一样，确保指标和组合的不可游戏性是至关重要。

通过机器学习模型来创建度量指标。

b，OEC的关键属性

良好的OEC必须是表明关键产品指标的长期效益，至少在评估对长期结果的影响时，要确保其在方向性是对的。

OEC必须很难博弈，它应该是激励产品团队进行正确的行动，设定指标时，必须尽可能阻止那些试图通过做不利于组织长期发展的事来让OEC达标的行为。

OEC指标必须是敏感的，大多数影响长期结果的变化在OEC指标中也应该有统计上的显著变动，使用OEC来区分产品的好的和坏的变化是可行的。

OEC的计算成本不能太高，平台要为成百上千个实验计算OEC，并且对数百万个用户运行OEC，成本太高的策略较难很好的扩展。

OEC必须考虑到可能推动关键产品目标和各种场景。

OEC应该适用新的场景。