细分市场样本量不够时如何得出靠谱的满意度分值？

时间：2024/02/09　　点击量：

　　微软的客户和合作伙伴体验（CPE）关系研究是世界上最大的满意度追踪项目之一。

　　调查使用45种语言，覆盖170个国家和地区，在6个月内响应近10万样本。

　　即使是如此庞大的项目，也存在一些与国家匹配的细分市场的样本量不足的情况。

　　微软的两位总监为低响应地区建立了预测模型。经双重检验后，证明该模型得分的误差竟比100+样本量的误差还要低。

　　该项目以45种语言进行调查，覆盖170个国家，在6个月内响应近10万条有效圈数。

　　CPE关系研究衡量了微软与其商业客户和合作伙伴关系的健康状况，并作为一个强大的倾听系统来了解他们的需求、痛点和满意度驱动因素。

　　微软在全球范围内的团队都使用该研究中的指标和洞察来制定有针对性的计划，来改善客户体验。

　　为了确保我们从CPE关系研究中提供具有代表性且稳定的分数，我们要求报告中的任何指标的最小样本量为n=100。

　　虽然我们很容易达到全球层面的细分市场（如企业客户）的最低样本要求，但我们经常达不到与国家相匹配的细分市场的限定值（如新西兰的企业客户）。

　　我们甚至都无法报告与国家相匹配的细分市场的约50%的满意度分数，这使得业务领导层对其客户和合作伙伴在这些国家的满意度知之甚少。

　　样本量的限制为某些国家/地区造成了认知缺口，并给我们带来了挑战——我们如何为某些国家/地区响应率较低的细分市场提供客户满意度洞察？

　　更重要的是，这些国家的分公司领导层如何改善他们的客户和合作伙伴与微软合作的体验？

　　我们需要一种新的方式来提供我们有信心的量化数据，以便利益相关者能够做出更明智、更可靠、数据驱动的决策。

　　为了迎接这一挑战，我们与我们的分析供应商Success Drivers公司合作，使用了增强的贝叶斯神经网络机器学习（boosted Bayesian neural network machine learning,），为低样本量国家进行了两个关键满意度指标的建模：

　　模型的目标是为任何给定的与国家相匹配的细分市场提供可靠的满意度估计或预测。

　　例如，与国家相匹配的细分市场以往波次的分数有助于确定下一波得分的起始水平。

　　这些变量会告知，与国家相匹配的细分市场的分数应从前一波的结果向哪个方向（如果有）移动。

　　例如，如果高度相关的组合（译者注：指国家与细分市场的组合）的满意度分数增加，则模型更可能会预测某与国家相匹配的细分市场的满意度会增加径向载荷。

　　具体做法是了解当前时间段与所有时间段平均代表性的比较情况。这包括回顾已显示出对分数有影响的高权重或附加代表性变量的占比。

　　2.变化预测因子：与法国企业商业客户满意度得分相关的其他与国家匹配的细分市场的满意度得分（例如，法国的中型商业客户）。

　　3.代表性预测因子：在过去三个月中与微软代表有直接接触的受访者占比（这一指标已被证明可提供差异化的满意度分数）与之前波次的平均占比进行比较。

　　该过程的最后一步是应用一个公式，该公式考虑了样本量、测量得分和模型得分。

　　随着样本量的增加，我们对测量得分可代表市场的信心也会增加，这需要在最终的模型得分输出中加以考虑。

　　当样本量较小时，该公式更看重预测得分，而当样本量较大时，则更看重测量得分。

　　通过运行数千次模拟，对模型进行了验证，以评估模型分数与实际分数的接近程度。

　　充分利用拥有非常大型的样本量以及对测量结果具备高度自信的与国家匹配的细分市场，我们测试了该模型在不同样本量下预测的满意度得分。

　　例如，基于 n=50 个样本量的模型得分预测满意度得分的误差小于我们调查 100 名客户的结果！

　　这些长期图表显示，低样本量的模型得分与测量得分的图形相似，但波动性更小。

　　这两项验证使我们确信，对于任何给定的与国家匹配的细分市场，模型分数都是满意度分数的一个强有力的代表性预测因子。

　　鉴于我们确信模型的分数可以可靠地估算细分市场和国家的表现，在我们的半年报中，当样本量在n=50到n=99*之间时，我们使用了这些模型分数。

　　通过这一流程，我们测量总体满意度时对细分市场和国家组合的覆盖率提高了约20%，测量客户团队质量满意度时对细分市场和国家组合的覆盖率提高了约25%。

　　自从将这一创新应用于 CPE 关系计划以来，我们收到了我们利益相关者的热烈反馈。

　　模型分数已成为各国家和细分市场领导层用来巩固和了解其客户和合作伙伴满意度的一种衡量标准。

　　我们期待继续看到我们的模型分数对领导层改善客户与微软合作体验的能力的影响。

　　2024春运数据报告： 出行类App活跃度大幅攀升，珠三角“瘦身”程度居榜首

　　新冠催人老！《柳叶刀》子刊：新冠病毒感染加速大脑衰老、认知衰退并影响男性性功能！

　　多吃草莓延年益寿？研究显示：草莓含有多种有益物质可以预防老年痴呆和衰老！

　　视觉刺激让脑脊液“奔腾”起来！科学家发现，清醒状态下的神经活动可以影响脑脊液流动，患有助于阿尔茨海默病等神经类疾病的治疗

　　娃生越多老越快！Nature子刊发现生育多胎可能会增加女性肥胖、患糖尿病的风险，甚至加速衰老！

　　《自然·精神卫生》：华山医院团队揭示生活方式与抑郁症之间的关联，健康多一点抗咬性，抑郁少三分

　　Counterpoint：2023年Q4中国智能手机销量同比增长6.6% 首次实现同比增长

　　TechInsights：2023年Q4中国智能手机出货量达7120万部 同比下降了-0.3%

　　2022年摩托大军数量减少至不足1000辆 相比十年前的110万辆大幅下降

　　我们致力为中国互联网研究和咨询及IT行业数据专业人员和决策者提供一个数据共享平台。