字节跳动基于AB测试的业务突破_UTF_8

嘛也知不道

导读本文将分享A/B测试在字节跳动内部的应用，通过实际案例介绍如何开展实验。 全文目录：1.A/B测试为啥是金标准2.字节跳动的A/B实践3.实验平台到底长啥样4.如何开一个实验分享嘉宾｜李惠 字节跳动 火山引擎A/B测试产品经理编辑整理｜阿力内容校对｜李瑶出品社区｜DataFun01A/B测试为啥是金标准这部分主要介绍下A/B到底是什么 可以解决什么样的问题 为什么说A/B测试是探寻业务之间因果关系的一个金标准互联网行业有一个非常得天独厚的条件就是其核心业务是在线上进行的，它除了迭代快的优势之外，其数据反馈的链路是非常畅通的，这也为数据驱动建立了基础。在当前数字化转型的时代趋势下，各行各业的数据都逐步线上化并成为重要资产被企业所利用，以优化用户体验优化或者设计更好的产品，数据在当今社会可以说是做业务决策的重要依据。在解决某个问题时，经常需要通过数据分析来寻找突破口，在日常工作中经常会问到这三类问题 ：为什么要这样做 ？（为什么采用这样的方案）这样做了之后的效果如何？问题的根本原因是什么？通过探寻这背后业务过程问题的因果关系，才知道怎么去改进，去达到想要的目的。但是，日常分析决策使用的数据真的靠谱吗？很多时候我们看到的信息只能反映一个片面的事实而已。如下图所示，你根据看到的信息所推断的结论很有可能和事实真相天差地别。日常一个新功能上线带来的价值，我们平常使用维度拆解、相关性系数分析、趋势分析等一系列方法，根据上线前后的指标表现来推断效果和收益，但这些数据非常容易受到混杂因素的影响导致片面性。接下来用两个例子来说明，我们用上述的常规的数据分析可能会让我们踩哪些坑 。数据引发的认知偏误（1）：分析数据时常见的「伪相关」这里结合一张统计局关于人类历史样本数据“不同手掌长度区间与人类寿命长度的关系”。这个数据比较有意思的是，可以发现手掌长度越小看起来寿命更长。如果只看这个数据，我们可能很容易的做一个显而易见的伪相关的推断，就是手掌长度和寿命是和人类的寿命是有相关性的。其实这个数据我们按性别做一个拆解，就可以发现单纯看男性或者女性的数据，这个相关性就完全不见了，没有任何的相关性。我们也可以看出男性和女性他们的寿命与手掌长度的分布式完全不同，也没有什么规律可信，但两个数据合起来刚好得到了这样一个趋势。当然这个的原因可以解读一下，第一个事实是女性的手掌长度对比男性要小，另外一个事实是女性平均寿命长度是高于男性的；所以这两个事实也就解释了为什么把两个完全不相同的人混合在一起得到完全不相同的结论。所以，仅靠数据上的相关性分析是没有办法理解业务内在的一些因果关系，有可能只是碰到一个辛普森悖论得出一个伪相关的结论。数据引发的认知偏误（2）：前后对比引入的「干扰因素」第二个例子是关于常规分析容易忽略干扰因素。我们在常用的分析会用到趋势分析来做业务上的归因，但是当业务团队比较大很多业务迭代同时在进行（比如关于产品功能，市场策略，运营策略等），这个时候会经常会遇到一些下面这种类似的问题。业务上线一个新功能然后发现数据跌了，看起来像是这个新功能导致的指标下跌，事实上如果认真的归因，我们会发现第二个功能feature 存在一定的延迟性，而这个负向的影响那个时候还没扩大；即便这个时期只有一个功能上线，但用户所在的环境是非常复杂的，而且周边非常多的复杂因素会导致没法完全排除干净所有的干扰因素，这些容易让我们误判某个策略有效。通过这个例子说明，当我们的业务中混杂了较多的其他因素时，做判断容易发生错误，这种错误可能会影响方案设计上、或是新方向的探索、对整体业务优先级的判断等。因此排除所有的干扰项是非常有必要的。最理想的实验方式就是如果存在两个平行时空，可以让同一波人群同时分别体验旧功能和新功能，然后再去对比效果，这样才能反映一个产品功能迭代的真实效果情况。但是现实中这种平行时空是不存在的，最理想状态的方案就是随机对照实验。什么是A/B测试？就是在相同的环境下通过随机的抽样把人群分成实验组和对照组，然后对他们分别实施新旧两种策略，再结合一定的统计学方法控制随机抽样带来的一些随机误差，从而得到两种策略对比之后效果的准确的估计。A/B测试的科学和严谨性在于可以通过随机控制变量的方法低风险地得到定性+定量的实验效果，此方法长期应用在生物制药等科研场景，目前也大规模应用在互联网公司的产品迭代效果评估上，是业界进行因果推断的金标准。02字节跳动的A/B实践字节跳动也号称是A/B测试狂魔，在内部是如何使用A/B的呢？奉行什么样的实践理念？通过A/B测试带来了哪些价值？在字节内部， A/B测试平台目前服务了500多条业务线、在线上开的实验总量超过了240万，每天新增的实验数有4000+，同时线上运行的实验数有5万+个， 而且这些数字都在飞速的上涨 。在字节A/B测试是业务决策的基础，产品功能上线前都需要去做一个小流量的验证。所有的团队也都倾向于把每一个想去做一个假设，用一个个的A/B测试不断的去验证、或者是推翻、修正、再验证大家提的想法和假设，持续的进行迭代，最终去推动业务的增长。小到一条站外推送的消息、大到整个技术底层架构的一些优化修改，这些其实都是会做实验进行验证。在字节最常用的有这几类：内容推荐、营销活动、运营策略、产品功能、技术优化。可以说在字节内部文化中万物是可以A/B的，就比如抖音、西瓜 这两个产品的取名，就是通过A/B测试测出来的。可能跟大家之前预想的不一样的是，当时抖音做这个名称实验时，发现"抖音" 这个名字并不是实验组中数据最好的那一组，相比最好的一组 产品团队认为"抖音"这个名字更是符合产品长期的一个调性和它的理念（因为跟音乐相关），因此就采纳了这个名字。所以实验虽然是决策的基础，但其实他带来自己绝对不是决策的全部。以一个电商场景来举个例子，这条曲线是一个用户从他首次触达的获客环节，一直到他最后的一个沉睡唤醒的整个生命周期的留存曲线。这个曲线中的拐点非常的多，那我们的这个增长运营、日常这个业务迭代中最主要的工作就是去找到用户的拐点，然后并且在拐点到来之前去做一些相关的产品或者运营的手段来来做拉新、召回、促活等。在这几个阶段，其实可以去做各种各样的实验，比如在广告投放的阶段，可以通过一些营销落地页来去触达用户，然后通过实验来去评估不同落地页的效果。用户进入落地页之后，来到产品页来去体验的这个阶段可以发放优惠券进一步的对用户进行激活。在这环节可以去做一些数值策略的实验，比如这个优惠券到底是发多少钱的？哪一个的ROI是最高的。当用户已经进入到这个产品之后，用户只有体验到这个电商产品它的价值，比如说便宜或者说好用才会真正的留下来；所以在这个阶段可以做产品优化实验，比如说去优化下单流程、优化用户的关键路径等，可以帮助用户更快捷的找到自己想要的东西、从而在APP内停留更久。除这以外，也可以去做推荐算法的实验，比如一些算法模型调优的实验去提升用户商品点击转化率。在往后就是用户进入激活的环节，用户走了之后很久没有来，可以通过一些推送类的实验，去实时的推送商品的信息、优惠的信息、或者是直播的信息来刺激用户返回APP进行复购。针对已经沉睡的用户，可以进行定向推送实验，比如说圈选出沉睡的用户，通过push来进行召回和激活。上述这些实验都可以归结为功能性的实验，在字节除了功能性的实验之外还会有一些其他的实验，比如特殊设计的理解性实验、长期的反转实验来去监控一些重要的功能模块、以及它的长期的用户价值。在字节除了万物可以A/B之外，也有“Always Be Testing！”的理念。接下来通过几个字节内部的案例来介绍，如何使用实验去做效果验证和业务迭代。第一个是产品团队做的一个新功能探索实验。抖音上，早期有一个功能“弹幕”功能设想，目的是强化熟人社交的互动性，产品团队希望围绕熟人社交进行功能拓展，以激励用户多看视频、多发作品。产品团队借鉴长视频的弹幕功能提出了一个想法——在抖音短视频中增加弹幕互动的功能，当用户观看熟人（好友）的短视频作品时，该视频的相关评论通过弹幕的形式展示，让用户有更多的互动机会并感受互动的快乐。这个功能设计初衷是很好的，但它对于产品所带来的影响是正向还是负向，需要通过A/B实验进行评估验证。DataTester就帮助团队快速试错，避免了不合适的功能上线后为产品带来的负向影响。图一是对照组，产品界面维持抖音原样，没有弹幕功能。图二是实验组1，由于弹幕功能对抖音而言是大型改动，会直接影响产品主界面布局，所以产品团队在实验组1中做了一个激进的尝试，他们将视频的文字描述区域全部去掉，替换为弹幕互动功能；与此同时，为了界面的美观简洁，将抖音右侧原本的互动区收入了“更多”的按钮中。图三是实验组2，为了减少产品改动过大对用户带来的不确定影响，这个版本的产品设计保留了产品原有的互动等其它功能。从DataTester的实验结果数据看，两个实验组的互动率确实有着显著提升，达到了功能设计时“提升互动率”的初衷。但观察新方案对抖音大盘核心指标影响时发现，这个功能对抖音整体视频的浏览量、用户投稿率、用户整体留存率均有负向影响，上述指标均出现了不同程度的下降。A/B实验清晰地表明，这个功能虽然能提升抖音的互动率，但却不利于用户的整体使用与留存。因此这个看上去很好的改动并未在抖音全量上线。之后，抖音围绕弹幕类的产品优化探索并未停止，通过更多次的假设与A/B实验验证，这个功能后来加入了抖音的个人页位置中。当它被放在了恰当的位置，也能为产品的指标带来正向的提升。从这个案例中也可以看到，DataTester起到了帮助业务实现科学决策的能力，业务能够大胆创新的同时，也能科学验证每次创新是否真正有效。接下来是第二个案例，这个是设计团队的一次极致的优化，也是典型的通过小改动撬动比较大收益的一个案例。实验的想法是一个设计同学提出的，因为工作一天下来刷短视频的时候感觉到视觉疲劳，所以设计师开始思考“是否可以通过视频朦层让文字更加清楚，浏览视频不那么费眼？用户使用体验更好？”做这个实验在产品的改动上非常简单，调整两个参数就可以这个视频整体文案的突出程度。一个参数是朦层，第二个参数是朦层的透明度。这对前端来说是非常小的一个改动所以大家一拍即合实验很快就运行起来，最终发现“文字更加突出”的实验组用户停留时长更长，大大超出了团队的预期，最后功能面向全量用户上线。其实类似这种小改动撬动更大收益的创新非常多，尤其是性能优化方面的，因为这个对用户的影响会比较大。类似这样的案例告诉我们，一些微小的改动都可以帮助业务团队寻找一些突破，可以通过 A/B 实验进行更多的精打细磨最终找到最优方案。字节在A/B测试的应用实践比较广泛，长期的应用实践是靠所有人长期执行传递下来的，这种传承在字节内部形成了实验相关的理念和文化。形成这种文化除了一个完善的实验平台之外，还要靠业务同学之间的方法总结、积累和传递。实验理念和文化可以总结为三点：第一点就是要"用置信结果来说话，不自嗨"；第二点是“不唯数据论，合理解读”，日常的产品改动，即使是得到了实验的验证，也还需要通过业务同学对用户的理解、对业务的判断、合理的数据拆解来进行解读。只有数据也不能轻易地做一个决策；第三点是“实验反哺业务，加深业务洞察”，通过大量实验沉淀下来的经验可以反哺业务、加深对业务过程的理解和洞察。通过这种业务过程不断积累更多的业务经验。总结下来，在做业务的时候是没有一招鲜的招数的，需要通过A/B测试去帮助业务团队持续低损耗地朝正确方向小步快跑，A/B 测试正是在这条路上不断纠偏的一个工具。A/B测试的价值总结为以下四点 ：第一点是，可以激发创新。我们在小步快跑的同时，其实也会积少成多，带来一些收益的提升。第二点是，实验是建立在科学的统计评估方法之上，可以比较大的降低试错的成本，通过一个完善的A/B平台可以极大的提升人效。这样可以大量的去做实验，试错更快。第三点是，经验的积累长期来说可以提升团队的决策力。第四点是，做的每一个事情都是可以通过A/B测试来去量化它的收益，对管理来说也是一种赋能手段。03实验平台长啥样 不管是字节跳动内部还是外部To-B服务，都是通过火山引擎对外发布的这套平台。所以基本功能上都是一致的，其产研团队也都是同一个，所以技术方案都是一致的。外部的由于所面向的客户不同功能上存在细微的差异。而对内部的可能会有更多定制化的高级的功能，除了在数据产品的特征之外，跟内部业务系统更紧密结合。上图是火山引擎的一站式全站多场景实验平台的产品框架图，整体上分了五层，下面自顶向下来进行介绍。最顶层是应用层，火山引擎服务的行业非常多，除了互联网行业、金融、消费品零售、汽车行业、以及互联网行业中的子领域等。这些行业客户，他们的很多业务场景是都可以做实验的，这些场景可以进行抽象，比如广告优化、落地页营销活动、用户触达、流程优化、产品优化、数值策略优化、算法优化、素材优化、性能优化等 这些各类实验场景在上述这些行业都比较广泛的应用。接下来的几层主要关于平台如何与上述应用层进行衔接的。接入层主要是火山引擎的 DataTester 分流服务来与外部客户产品、内部产品应用进行对接，包括但不限于服务端、客户端、小程序以及其他广告投放触点等，这些接入主要是通过SDK的方式进行接入的。火山引擎接入SDK的同时也会打通一些数据上报和数据采集的流程，同时火山引擎通过分流服务把分流结果或下发的配置会回给上述应用的服务端和客户端。数据层，除了SDK的数据采集之外，也还支持数据集成的能力，包括但不限于服务端埋点、客户端的用户行为的埋点、还有一些业务的三方数据，同时也会采集产出一个用户进组信息；通过把业务的数据和用户进组的数据结合在一起，去计算实验的指标。中间是平台最重要的功能层，主要为三大模块；第一个模块是实验管理，包括实验管控的全流程，从实验的设计到发布、实验报告包含非常丰富的试验分析功能。第二个模块是FeatureFlag，怎么去生效这个不同的策略，便捷地进行实验的配置生效和发布 。第三个模块是场景化应用，主要包含一些实验模板、一些智能化的应用等。字节从成立开始就已经有A/B测试的实验在运行，通过10年时间的打磨、240万次实验的验证，火山引擎产品经过持续迭代升级具备许多产品亮点 。第一个亮点是，A/B测试平台是一站式通用平台，不限实验的数量，可以支持正交和互斥两类的实验，而且还提供了一些高级功能，比如父子实验、动态流量里的一些智能实验。第二个亮点是，通用实验平台可以适配非常多通用的场景模板。比如针对编程类实验，为了降低实验的门槛，平台衍生模板，比如可以通过可视化配置来去做实验的配置、还有不同的URL做实验的配置，在垂类场景中的类似推送、站点UI优化的MVT实验，广告类实验、广告增效度量类的实验等，都有相应的实验模板可以直接提供使用，大大降低了创建实验或者学习的成本。第三个亮点是，有稳定可靠的分流机制。因为只有科学的、稳定可靠的随机分流才可以保证的实验结论是可信的。火山引擎分流能力通过10亿级的DAU 打磨验证过来的，既稳定又可以支持高并发，以及非常灵活的分流机制来支持更多复杂实验的功能。第四个亮点是，强大灵活的人群定向能力。火山引擎可以支持SDK上报的事件属性、事件流、用户画像标签人群筛选，可以通过这些来进行人群定向。这些人群定向不仅可以支持实验的定向圈人、也可以支持FeatureFlag发布的定向圈人。第五个亮点是，实验分析报告。除了实验报告还提供一些分析工具可以帮助大家快速地去评估一个实验，拿到一个更好的实验结论来进行决策。第六个亮点是，科学智能的评估策略。上述提到的实验报告、分析能力都是基于科学智能的评估策略。火山引擎使用的统计策略，跟字节跳动内部使用的是完全相同的，有两套评估框架并行在使用，这个是分场景应用的，普通A/B实验都是基于经典假设检验的。实验流程中经常会用到各种场景模板，其中最常用的就是普通编程实验；在字节内部这类实验居多，占95%以上，日常产品迭代、算法优化、 数据策略优化、技术方面的优化等都可以通过编程实验类实现；对于IOS、安卓、H5等都可以支持接入编程实验的。除了上述的编程类实验，火山引擎A/B测试还提供了非常多的实验模板，可以帮助大家在一些网站优化、落地页优化、拉新裂变营销活动、以及用户促活、召回等触达类活动上去做一些专项的实验，可以极大的解放人力提升效率。广告类实验，火山引擎实验平台集成非常丰富的投放渠道、内置实验的指标可以帮助大家快速的去做一些广告方面的验证。此外，火山引擎实验平台提供丰富分析功能的实验报告，以下是火山引擎实验报告的指标、及关键的分析图表。火山引擎实验平台在提供A/B组间对比数据之外，最重要的一个评估的数据是显著性，P-Value以一个可说话的方式展示了实验版本对比对照版本的显著性，以及它的置信区间在推全之后到底有多大的提升。同时在统计策略里面也加入多重比较修正、序贯修整 。此外，报告中给出一些可视化的图 ，累计趋势叠加这个置信区间的阴影，可以通过这个图快速的看到说我们提升一个范围是多大；在最右下角的图给出一些概率分布的详细的数据、图标帮助进一步去分析；当然这些对实验人员不是特别关注的，则可以直接去看实验结论。除了统计报告，火山引擎实验平台还提供了丰富的分析工具。分析工具中最为常用的是多维下钻，除此之外还有可视化分析能力，比如转化漏斗分析。如右侧图所示，用户可以通过一个图示的方式看到转化漏斗的各个环节情况是什么样的。除此之外还有，留存分析、分布分析、同期群分析等 ( 把用户拉到同感受这个策略的相同时间点进行分析 ），还有热力图分析等。这些分析工具在帮助我们得出实验结论之后，还可进一步进行维度拆解、拆解漏斗、拆解留存来去帮业务同学分析判断发现更多的细节。实验平台中另外一个非常重要的功能点是FeatureFlag，因为A/B测试跟研发链路是紧密串联的，所以想要极大的去提升整个实验链路上的效率与安全性 ，那么一个灵活、可靠的配置发布平台是非常有必要的配套工具。FeatureFlag 在研发、运营、质量和运维这四个角色的相关环节做了一些相关的功能，比如灰度发布，业务侧可以自定义发布的计划来进行发布。同时， 对于一些运营场景，也可以进一步的提高研发效率，通过差异化的配置和人群定向的发布来帮助运营同学通过这个界面上点选就可以实现策略的差异化发布；质量的同学最关心整个线上系统的安全，所以平台也对整体实验的上线到发布的全链路做了安全流程的卡扣、同时提供一键降级功能来实现快速的止损。在运维环节，FeatureFlag 有相应的异常监控提示以及APP包体积优化、代码优化相关的工作。火山引擎A/B实验平台不断迭代升级，特别是在运营场景上，希望研发的成本、分析师后续分析的成本可以进一步的降低，因此推出了一些智能化的实验。这类智能实验也叫多臂老虎机实验，是建立在贝叶斯推断统计体系上的一个通过动态调优的算法，最终实现收益最大化；它会在调配的过程中把更多的流量给到效果更优的策略。其优势就是不需要做特别严谨的设计，甚至不需要等A/B测试的时间过程。平台可以根据用户实时反馈去做一些动态的调配，主要面向绝大多数运营场景。比如，推送文案的文案动态代码，或者是落地页的动态优选、以及广告投放策略的优选、以及站点优化时可以对不同的元素的组合进行智能的优选。它节省了时间成本、分析成本，而且可以降低人为预判的风险，还可以减少人工的介入，极大的提高整个实验效率。03如何开一个AB实验 想要做一个实验，需要哪些流程 如何设计和实施？首先是接入A/B（主要是SDK接入、一次性的），接下来是发现问题、提出假设、设计实验、功能开发、创建实验、收集数据、分析评估、得出结论、发布上线等几个环节。最后的五个步骤在A/B测试平台内即可完成，包括定义指标、创建实验、计算数据、结论分析、Feature发布和管理等。所以大家需要注意的可能就是设计实验的环节。接下来通过一个外部客户的例子来介绍如何去做一个实验。客户想去优化产品的流程，其产品团队主要的诉求是想去提升支付转化，所以他们分析现在的支付流程，发现需要同时付租金和押金。经过前期数据分析发现，免押金用户的转化率是要高于没有免押金的，因此产品猜测可能是这个押金将用户“压垮”了，因此产品团队就做了一个简单的方案，把付租金和付押金拆解成了两步，这可以让用户更加明确的感知到押金和租金是分开的、押金是会返还的，这样总体金额其实更少。最终做了这个实验之后发现，下单的转化率有非常明显的提升。设计好一个实验， A/B测试就成功了一半。04Q&A 环节Q1：不同业务线怎么做分层？Ａ：字节跳动内部会开非常多的实验，所以我们采用了多层正交的经典实验框架，同层互斥，层间正交，可以既支持大规模的同时运行实验，又可以避免实验之间的影响。不同的业务之间一般可以在不同层跑实验；同一个业务特别是同一个团队需要内部分析一下相互影响，如果功能之间有影响、或对实验指标的混杂影响比较介意，可以约定把这类实验开在同一层，大家自制管理；部分特殊业务对流量使用和影响有严格要求的会对实验层有专用管理，其余实验既可以开互斥实验也开正交实验。Q2：如何评估实验是否互斥？Ａ：互斥一般需要业务判断，功能之间有相互影响的需要互斥，比如大家做的一个功能改动都是在同一个页面内、或者改动同一个参数，这种方式也比较常见；另外一种就是功能A对功能B没有影响，但是对观测的指标有潜在影响不愿承担风险也可以使用互斥；一般存在这种情况的话建议分析看这种影响是不是比较大，如果影响比较小的话可以忽视，因为实验开在正交的层上理论上也可以打平影响。Q3：怎么保证分流的均匀性？实验结果的置信度？Ａ：整体逻辑还是尽可能的随机来保证分流均匀，但是随机抽样一定会有误差出现，导致不同组的用户在某些指标上显示出一定的差异，显著性检验其实为了鉴别指标观测到的影响到底是由于这些随机误差引起的还是功能带来的，我们一般采用95%的置信水平以保证鉴别犯错只有5%的概率会出现。至于分流误差，在大规模试验下其实是不太需要担心的一个点，如果对于实验评估精度要求较高，可以再做一次实验或者可以提升评估指标的检验灵敏度。Q4：正向实验比例大概有多少 ？如何度量对业务的价值？Ａ：正向实验的比例其实没有一个精确的统计数据，但是正向实验的占比不会特别多；至于如何度量对业务的价值，其实前面的理解性实验有提到，还有比如功能的反转这些都可以去量化一个方向的事情的价值有多少。其实每一个微小的实验，如果都是用AB置信结果的判断其实可以帮助我们去理解实验过程中发生了什么？具体这个数字不一定是最重要的，失败的实验也是非常有价值的，通过实验的整个过程可以去理解实验对用户的影响。Q5：实验平台、业务团队 、业务团队的分析师是怎么合作的？Ａ：平台的分析师与业务BP的分析师应该是一个协作的关系，各有各自的分工。实验平台的数据同学会负责实验专门的数据的开发，包括一些实验问题的排查、数据的构建等，此外还在实验的一些分析评估也可能会给到支持；数据团队除了上述常规的数据研发 也有统计科学的同学，会专门去聚焦于整个统计策略的一些迭代，包括一些新方向的探索 比如双边实验等。统计分析的同学也会更深入到BP业务去解决一些疑难的问题，比如说一些双面实验和一些复杂实验的设计。另外也有数据团队的同学会开发数仓及数据集市层，会被实验平台及业务直接应用去开发线上指标，这些都是合作关系。然后业务的一些分析师团队更聚焦于业务实验的分析，以及整个实验过程中深度的解读理解业务和用户过程中数据分析等工作，是这种大家各有分工互相协作的关系。Q6：AB实验的核心价值评估指标是如何界定的？Ａ：核心价值评估指标，选用什么样的指标体系观测实验。在字节有三类：第一个，是北极星指标，业务统一在使用的一套指标，比如用户留存、时长等关键指标，这个是无论哪一个业务，做什么样的业务迭代都需要去关注的。第二类，就是新功能做的一些直接的改动带来的影响的指标，这种直接影响指标主要是用来去评估这个功能改动是否符合预期，实验到底有没有效的一个重要指标。第三类指标，是过程性指标或辅助性指标，帮助我们进行二次验证的指标，用来帮助我们验证实验生效的过程是否符合预期、一些关键的转化链路中的数据表现等；通过这类指标可以去进一步拆解分析实验过程中更细节的信息，避免漏掉一些信息造成对业务的误判。今天的分享就到这里，谢谢大家。分享嘉宾INTRODUCTION李惠字节跳动火山引擎A/B测试产品经理资深数据产品经理，深耕A/B测试领域，字节跳动实验评估平台产品负责人，目前致力于火山引擎A/B测试（DataTester）的产品建设和企业赋能。点个在看把好内容分享给更多人