实时数仓投放主备链路Diff测试工具落地实践

见贤思齐

目录一、背景二、实现方案三、搭建主备链路四、数据准备-数据切片????1.?时间窗口切片????2.?业务场景切片五、主备链路数据Diff-去噪????1.?数据漂移问题????2.?数据更新频率问题????3.?数据更新时效问题????4.?属性字段值不统一问题????5.?主备链路message字段解析属性字段不一致问题????6.?字段去噪问题六、Diff结果分析????1.?判断每一个对比字段通过占比????2.?判断所有字段通过占比总记录数七、工具服务化????1.?后端服务化处理逻辑????2. Diff结果报告解析????3. 平台可视化八、主备Diff工具接入发布流程九、总结