得物AppAndroidCrash治理演进

就一个死胖子

得物App Android Crash治理演进应用程序闪退称之为Crash，Crash率是衡量APP好坏的一个重要指标，有效的治理可以减少应用程序Crash带来用户体验问题，甚至用户流失。本文讲述得物App Android客户端的Crash率从千分之八做到万分之三过程中所做的工作,按时间阶段分别介绍在以下几个方向上的演进。Crash预防Crash监控告警Crash降级保护Crash排查定位Crash修复第一阶段石/器/时/代第一阶段Crash信息采集，指标建立，简易的Crash分发流程?基于第三方平台Bugly采集Crash信息 ，建立Crash指标。每天定时以及版本发布后观察Bugly Crash问题根据堆栈查找到代码作者。Crash表格手动整理发送到群及邮件。大致的处理流程如下图。?通过上述方式我们有了Crash信息和Crash指标参考。不过印象深刻的是当时每次灰度发版本加班处理Crash是常态，而且很多Crash由于信息缺少无法排查。每周日还得挨个去查看Crash整理表格数据。线上灰度版本质量和Crash数据统计的准确性都在经受考验。?第二阶段青/铜/时/代第二阶段灰度熔断机制(crash告警)?为了保证灰度版本的质量加入了灰度熔断机制。App升级SDK。基于Crash SDK监控的Hook上报同样一份数据到SLS，Crash达到阀值自动停止灰度。日志文件SDK&规范(Crash排查)?为了获取Crash时更多的信息加入了本地文件信息记录。新增日志SDK。用户反馈，Crash等场景主动上报日志信息。规范日志打印。VERBOSE，DEBUG日志仅打印到控制台(方便调式打点）。INFO，WARN，ERROR日志打印同时会被记录到文本日志(关键操作，线上问题定位)。BUG日记记录同时会提交到Bugly及阿里云(重要错误及时上报，测试环境抛出异常暴露问题) 。自动解析统计(Crash统计)?建立了基于Bugly的Crash处理机制：新同学加入时加入BuglyId映射表。每个灰度版本发布完成后，需要对Bugly的Crash问题进行追踪，找到Top的问题记录相关数据并分发给相关责任人进行处理，相关同学处理完问题后对问题的处理进行一个简单的描述及标记。分发这部分无法自动化，需要这边查看原因确认代码是谁提交的，才能将Crash状态变更到处理中并将其指派给相关同学，或者小伙伴主动上Bugly认领一下Crash问题。分发完Bug后 会去跑一个脚本，生成Crash信息统计表格填在文档上。?第三阶段铁/器/时/代第三阶段应用评论Crash通知(Crash告警)我们发现了一种Crash场景，发生Crash时Crash SDK还没初始化，Crash平台上没展示，但是应用市场有了Crash评论。所以去做了实时监控四大应用市场Crash评论用于及时发现Crash问题。配置中心(Crash兜底)?为了减少线上问题，上线一个新功能时我们需要一个配置用于新功能的逐渐放量或者功能回退。简易流程?埋点上报SDK(Crash排查)?本地日志上报有实时性不高，捞取成功率不高，无法支持多维度问题数据统计的的功能。埋点上报模块与其进行了互补，及时发现线上问题和统计问题指标。?异常数据补充上报(Crash排查)?BPM SDK?在埋点SDK基础上封装了业务异常打点SDK增加了业务模块,流量控制的流程。?堆栈缺少主要日志比如第一种堆栈我们更想知道具体报错的URL。第二种需要知道具体跳转到哪个Activity携带了什么参数导致崩溃。?这些问题能通过使用AspectJ，ASM等字节码修改框架很方便的Hook到我们想要的内容。ART OOM信息补充上报?采集当前进程内存状态proc/self/smaps的解析线程问题采集最大限制线程数，使用Thread.getAllStackTraces()获取当前线程堆栈信息分别按照线程名和线程堆栈进行聚合App打包时使用了字节码插桩对线程进行了重命名FD问题FD信息聚合输出图片问题Hook获取当前加载图片的sourceURL 尺寸dump BitmapPool中的内存信息dump当前屏幕上图片的URL地址以及尺寸大小灰度内存超过阀值的部分Wi-Fi设备HPROF文件的上送问题分析?三方库问题处理(Crash保护)?提供了du_aspect模块把一些第三方库的Crash通过字节码插桩方案try catch降级为异常上报。?升级64位so(Crash治理)?OOM信息补充上报后，我们发现VmSize触顶的场景占比特别大。升级64位后占比大幅下降。第四阶段蒸/汽/时/代第四阶段异常埋点平台(Crash排查)?异常埋点平台化，规范异常埋点流程，异常埋点管理。?平台建立埋点->生成代码->代码内手动埋点->发布后命中的设备上报异常埋点。文件回捞(Crash排查)?文件回捞SDK，支持App内任意文件路径下发回捞，使用场景。作为异常文件Tombstone的补充回捞直播，音视频等业务线独立日志的回捞需求Crash安全中心(Crash数据支持，Crash降级兜底)?Crash降级兜底?分析工具(Crash排查)?堆栈反混淆工具堆栈反混淆查看每一行堆栈对应组件版本号，组件负责人，代码修改认等信息用来提高问题定位速度多维度日志分析?通过设备ID、用户ID快速查看异常日志开发同学可以点击查看详细日志排查问题测试同学可以查看问题上下文问题堆栈负责人快速分享给开发负责人?关联OSS文件Crash后本地日志文件的查看ART OOM场景HPROF文件查看?自建Crash平台(Crash告警，Crash分发，Crash统计，Crash 处理流程优化)?异常Crash处理流程优化?关注得物技术，携手走向技术的云端文｜zjy