程序化创意在贝壳的探索与实践

见贤思齐

程序化创意在贝壳的探索与实践 程序化创意在贝壳的探索与实践 王静远 刘天悦 壳算子 壳算子 贝壳找房数据智能中心策略算法部技术公众号 10篇内容 2020年11月25日 20:10 广告素材的丰富度对投放效果影响巨大。然而，贝壳信息流广告（本项目实施前）却不能实现“千区千面”，主要是因为图片素材存在质量不可控的问题，若直接投放不利于保护品牌形象；同时人工生产素材效率低，无法满足百万级的素材需求。为了解决上述问题，策略算法团队、效果营销团队以及DSP团队于2019年7月合作启动了程序化创意项目。人工通投（过去） VS 千区千面（现在）项目介绍程序化创意，又称程序化创意平台（Programmatic Creative Platform），是一种由数据和算法驱动，通过对广告创意内容进行智能制作和创意优化，从而整合互联网创意产业上下游的技术。利用程序化、自动化的AI技术，将传统被置于线下的创意生产整合进入互联网营销工作流中，实现创意生产与媒介投放的闭环。创意项目业务场景程序化创意项目现已应用于贝壳的直投创意（站外拉新）、DSP创意（老客召回）等多个业务场景，累计生产创意图片1420W+，覆盖90城325879个小区，制作视频创意3000+，积累图模板350+套，覆盖百度、广点通、头条、讯飞等多个媒体告投放渠道。相比人工创意对照组，程序化创意CTR相对提升26.7%。在为创意广告赋能提效之余，创意项目还沉淀了诸如图像美感度打分、人脸检测、图像质量评价、杂物检测、毛坯房检测等10+图像服务。这些服务不仅作用于创意项目，还为视频审核、图像AI美化等其它项目提供支持。技术实现01整体架构在市场营销过程中，“创意”的价值极其重要，但也极具挑战性。仔细研究“创意”的产生过程，会发现其中包含许多规律性的劳动。如果能利用算法和数据，让机器来处理这些重复性的工作，就能更快捷、高效地产出创意作品。国内主流的程序化创意平台包括阿里鹿班、腾讯广告、筷子科技等，这些平台大多以电商广告场景的创意生产为主。无论是商品特性还是创意功能需求上，贝壳与这些电商平台都有明显的差异（大宗商品VS小宗商品）。因此，贝壳程序化创意架构的构建需要综合考虑大宗商品的特殊性以及贝壳现有信息流广告存在的痛点。通过一年多N轮的迭代，建立了如下图所示的贝壳程序化创意架构：程序化创意架构图优选器：负责对创意使用的图片素材进行优选，优选具体是指筛选出符合质量、美感、构图以及满足特定业务要求的图片；设计器：由设计师按照规范设计创意模板，相应模板PSD设计稿经解析后获得相应的模板文件；生成器：根据业务及模板相关的约束，将图片素材、创意文案等信息拼接生成创意图片；评估器：包含素材评估和模板评估两部分。其中素材评估基于素材美感度评价和信息丰富度评价。模板评估则是基于DSP平台等投放渠道的数据回收。通过综合考虑素材评估和模板评估，获得最终的创意打分；文案器：基于房源、小区的标签信息和多粒度的业务数据等生成创意广告文案。鉴于篇幅所限，本文将围绕优选器如何对海量图片素材进行优选，文案器如何生成创意图片内外的文案以及设计器如何连通设计师的创意能力与机器的生产能力这三部分展开介绍。02图片优选创意生产涉及多种类别的图片素材，包括房源实勘图、小区实勘图、户型图、新房样板间图、新房效果图等，这些图片素材来源多样且质量参差不齐。如何在亿级的图片素材库中优选出满足质量要求、美感要求以及特定业务要求的图片，是一个巨大的挑战。我们将图片的优选过程由浅入深地大致划为三部分：图像质量评价模块、图像美感度评估模块、图像语义信息评估模块。首先是基础的图像质量评价模块，这一部分旨在评价一幅图片的整体质量。图片的整体质量包含很多方面，可以总结归纳为下图中的内容：图像质量评价指标通过统计与分析设计师反馈的负向素材质量问题占比，我们针对占比最高的几种问题在图像质量评价模块采用清晰度、暗度、亮度、饱和度等指标进行评估。这一部分的实现主要是基于传统的图像方法。图像质量评价示例其次是图像美感度评估模块，这一部分解决的是整体视觉美感的评估。经过对比现有的美感度评估方法，我们采用了谷歌提出的NIMA（Neural Image Assessment）模型。NIMA模型的目的是预测与人类打分更高的相关性，因此未采用高分/低分的分类方法，也未使用回归平均分的方法，而是将分数的分布作为直方图来预测。同时因为平方EMD（Earth Mover's Distance）在有序分类上有很好的表现，因此将其作为损失。NIMA美感分数分布NIMA模型能够从直接观感和吸引程度来预测人类对图像的评估意见的分布，故而可以用于图像美感评估。但由于美感的评估十分主观，不同人对于美的定义都有所差异，因此，我们根据广告投放的需求及设计师的建议对贝壳不同场景（房源实勘图、小区图实勘图等）图片的各级评分做了明确的规范，并按照规范对图片的美感度进行批量标注。最终，在标注数据集上训练获得图像美感度评估模型。小区实勘图美感度评估示例最后是图像语义信息评估模块。经过图像质量评估和图像美感度评估过滤后的图片素材已经满足质量和美感的需求，但仍需将一些房产广告的领域经验纳入进来，这需要通过正向的过滤以及负向的过滤两部分来实现。正向的过滤是指筛选出包含我们关注标签的图片，例如信息度丰富（例如床、柜子、沙发、电视等场景语义）而不是近似空置的房源实勘图、建筑主体处于特定位置（居中/居左/居右/全屏覆盖等）的小区实勘图等。语义分割示例负向的过滤是指摘选出包含负向/违规的语义点的图片，例如图片中存在人脸的图片（为了保护隐私我们会在人脸上打上马赛克）、杂物过多的图片等。图像语义信息评估模块涉及的模型包括语义分割模型、人脸检测模型、杂物检测模型、房屋分间类型分类模型、毛坯房分类模型等等。人脸检测示例03文案生成创意文案是创意广告的另一项核心内容，能对图片素材进行强有力的补充与说明。创意文案负责强化创意广告的主题并传达重要的卖点信息。创意文案在追求营销效果的同时，还需要保障公司的品牌调性。在程序化创意项目中，根据创意文案所在位置可将文案分成两类，分别是图内文案和图外文案。图内文案是指这些出现在创意图片中的文案，形式以卖点信息短语为主。图内文案一般都与其所在位置的图片素材相绑定（例如在房源实勘图附近的文案一般绑定房源粒度文案）。在创意项目中，图内文案主要包括两类文案分别是标签类文案和业务数据类文案。图内文案标签类文案：通过素材涉及的房源ID/小区ID可以取到来自好房项目的房源标签/小区标签，若未命中标签数据则触发相应粒度的兜底文案；业务数据类文案：基于贝壳海量翔实的业务数据，我们能够获取丰富的业务类文案例如居室信息、面积信息、历史成交均价等，此外，基于业务数据我们还可计算一些加工数据例如降价额度、小区热度排行等。图外文案则是出现在创意图片之外的文案，形式以一段完整的语句为主。在创意项目中，图外文案主要采用两种方式生成，分别是模板化生成和经纪人评价。图外文案模板化生成：基于运营人员定期整理汇总的热门文案模板公式以及创意素材涉及的标签信息，我们可以使用模板化的方法生成大量的图外文案；经纪人评价：相比由机器生产的文案，经纪人对房源的点评更具可读性，但由于经纪人的水平也存在较大差异，因此需要通过一系列的过滤策略（字数限制、敏感词过滤等等）剔除一些不符合要求的评价信息。基于这两种图外文案生成方式，通过不同的策略配置为每张创意图片进行分发相应的图外文案。04模板解析创意模板是创意项目中连接设计师创意能力和机器的高效生产能力的重要组件。设计师的“创造性”思考会集中在创意模板中体现，因此如何快速制作创意模板文件是程序化创意中的一项重要环节。模板制作流程 V1.0在创意项目初期，模板的制作过程大致可分为四步:1. 设计师提供模板成品创意样图2. 开发人员标注模板待标注信息以及素材需求3. 设计师标注模板信息并提供设计素材4. 开发人员生成创意模板文件，并和设计师沟通调整可以看出，整个过程需要设计师和开发人员多轮的交互，这也意味着模板制作的效率非常低。为了提升创意模板的制作效率，我们对整个流程进行了升级。由于模板制作的耗时主要在于模板的解析，因此，如何把设计师创作的PSD设计稿解析为机器可以用的素材和结构化数据，成为了我们需要探索的问题。在探索的过程中，我们发现在解析PSD文件的过程中主要存在三个难点：1.为了实现解析后的逆向合成，需要将PSD文件精准解析到元素粒度2.图层元素的可见性情况较为复杂，需要妥善处理可见性冲突问题3.PSD文件的文字解析存在信息不准、信息缺失的问题 我们针对这些问题，在PSD解析开源项目psd-tools的基础上进行了二次开发，最终实现了无需设计师和开发人员交互即可解析模板的新流程。新的流程大幅提升了模板制作效率，从以前每天只能制作2~3个创意模板，提升到现在每天可以制作200+个模板。模板制作流程 V2.005数据回收在程序化创意中，数据回收对于生产优化以及投放优化具有至关重要的作用。在实际生产投放过程中，数据回收主要来自两部分，分别是投放实验数据回收和大规模投放数据回收。投放实验数据回收：由于投放的效果受到投放渠道、投放时间、模板样式等多方面因素的影响，因此在大规模投放创意广告前，我们需要通过小规模投放实验验证新模板的效果与可行性。通过设置严格的对照试验，我们可以快速回收试验反馈数据。针对反馈效果正向的模板，我们可以进行批量生产创意，随后进行大规模广告投放。投放实验示例大规模投放数据回收：通过直投媒体侧及公司内部的DSP平台，我们能够获得详细的回收数据，这些数据用于指导优化后续创意生产/投放的方案。项目总结程序化创意项目经过一年多的持续迭代，取得了一些阶段性的成果。在技术层面，创意项目保障了创意的质量与数量。一方面，通过众多图像服务、图像功能及业务策略实现了对底层素材图片的质量控制，创意图片人工抽检合格率达到业务方投放标准。在创意生产过程中，所有的文案生成方法均基于真实标签和业务数据，保证了创意广告文案的真实性与时效性；另一方面，创意项目大幅提升了创意生产的效率：从以往人工每周仅能生产100+创意，提升到现在每周可生产150W+创意。在业务层面，目前图文创意已覆盖90城325879个小区，配合投放侧的LBS能力，实现了贝壳信息流广告的千区千面；相比人工创意对照组，程序化创意CTR相对提升26.7%。未来规划01DSP投内容贝壳DSP平台拥有丰富的用户偏好标签，而DSP创意现阶段在投放中未能充分利用用户的偏好标签数据。团队计划后续在DSP投内容过程中，基于用户偏好标签向用户分发具有相应偏好属性的创意图片，从而逐步从千区千面过渡到千人千面。基于用户偏好投放创意广告02短视频创意短视频在当前多媒体环境中占据着巨大流量，因此在诸如快手、抖音等短视频平台投放视频广告也是贝壳现阶段重要的广告营销手段之一。程序化创意项目在今年下半年进行了一些短视频创意的实验，目前已经尝试了图文轮播视频、贴图视频、口播视频等形式的短视频创意。现有短视频创意示例通过媒体投放侧的回收数据来看，机器生产的短视频创意具有很强的跑量能力以及创意质量指数表现（创意质量指数 = CTR * CVR，目前相对提升17.9%），后续会在短视频创意的产研上进行更多的探索。参考资料：1. 程序化创意行业指南http://www.kuaizi.co/guidebook.html2. 程序化创意百度百科https://baike.baidu.com/item/程序化创意/16498669fr=aladdin3. 图像质量评估综述https://zhuanlan.zhihu.com/p/32553977from_voters_page=true4. NIMA: Neural Image Assessmenthttps://arxiv.org/abs/1709.054245. psd-tools官方仓库https://github.com/psd-tools/psd-tools作者介绍：王静远，2019年校招加入贝壳找房，目前从事图像视频算法相关工作。刘天悦，之前在金山AILab从事视觉算法相关工作，现就职于贝壳找房业务智能部，担任资深算法工程师，专注图像、图形及视频理解工作。贝壳策略算法团队以下岗位开放招聘啦资深多媒体研发工程师工作地点：北京市海淀区上地六街弘源首著大厦8层岗位职责:1. 负责全平台视频剪辑（web、android和ios）架构设计与滤镜开发实现2. 配合内容团队和素材团队，实现自动化智能生成房源/小区/商圈讲解视频3. 优化音视频编解码和图像处理渲染性能，提升用户体验任职要求:1. 本科及以上学历，有C/C++/JavaScript研发经验，熟悉Unix/Linux开发环境，良好的编码风格及文档习惯2.熟悉hls、mp4、h.264、aac等流媒体协议及格式，并有相关实际开发经验3.熟悉常用多媒体开源框架（如ffmpeg、x264），并能基于此进行二次开发4.良好的沟通能力、团队协作精神，敢于承担压力，有强烈的责任心5.有视频云剪辑开发经验优先，有视频滤镜OPENGL开发经验优先资深机器学习工程师工作地点：北京市海淀区上地六街弘源首著大厦8层工作职责:1. 运数据挖掘/机器学习的理论和方法，建设链家网房屋估价系统2. 从系统应用的角度，采用合适的计算机算法，解决实际业务问题工作要求:1. 本科及以上学历2.计算机基础知识扎实，熟练掌握 Python，C/C++，SHELL 等编程语言3. 熟悉传统机器学习算法，并具备至少1年以上的数据挖掘/机器学习相关工作经验4. 掌握深度学习基本理论知识，并具有相关建模调优经验5. 有互联网、O2O等领域数据挖掘、分析建模相关经验优先，有kaggle等数据挖掘相关竞赛经验者优先6. 具有良好的学习能力、时间和流程意识，工作沟通坦诚直接，不惧挑战，不藏着掖着联系方式:songxin@ke.com我就知道你在看！ 预览时标签不可点 关闭更多小程序广告搜索「undefined」网络结果