深度学习技术在情感分析中的应用

见贤思齐

深度学习技术在情感分析中的应用背景随着电商平台的发展和完善，越来越多的人们选择电商平台进行购物，并对所购买的产品做出评价。通过对用户的评论信息进行分析和挖掘，可以及时了解产品的性能、存在的问题以及用户的真实需求，为提升产品性能和服务质量提供决策依据。由于用户评论的数据量过于庞大，仅通过人工手段对这些评论信息进行分析可能费时费力，因此我们考虑借助计算机程序对评论信息进行处理和分析，而目前文本情感分析也是电商领域的一个热点研究问题。近年来，深度学习在图像处理、自然语言理解和语音识别等领域取得了突破性进展，为情感分析的研究带来了新的机遇。一方面，深度学习可通过学习一种深层次非线性网络结构，用于对用户的海量数据进行表征，具有强大的从样本中学习数据集本质特征的能力，能够获取用户的深层次特征表示。另一方面，深度学习通过从多源用户评论数据中进行自动特征学习，从而将不同数据映射到一个相同的隐空间，能够获得数据的统一表征，并在此基础上融合传统情感分析方法，缓解传统情感分析系统中存在的性能不佳和鲁棒性较低的问题。什么是深度学习在聊深度学习之前，先聊聊ML（机器学习）。机器学习指的是通过相关理论和技术，让机器从外界大量的输入信息中找到特定的规律，从而“智能”地做出符合这一规律的识别判断。机器学习的发展包含两个阶段，第一个阶段是浅层学习，第二个阶段是深度学习。人工神经网络的诞生促进了深度学习相关理论和技术的发展，它对生物神经的基本特征进行抽象化处理，并按照生物神经的抽象结构组建人工神经模型，使该模型能够模仿生物与环境交互的方式与外界进行交互，尝试学习生物从外界环境中学习的能力。人工神经网络具有极强的自学习能力，较好的抽象建模能力和较强的鲁棒性，受到了机器学习领域相关专家学者的广泛关注。卷积神经网络是基于前馈式神经网络提出的一种处理二维图像的深度神经网络，能够很好地提取二维图像的基本特征，从而在图像识别规则不明确的情况下，完成图像识别任务。卷积神经网络具有良好的自学习能力和优秀的容错能力，并且还具有较高的运行速度。如上图所示，卷积神经网络的组成成分有：输入层（Input Layer）、卷积层（Convolutional Layer）、池化层（Pooling Layer）、全连接层（Fully Connected Layer）和输出层（Output Layer）。通常卷积神经网络会采用多个卷积层和池化层，并依次设置，完成低层特征到高层特征的抽象过程，从而高效地形成输出结果。卷积层许多个特征面组成了卷积层，这些特征面又是由许多的神经单元组成的，每一个神经元是通过卷积核与上一层的特征面的局部区域相连接的。与传统的人工神经网络相比，卷积层采用权值共享的方式，提取上一层的局部特征，采用该方式能够在图像特征提取过程中忽略局部特征的位置, 从而减少了模型的参数数量，下图中m-1层通过权值共享的方式卷积形成了m层。下图展示了使用权值共享的方式构建卷积层。卷积层的作用过程如下图所示，建立一个大小为n×n的卷积核，对前一层大小为m×m的特征图进行卷积操作，提取更高一层的特征，形成这一层大小为(m-n+1)×(m-n+1)的特征图像。池化层紧跟在卷积层之后的就是池化层，池化操作能够起到二次提取特征的结果。池化层的每个神经元对局部接受域采用池化操作。常用的池化方法有最大值池化、均值池化和随机池化。最大值池化是选取局部接受域中值最大的点，用最大值来代表该接受域；均值池化是对局部接受域中的所有值求平均值，用平均值来代表该接受域；随机池化是随机选取局部接受域中一个点来代表该接受域。下图分别选用三种池化方法，对9×9的局部接受域采用池化操作，池化操作采用3×3的池化核，9×9的域输入经过池化操作输出了3×3的域。全连接层全连接层可以合并处理前面提取到的所有信息，该层所有节点都与上一层的节点进行相连，用来将卷积层和池化层提取的特征综合起来。在卷积神经网络中，全连接层常出现于模型的后几层，用于对前面设计的特征进行加权并求和，并将高维向量映射到低维空间。下图呈现了全连接层的简单结构。由于卷积神经网络的特殊结构，该模型需要训练的参数较少，模型的复杂度也比较低，较低的复杂度意味着更强的普适性。此外，采用该模型可以很好地降低过拟合现象出现的几率，同时卷积神经网络的拓展性也很强，它采取了更多的层数来加强它的处理能力，从而能够更好地分析和处理较为复杂的问题。基于卷积神经网络的情感分析卷积神经网络具有局部特征提取的功能，在计算机视觉和语音处理方面取得了巨大的成就，在自然语言处理方面同样也具有良好的表现，因此可以使用卷积神经网络提取用户评论文本中的关键信息，进而根据这些文本中的关键信息对情感进行分类。利用卷积神经网络对评论文本进行分类处理的模型如上图所示，该模型包括输入层、卷积层、池化层、全连接层和输出层。处理流程如下图所示，首先利用训练文本对该模型进行训练，然后针对测试文本进行测试，最后统计分类结果并对分类结果进行分析。卷积神经网络处理的文本数据形式一般为矩阵形式，并且该矩阵必须是固定长度的，由于大多数评论文本的长度都不超过128个字符，为了方便程序的处理，矩阵大小采用128，超过128字符的会自动截断，不足128字符的会自动补0处理。为了尽可能的体现出每个词的前后文信息，从而提取评论文本的局部特征，本文在卷积层中设计的是大小为3的卷积核结构。实验证明，当取卷积核尺寸为3时，文本的处理效果比较好。经过卷积操作后，将得到尺寸为126×1的特征图。在该模型中，为了能够从每张特征图中找到最具有代表性的局部最优特征，需要对卷积层提取出来的特征图进行最大值池化操作，即找出每张特征图中对分类结果影响最大的因素，并将其提取出来，从而完成由输入数据中取出某个局部特征的全部过程。此外，这一步也起到了参数约减的效果，进一步减少了最终分类时所依赖的参数变量，使模型的适应性变得更强。? ??在卷积层中得到的126个特征矩阵，经过最大值池化操作之后，最终提取出了对情感分类影响最大的126个局部特征，这126个局部特征采用全连接的方式连接到全连接层的64个节点，然后使用Relu激活函数来处理这64个节点的数据，Relu是一种非线性的激活函数，其公式为relu(x)=max?(x,0)，该函数计算速度和收敛速度都比较快。全连接层还采用了DropOut策略，使每次更新全连接层参数时是都随机选择一部分并舍弃。本文的训练过程中将DropOut值设置为0.5，即随机选取50%的参数进行舍弃操作。最后以全连接的方式连接到最后一层的8个节点，这8个节点代表了八个不同的类别，即组成一个SoftMax分类器，能够综合考虑提取出来的全部局部特征，高效的完成情感分类任务。未来展望针对电商平台业务及深度学习技术的发展，深度学习在电商领域还有很多的应用场景。比如：基于用户历史数据的商品推荐、基于电商平台的智能问答系统、消费者购买决策的影响分析和企业风险评估等。深度学习作为近年来人工智能领域中的一种热门的技术，尽管已有的深度学习算法模型如循环神经网络、递归神经网络和卷积神经网络等已经有较为显著的应用, 但还没有重大突破。合理地运用深度学习模型对现有的一些策略或方法进行完善，相信未来还会有非常广阔的空间。关注得物技术，携手走向技术的云端文｜远航