融合主题模型与注意力机制的情感分析方法

随着深度学习技术的深入研究,越来越多的深度神经网络模型被运用于情感分析任务。针对现有模型不能较好地表征词语的上下文信息,且存在数据稀疏与特征不明显等问题,提出了一种基于主题模型和注意力机制的情感分类方法,通过LDA模型提取主题特征,并将主题特征和文本特征融合在一起。为了捕获文本情感极性转变的语义信息,从而抽取出文本的最佳情感极性,该方法采用基于CBOW方式的Word2vec模型训练词向量,将带有主题特征的词嵌入矩阵通过Bi-LSTM神经网络模型获取文本的上下文信息,结合注意力机制进一步提取文本信息,再通过softmax线性函数输出积极情感和消极情感的概率。结果表明,该方法在情感分析(NLPCC-SCDL)评测任务的中文数据集上取得了较好的分类效果。     

面向方面级情感分类与深度学习的分层网络模型

针对已有基于方面级别的情感分类通常只考虑独立的句子及关注每个句子的方面情感的问题,提出了一种基于方面情感分类的分层区域CNN-LSTM模型。与基于注意力机制LSTM和基于注意力机制CNN不同,通过分层关注机制将注意力集中在单词级别和句子级别上。采用一种新的基于分层CNN作为输入层,在整个评论中提取基于方面的长距离依赖特征,这种分层CNN和区域LSTM可以捕获与关注更深入更细粒度的信息,并且可以在预测过程中考虑句子内部和句子之间的关系。在多领域数据集上进行实验,结果表明,与仅使用单词向量基于方面情感分类的同类模型相比,所提出的模型性能更好。     

多特征融合与注意力机制的中文文本关系抽取

在中文关系抽取任务中,数据稀疏和噪声传播问题是其研究难点。基于此,提出了在文本特征组织方面融合位置特征、最短依存特征和N-gram特征等多元特征,并提升关键性特征的权重,以缓解传统词特征的数据稀疏问题。这种组合特征进一步改善了文本中噪声传播问题,提高了句法特征在稀疏性问题下的可靠性。此外,在传统的双向LSTM神经网络中加入注意力机制,使模型更关注较为重要的特征,降低噪声对抽取任务的影响。在人物关系公开语料集上进行实验,结果表明采用该方法进行中文文本关系抽取的效果较好,并为信息抽取、知识图谱等领域提供了方法支持。     

基于半监督卷积神经网络的文本情感分类

针对情感分析需要标注大量高质量的训练集来提高模型的准确率,以及卷积神经网络无法充分利用句子中特有的情感信息,提出了一种基于多通道半监督卷积神经网络的情感分析模型。该模型通过重构卷积神经网络的损失函数以及不改变网络的结构来实现模型的半监督学习。同时,模型针对情感分析任务中特有的情感信息来构建文本输入矩阵以及将句子不同特征信息结合形成不同的网络输入通道,使模型在训练过程中从多方面的特征表示来学习输入句子的情感信息。并在COAE 2014和IMDB数据集上进行试验,验证了所提出方法的有效性。     

基于注意力机制的HDC-BiGRU海表温度预测模型

海表温度（sea surface temperature,SST）是研究全球气候变化的重要地球物理参数,SST的精确预测对全球气候变化、海洋环境和渔业发展具有重要意义。为了提高SST的预测精度,基于时空特征的提取方法,本文提出具有注意力机制的HDC-BiGRU混合模型（HDC-BiGRU-AT,由编码器和解码器构成）,可以预测7天的SST。在模型编码阶段,混合空洞卷积（hybrid dilated convolution,HDC）能够提取SST的空间特征,双向门控循环神经网络（bidirectional gated recurrentunit,BiGRU）能够捕获SST的时序特征。通过加入注意力机制,对输出信息分配不同的权重（重要信息分配更高的权重系数）,进而实现信息编码,在解码阶段可以提高模型的预测精度。选取我国东海和南海海域的二维SST数据进行建模,实验结果表明,HDC-BiGRU-AT模型的误差指标值均低于已有的方法,充分验证了所提方法的可行性、有效性。     

一种基于依存句法图的中文实体关系抽取模型

针对中文关系抽取中的数据稀疏和数据噪声问题,提出了基于最短依存路径的图卷积神经网络(DSP-GCN)模型。在输入层使用BERT模型对文本进行表示学习,更好地表达文本的语义,减少文本噪声的产生和传播;对于长文本实体间距离较长而导致的梯度消失问题,使用句法依存图对模型进行改善,以提高模型的抽取效果。在SemEval 2010和人物关系语料集上进行了实体关系抽取实验,验证了所提出模型的有效性。     

基于CEEMD-BiGRU模型的徐州市大气污染物浓度预测

目前大气污染物对于地区经济以及人体健康的影响不容忽视。选取徐州市2016-01-01—2021-01-24大气污染物和气象要素数据,针对大气污染物浓度波动性强等特点,运用互补集成经验模态分解(CEEMD)将污染物数据分解为本征模态分量,提取出原始数据的各项特征,再对分解出的各本征模态分量构建双向门控循环单元模型(BiGRU),通过双向循环训练,学习各分量的特征趋势并获得最优训练参数,将输出结果重构,得到最终的预测值。结果表明:与BiGRU、BP模型相比,CEEMD-BiGRU模型预测各项大气污染物的平均绝对误差(MAE)、均方根误差(RMSE)和平均绝对百分比误差(MAPE)分别下降15%、20%和2百分点以上,预测精度有较大提升。在此基础上,利用CEEMD-BiGRU模型预测后一时间段残差,以修正原预测值,得到大气污染物预测区间上界,进一步扩展模型的适用性。     

基于双向门控循环单元的地表水氨氮预测

为提高水环境中NH4+-N的预测精度,提出了一种互补完全集合经验模式分解(CCEEMDAN)和双向门控循环单元(BiGRU)神经网络的混合预测模型(CCB).首先,通过CCEEMDAN将NH4+-N数据分解成一系列较为简单的模态成份;然后利用BiGRU神经网络对各成份进行预测,将所有分解成份的预测结果相加即可获得最终预...     

基于PCA-GRU-SVM模型的多参量煤矿瓦斯浓度预测及预警研究北大核心CSCD

煤矿瓦斯浓度精准预测及提早预警对于预防瓦斯灾害发生至关重要。为充分利用井下多传感器监测信息提升矿井瓦斯浓度预测及预警模型的性能,提出一种基于主成分分析(PCA)、门控循环单元(GRU)神经网络和支持向量机(SVM)组合的多参量瓦斯浓度预测及预警模型。针对监测数据的时序性、动态性和非线性强等特性问题,采用邻近均值法、小波降噪和归一化法对数据进行处理,利用PCA对数据降维以简化GRU模型拓扑结构,提高瓦斯浓度预测精度,通过构建基于SVM的矿井瓦斯浓度预警模型实现对矿井安全状态的实时动态监测。选取安徽某煤矿171105工作面的实测数据对PCA-GRU-SVM模型预测结果与性能进行验证。仿真结果表明：相对于PCA-LSTM、PCA-RF和PCA-BP模型,本文构建的预测模型的平均绝对误差(MAE)分别减少了18.45%、56.36%和87.3%,均方根误差(RMSE)分别减少了5.17%、9.04%和67.52%,预警模型的预测准确率为94.1%,说明该模型具有较高的拟合度和预测精度。该研究结果可为实现瓦斯灾害的预测及超前预警提供参考,对矿业安全生产具有重要意义。     

机器人对话中的情感倾向性分类模型研究

如何使机器人能够像普通人一样识别情感,有针对性地与人聊天是目前人工智能领域研究的核心问题。将情感识别任务看成一个分类问题,构建了两种分类模型,一是基于PCA-SVM的情感倾向性分类模型,有效地提取主要特征,从而转换到一个低维空间去处理数据,有利于提高分类效率和质量;二是基于LSTM的情感倾向性分类模型,利用Word2vec进行特征选择与组合,送入长短记忆神经网络(LSTM)进行特征表示学习,输出分类结果。实验表明,针对中小规模的评论语料数据,LSTM模型比SVM模型的分类效果更好。