基于知识注入的燃气知识双向变换器模型

为提高燃气管网领域的应急管理水平,提出燃气知识双向变换器（Gas-kBERT）模型。该模型结合聊天生成预训练转换器（ChatGPT）扩充的燃气管网领域数据,以及构建的中文燃气语言理解-三元组（CGLU-Spo）和相关语料库,通过改变模型的掩码（MASK）机制,成功将领域知识注入模型中。考虑到燃气管网领域的专业性和特殊性,Gas-kBERT在不同规模和内容的语料库上进行预训练,并在燃气管网领域的命名实体识别和分类任务上进行微调。结果表明：与通用的双向变换器（BERT）模型相比,Gas-kBERT在燃气管网领域的文本挖掘任务中F₁值表现出显著的提升。在命名实体识别任务中,F₁值提高29.55%;在文本分类任务中,F₁值提升高达83.33%。由此证明GaskBERT模型在燃气管网领域的文本挖掘任务中具有出色的表现。