医疗命名实体识别论文解读

发布于 1 天前  9 次阅读


思维导图

本篇文章为解读导师发给我的一篇学姐的论文,目标是能读懂这篇文章中用到的结构和方法,做到读完之后能调通文章的代码。

创新点:

本文研究了基于深度学习的医学命名实体识别方法,针对中文医学文本中存在的专业术语多样性和长实体识别两大挑战,提出了两种创新模型。首先,为应对专业术语导致的识别难题,文中提出了一种增强边界信息的模型,通过在BERT预训练模型底层融合医学领域词典信息,并引入实体边界预测辅助模块,以提升模型对专有名词的识别能力。其次,针对长实体识别效果不佳的问题,设计了一种双位置编码注意力模型,通过同时考虑字符间的绝对位置和相对位置信息,有效提升了模型对长实体的识别精度。实验结果在多个医学数据集上验证了模型的有效性,尤其在长实体识别上表现出显著优势,F1值较基线模型有了显著提升。这些研究成果有望加速智慧医疗的发展,促进医疗现代化进程。

   Q:在中文医学文本中 专业术语多样 导致识别效果不佳通过 增强实体边界 来加强对专有名词的识别该模型从隐形和显性两方面增强边界信息:

  1. 一是引入外部医学领域词典信息,增强模型对词语边界的学习能力,隐性增强词汇边界特征;
  2. 二是增加实体边界预测辅助模块,通过两个双向循环门控单元(GRU)来分别预测实体的头和尾,显性增强实体的边界信息

增强边界信息后实验表明增加了识别的准确率,如在CCKS2020数据集上识别精度F1值相比基线模型提升了2.08%,在CHIP2020数据集上F1值达到了62.98%,在自建乳腺癌超声数据集上F1值达到了97.39%。

        Q:中文医学文本中通常存在较多的长实体,现有深度学习模型对长实体识别效果不好。

提出了一种双位置编码注意力模型。通过在自注意力计算之前添加绝对位置编码以区分不同位置字符,且在注意力计算过程中引入相对位置编码以获取字符之间的相对位置和方向信息,(绝对位置编码只能区分每个输入的字符,不能得到这些字符间的相对位置关系)从而实现将两种位置编码与输入文本的语义信息进行深度交互,增强上下文特征的提取能力,提升模型识别命名实体的准确率。实验结果表明该模型在CCKS2020数据集上取得的精确率、召回率和F1值都提高了;同时,在长实体占比较大的疾病与诊断实体和手术实体上,相比于基线模型,F1值也分别获得了提升。另外,对于通用领域文本,该模型也有优秀的识别性能,如在Resume数据集的精确率、召回率和F1值也提高了。

模型结构

届ける言葉を今は育ててる
最后更新于 2024-09-18