通讯作者: 朱卫国, zhuwg@pumch.cn

DOI：10.12201/bmr.202102.00004

Attention Mechanism And Dilated Convolution Neural Networks for Named Entity Recognition

• 摘要：命名实体识别是医学自然语言处理任务最基本和最重要的一步,基于词向量嵌入的模型性能极易受到分词效果的影响,而且现有模型大多使用循环神经网络,计算速度较慢,很难达到实际应用要求。针对上述问题,本文构建了一个基于多头注意力机制和膨胀卷积神经网络的命名实体识别模型,通过字嵌入和位置嵌入算法,减轻了模型对分词效果的依赖；使用膨胀卷积神经网络模型进行训练,能够更好理解语义信息并提高计算速度。同时设计实验,与双向长短时记忆网络模型等多种命名实体方法做对比,通过比较实验结果的F1分数,本文所提出的模型比BiLSTM 基线模型提高了3.42%,相较BiLSTM+CNN模型提高了2.66%,比 BiLSTM+Attention+CNN 模型提高了2.04%,实验表明该文提出的模型取得了更好的命名实体识别效果。

  关键词： 命名实体识别; 膨胀卷积神经网络; 字嵌入; 自然语言处理

   

  Abstract: Named entity recognition is the most basic and important step of medical natural language processing task. The performance of the model based on word vector embedding is easily affected by the effect of word segmentation. Moreover, most of the existing models use recurrent neural network, which has slow calculation speed and is difficult to meet the requirements of practical application.To solve the above problems, this paper constructs a named entity recognition model based on multi attention mechanism and expansion convolution neural network, which reduces the dependence of the model on word segmentation effect through word embedding and position embedding algorithm; using expansion convolution neural network model for training can better understand the semantic information and improve the calculation speed. At the same time, experiments were designed to compare the results with other named entity methods, such as bi-directional long-term and short-term memory network model. By comparing the F1 scores of experimental results, the proposed model improved by 3.42% compared with bilstm baseline model, 2.66% compared with bilstm + CNN model, and 2.66% compared with bilstm + attention + CNN model The model is improved by 2.04%. Experiments show that the proposed model achieves better named entity recognition effect.

  Key words: Named Entity Recognition; Dilated Convolution Neural Networks; Word embedding; NLP

  提交时间：2021-03-09

  版权声明：作者本人独立拥有该论文的版权，预印本系统仅拥有论文的永久保存权利。任何人未经允许不得重复使用。
• html

• 图表

• 武学鸿, 杨峰, 李建华, 徐倩. 融合词向量及词属性推理的中文电子病历实体识别方法. 2021. doi: 10.12201/bmr.202109.00016

  张春阳, 胡宏伟. 基于神经网络的老年护理人员工作能力预测机制研究 ——职业化发展视域. 2021. doi: 10.12201/bmr.202104.00022

  庞震, 顾继昱, 吴宇飞, 颜仕星, 李汪洋, 孙越. 一种基于三元组抽取策略解决中医诊治高血压医疗实体提取问题的研究. 2021. doi: 10.12201/bmr.202107.00015

  李晓瑛, 蔡妙芝, 李军莲, 任慧玲, 冀玉静, 邓盼盼, 夏光辉. 面向文献组织的新冠肺炎知识图谱构建研究. 2020. doi: 10.12201/bmr.202010.00840

  杜雪杰, 葛辉. 基于BP神经网络方法构建手足口病预测预警模型设计研究. 2021. doi: 10.12201/bmr.202102.00002

  郭哲韬, 石文丽, 杨涛. 基于语音识别的中医临床诊疗智能语音助理的设计与实现. 2021. doi: 10.12201/bmr.202110.00013

  朱笑笑, 钱爱兵. 基于百度指数的乳腺癌防治健康信息网络关注特征分析. 2020. doi: 10.12201/bmr.201906.00001

  郭一, 江涛, 胡盈盈, 唐光明. 基层医疗卫生机构补偿机制改革绩效考核信息系统设计实践. 2020. doi: 10.12201/bmr.201909.00001

  芦欣怡, 王亚东. 医疗卫生行业综合监管制度体系构建——基于扎根理论的质性分析. 2021. doi: 10.12201/bmr.201910.00001

  陈玲, 张红伟, 王春梅. 现代公共文化服务视角的医学智慧图书馆建设研究. 2020. doi: 10.12201/bmr.201911.00001

• 序号	提交日期	编号	操作
  1	2021-02-17	bmr.202102.00004V1	下载

• 公开评论  匿名评论  仅发给作者 提交评论