通讯作者: 李晓瑛, li.xiaoying@imicams.ac.cn

DOI：10.12201/bmr.202404.00002

Research on the Construction of a Question-Answer Corpus Dataset for Chinese Medical Knowledge Large Language Models

• 摘要：目的/意义 鉴于医学知识的专业性和复杂性，大语言模型在医学领域的问答任务效果不佳，所以需要定量评测大模型的回答效果以提高问答结果的准确性。构建中文医学知识问答语料数据集能够为医学垂域大模型提供标准化的评测基准，并以此改进大模型在处理中文医学问答任务中的准确率和效率。方法/过程 本研究构建了中文医学论文知识问答数据集、医学名词解释问答数据集和以中国执业医师考试真题（补充）为基础的问答数据集，并整理了相关开源数据集，用于评估大模型的医学知识覆盖范围、理解和生成能力。结果/结论 自主构建的中文医学知识问答语料数据集，丰富了现有中文医学问答语料的来源，能够作为一项标准化的评测基准，推动医学领域大模型实现客观全面的定量评估，今后将利用电子病历、在线健康社区等数据进行扩充，为健康中国战略的实施提供更坚实的AI支持。

  关键词： 大语言模型 语料数据集 模型评测; ; 

   

  Abstract: Purpose/Significance Given the specialized and complex nature of medical knowledge, the performance of large language models (LLMs) in medical question-answering tasks is unsatisfactory. Therefore, its essential to conduct quantitative assessments of these LLMs performance to enhance the accuracy of LLMs in responding to medical domain questions. This paper focuses on the construction of a Chinese medical knowledge corpus dataset to enhance the accuracy and efficiency of LLMs in handling Chinese medical questions, which aims to establish a standardized evaluation benchmark for LLMs in the medical domain. Method/Process This study developed Q&A datasets encompassing Chinese medical paper knowledge, medical terminology explanations, and supplementary questions acquired from the Chinese medical licensing examination, as well as open-source Chinese medical Q&A datasets. These datasets would be useful for evaluating LLMs medical knowledge coverage, comprehension, and generation capabilities. Result/Conclusion The Chinese medical Q&A corpus datasets enrich the sources of existing data sets and promote the objective and comprehensive quantitative evaluation of large models in the medical field. In the near future, additional data such as electronic medical records and those from online health communities will be utilized to expand this dataset. All the efforts will offer stronger AI support for the Healthy China strategy.

  Key words: Large language models; Corpus dataset; Model evaluation

  提交时间：2024-04-10

  版权声明：作者本人独立拥有该论文的版权，预印本系统仅拥有论文的永久保存权利。任何人未经允许不得重复使用。
• html

• 图表

• 施呈昊, 屠馨怡, 史佳伟, 陈红爽, 王琴潞, 邹海欧. 大语言模型在临床实践中应用的范围综述. 2024. doi: 10.12201/bmr.202406.00001

  牛宇翔, 葛珊衫, 王力华. 从传统NLP到大语言模型电子病历生成技术的探索与研究. 2024. doi: 10.12201/bmr.202412.00080

  王耀国, 唐诗诗, 刘泓泽, 安雨婷, 周毅. 基于本地大模型的骨质疏松专病数据库构建流程优化研究. 2024. doi: 10.12201/bmr.202410.00002

  马傲, 葛小玲. 人工智能大模型在医疗健康领域应用的研究. 2024. doi: 10.12201/bmr.202408.00039

  郑琰莉, 韩福海, 李舒玉, 苏文星. 人工智能大模型在医疗领域的应用现状与前景展望. 2023. doi: 10.12201/bmr.202312.00027

  李子昊, 陈漠沙, 马镇新, 尹康平, 童毅轩, 谭传奇, 郎珍珍, 汤步洲. 中文医疗因果关系抽取数据集 CMedCausal. 2022. doi: 10.12201/bmr.202211.00004

  谢甲琦, 李政. 基于预训练语言模型的公众健康问句分类. 2021. doi: 10.12201/bmr.202101.00017

  康一帅, 邵陈杰. 基于统一语言模型的中医文献问题生成算法. 2022. doi: 10.12201/bmr.202110.00044

  周旭, 窦川川, 彭咏梅, 刘海舟, 王艳萍, 吴勇奇, 朱卫丰. 循证医学专业英语语料库建设研究. 2020. doi: 10.12201/bmr.202005.00004

  吴欢, 何昆仑. 基于循证医学和电子病历数据的通用医学知识图谱构建. 2024. doi: 10.12201/bmr.202409.00027

• 序号	提交日期	编号	操作
  2	2023-10-29	10.12201/bmr.202404.00002V2	下载
  1	2023-10-29	10.12201/bmr.202404.00002V1	下载

• 公开评论  匿名评论  仅发给作者 提交评论