“看图说话”，基于皮肤疾病图片，以人工智能技术输出标准化的皮损文字描述，不仅可以极大提高诊治效率，而且可为健康大数据研究提供基础资源。

　　近日，北京大学第一医院皮肤性病科李航教授团队与北京大学软件工程国家工程研究中心黄雨研究员团队，联合研发了皮肤镜图像描述与诊断自动生成系统，并取得初步成果。

　　研究成果以原创性论文形式发表在信息融合方向的国际权威期刊《Information Fusion》（IF：17.564），题为“Vision-knowledge fusion model for multi-domain medical report generation（多领域医学报告生成的视觉-知识融合模型）”。论文作者还包括北京大学计算机学院金芝教授、北京大学第一医院皮肤性病科冉梦龙副主任医师，北京大学软件工程国家工程研究中心研究生徐德轩。研究得到了国家重点研究计划和北京大学-百度基金的支持。

　　基于知识图谱的医学报告生成是医疗领域中的一项重要任务。虽然现在有许多医学知识图谱，但是大部分知识图谱的语义信息不足，因此难以统一提取和融合不同疾病的专家知识。合作团队在研发基于皮肤镜图像的自动医学报告系统时，综合考虑了以下几个方面：

　　●有效利用特定疾病的先验知识。医生撰写报告的经验来自对医学图像和疾病诊断报告的广泛阅读。如果模型可以组织和利用专业医生积累的先验知识，则可以生成更可信的报告，并且更易于解释。

　　●可靠的视觉-知识融合方法。有效地整合视觉特征和知识是模型的关键，可靠的视觉-知识融合方法可以引导模型关注图像中最关键的区域，从而生成准确的报告。

　　●具备更多的泛化性，可为多个领域生成报告。不同类型的医学图像的形态特征和描述可能完全不同。即使皮肤病不同病种也有不同的数据特点，用于报告的语言也可以产生很大的差异，不同的语言带来不同的描述方式和不同的词汇丰富程度。泛化性才能带来更大的推广性。

　　●合理的评估指标。医学报告往往更长、更结构化，详细描述图像中每个身体部位，需要更合理的评估指标来评估医学报告生成的结果，进行模型评价。

　　基于以上考虑，合作团队提出了一种基于医疗图像和知识图谱的视觉-知识融合模型，以充分利用来自不同疾病和语言的高质量数据。团队提出了一种通用模型方法，根据医疗标准自动构建每个领域的知识图谱，利用医生积累的先验知识，设计了一种基于知识的注意机制，以有效地融合图像和知识，引导模型在具有先验知识的情况下关注图像中的关键信息；构建了一个三元组恢复模块，以获取细粒度知识，并首次提出了基于知识的模型评估指标，该指标可以从不同维度基于知识图谱衡量报告的相似性；最后，团队对两个不同疾病数据集进行验证，证实了模型的有效性，开发了中文皮肤镜检报告的NCRC-DS数据，并在数据集上取得了优异的评价分数。

模型整体架构示意图。

该模型由两个阶段组成。第一阶段通过构建先验知识图和多标签分类预训练进行模型构建，第二阶段完成三元组重塑和报告生成。

模型效果示意图。

从左到右依次为临床报告、基线方法、本研究方法得到的结果。可以看到本方法得到的报告包括了更多的关键实体，更接近真实的临床报告。

　　总之，这一项研究让皮肤镜影像报告描述生成技术的可解释性和临床实用性得到验证，提出的方法可以推广应用于不同疾病领域。它是北京大学医工协作的成功范例之一，合作促进了医学与工程团队的了解与融合，为后续开展深度研究奠定了基础和模式。

　　论文链接：

　　Vision-knowledge fusion model for multi-domain medical report generation - ScienceDirect

　　（皮肤性病科）