人工智能(AI)技术的快速发展和广泛应用在带来便利和创新的同时,也引发了一个关键问题——不确定性。继研究解决了模型的不确定性表达问题后,汕头大学·香港中文大学联合汕头国际眼科中心陈浩宇教授团队在研究数据本身固有的随机性或噪声所带来的不确定性方面取得了新突破。
近日,陈浩宇教授团队的最新研究成果《Efficiency and Safety of Automated Label Cleaning on Multimodal Retinal Images》(多模态视网膜图像自动化标签清洗的有效性和安全性研究)在《npj Digital Medicine》(Nature子刊,影响因子12.4,中科院1区TOP期刊)上发表。这也是团队发表的第四篇关于医学人工智能不确定性的高分论文。
在医学图像的有监督学习过程中,专业医师标注的图像标签通常被当作金标准(Ground Truth),作为训练和评估模型的基准。然而,越来越多的研究者开始意识到,这些所谓的“金标准”并非完美无缺。它们可能包含漏诊、错诊以及标签不一致等噪声问题,这些问题的根源可能在于标注者的主观判断差异、复杂病例的诊断难度,或是标注过程中的人为失误。这些噪声不仅降低了数据集的整体质量,还可能对模型的训练和预测性能产生负面影响,导致模型学习到错误的特征和模式,进而影响其在实际临床应用中的准确性和可靠性。
随着人工智能技术在眼科领域的不断深入和广泛应用,数据集的规模和复杂性也在不断增加。高质量、准确标注的数据集对于训练出高性能的医学图像分析模型至关重要。然而,数据集质量与标签准确性的问题却变得愈发突出,成为制约人工智能在眼科领域进一步发展的瓶颈之一。在数据集迅速膨胀的背景下,传统的人工手动清洗和标注方法已经难以满足需求,不仅耗时耗力,而且难以保证一致性和准确性。因此,探索一种既高效又安全的自动化方法来清洗视网膜图像,提高数据集的质量和标签的准确性,显得尤为关键和迫切。这不仅能够为人工智能模型的训练提供更加可靠的数据基础,还能推动医学图像分析技术在眼科领域的创新和应用,为临床诊断和治疗提供更加精准的辅助支持。
视网膜疾病是常见的不可逆性致盲眼病,早期诊断和及时治疗对于防止患者视力丧失至关重要。在人群筛查和临床诊断中,眼底彩照(CFP)和光学相干断层扫描(OCT)是最常用的检查手段。数据是人工智能开发的基础。近年来,基于CFP和OCT的眼科人工智能技术迅速发展,这主要得益于高质量图像数据集的建立。但是,据报道,现存的主流公开数据集标签噪声可高达40%。然而,传统的图像标注和清洗过程不仅耗时费力,还不可避免地引入主观误差。因此,在不断增长的数据集清洗任务中,寻找一种客观的自动化图像标签清洗方法显得尤为重要。
为了探究通用开源框架Cleanlab在视网膜图像标签清洗的有效性和安全性,研究团队首先收集了CFP和OCT两种模态的多种常见病图像,经过标注后建立了多分类数据集。通过主动梯度引入噪声的伪标签策略,构建了多组多模态多分类视网膜图像噪声数据集。
将不同噪声梯度的数据集逐一输入到Cleanlab中,进行多轮无监督的标签问题检测与修正,并详细记录每轮标签清洗及数据迭代后的结果。经过六轮标签清洗,标签准确性显著提升了3.4-62.9%,数据集质量分数也大幅提高了5.1-74.4%,充分验证了标签清洗的有效性。
结果显示,该自动清洗方法能够正确更正绝大多数(96.6-97.5%)的伪标签,仅有极少数标签被遗漏(0.5-2.8%)或错误分类(0.4-10.6%),如下表所示。这一结果充分证明了该方法的有效性和低风险性。
随后,研究团队利用清洗前后的数据集分别对RETFound模型进行了微调,并在同一个独立测试集上对模型性能进行了比较。结果显示,使用清洗后的数据集进行微调的RETFound模型在分类准确性上提升了0.3-52.9%。这一结果充分证明了标签清洗对提高RETFound模型微调后分类性能的显著效果。
通知类别:汕医新闻 撰稿人:眼科中心 审核人:组织宣传统战部
粤ICP备10216025号 © 汕头大学医学院 | 地址:汕头市新陵路22号 | 515041 | 汕头大学医学院网络与信息中心开发