microsoft推出用于病理学分析的gigapath ai视觉模型-ag凯发k8国际

microsoft推出了 gigapath，这是一种视觉转换器模型 （vit），旨在解决数字病理学的复杂性。该模型是与普罗维登斯卫生系统和华盛顿大学合作开发的，有望使用先进的计算方法增强全玻片病理学分析。

gigapath 通过采用扩张的自我注意力机制来满足十亿像素载玻片（比典型载玻片大得多的图像）的计算需求。这种技术使模型能够处理分析此类大型图像所需的大量计算。数字病理学通常涉及将传统载玻片转换为数字图像，从而促进改进的观察、分析和存储。

协作开发与培训

gigapath 的开发是microsoft、普罗维登斯卫生系统和华盛顿大学合作的结果。prov-gigapath 是一种开放获取的全玻片病理学基础模型。它使用真实世界的数据，在来自超过 170,000 张完整载玻片的 10 亿个 256 x 256 病理学图像图块上进行了预训练。所有计算均在普罗维登斯的私人租户进行，并得到普罗维登斯机构审查委员会（irb）的批准。

gigapath的培训过程包括两个阶段的课程学习方法。它从使用 meta 的自监督视觉转换器 model dinov2 进行图块级预训练开始，然后使用掩码自动编码器和 longnet 进行幻灯片级预训练。dinov2 自监督方法结合了掩蔽重建损失和对比损失来训练视觉转换器。longnet 的扩张注意力适用于幻灯片级建模，将图块序列分割成可管理的部分，并为较长的片段实现稀疏注意力。

性能指标和应用程序

gigapath表现出了卓越的性能，在与癌症亚型和病理组学相关的26项任务中，有18项超过了第二好的模型。癌症亚型涉及使用病理切片对特定亚型进行分类，而病理组学任务则根据治疗上重要的遗传改变对肿瘤进行分类。与其他方法相比，prov-gigapath在auroc和auprc方面表现出卓越的性能，特别是在泛癌场景中。

使用来自癌症基因组图谱计划（tcga）的数据进一步验证了该模型的功效，该模型的性能始终优于其他方法。gigapath能够在整个载玻片水平上提取遗传相关的泛癌和亚型特异性形态特征，这突显了其未来研究肿瘤微环境复杂生物学的潜力。

microsoft在生成式人工智能方面的进步在gigapath的发展中发挥了至关重要的作用。将肿瘤组织的标准显微镜载玻片转换为高分辨率数字图像的过程现在已被广泛使用。在发表在《自然》杂志上的一项研究中，gigapath背后的研究人员详细介绍了该工具分析病理图像的各种应用。研究发现，gigapath改善了九种主要癌症类型的癌症亚型，并在亚型任务上优于所有竞争方法。

精准医疗的里程碑

gigapath将有利于精准医疗，精准医疗专注于通过考虑个体的特定基因组组成和特征来了解疾病的治疗和预防。随着数十亿美元在精准医疗领域的投资，该领域的研究正在迅速推进，证明了该行业的价值。

尽管gigapath具有广阔的潜力，但将该技术集成到临床环境中并将其扩展到相关环境的旅程才刚刚开始。创新者和行业领导者必须以应对嵌入这项技术的挑战，以保护准确的医疗保健结果、隐私和道德使用原则。如果操作得当，gigapath可能会对数字病理学领域产生重大影响。