BT-Unet:生物医学图像分割的自监督学习框架

BT-Unet采用Barlow twin方法对U-Net模型的编码器进行无监督的预训练减少冗余信息,以学习数据表示。之后,对完整网络进行微调以执行实际的分割。

成都创新互联是创新、创意、研发型一体的综合型网站建设公司,自成立以来公司不断探索创新,始终坚持为客户提供满意周到的服务,在本地打下了良好的口碑,在过去的十余年时间我们累计服务了上千家以及全国政企客户,如成都办公窗帘等企业单位,完善的项目管理流程,严格把控项目进度与质量监控加上过硬的技术实力获得客户的一致称赞。

BT-Unet由 Indian Institute of Information Technology Allahabad开发,发布在2022年的JML上。

BT-Unet

BT-Unet架构图:a、预训练U-Net编码器网络,b、用预训练的编码器权值初始化的微调U-Net模型

BT-Unet框架分为两个阶段:1)预训练阶段和2)微调阶段。

预训练

预训练的目的是使用无注释的数据样本,学习复杂的特征表示。U-Net模型的编码器使用Barlow Twins (BT)策略进行预先训练,然后进行微调以执行实际的分割:

BT-Unet框架可应用于各种先进的U-Net模型:经典U-Net、注意力U-Net (A-Unet)、inception U-Net (I-Unet)和residual cross-spatial attention guided inception  U-Net (RCA-IUnet)。

微调

U-Net 模型中编码器网络的权重使用预训练权重(来自第一阶段)进行初始化,而网络的其余部分使用默认权重进行初始化。

使用有限的注释样本对 U-Net 模型进行微调,用于生物医学图像分割。

U-Net 模型使用分段损失函数进行微调,L 定义为二元交叉熵损失、LBC 和dice coefficient损失的平均值,LDC:

其中,y为像素的真值标签,p(y)为像素的预测标签,N为像素的总数量。

结果表现

论文使用下面的数据集进行评测对比:

基于相同样本数量的小训练集的性能分析

  • KDSB18:BTU-Net 模型的性能优于没有使用 BT方法 的模型。
  • BUSIS:U-Net 和 A-Unet 模型无法学习和提取有关肿瘤区域的特征图(精度、DC 和 mIoU 为 0),但是通过预训练,这些模型取得了显着的改进。在 I-Unet 和 RCAIUnet 模型的情况下,通过预训练可以得到相当大的改进。
  • ISIC18:I-Unet 和 RCAIUnet 模型是影响最大的网络,精度分别提高了 5.1% 和 2.2%。然而,在使用 BT 预训练时,经典的U-Net 和 A-Unet 的性能略有下降。
  • BraTS18:I-Unet 和 RCA-IUnet 模型在使用 BT-Unet 框架时在分割性能上取得了显着提升,而普通 U-Net 和 A-Unet 模型则没有观察到相同的行为。

在不同规模小型训练集的性能研究

对于所有训练数据比例小于50%的数据集,在模型之间观察到类似的性能变化。

定性结果

带有BT的RCA-IUNet具有很好的分割效果。

当前名称:BT-Unet:生物医学图像分割的自监督学习框架
文章来源:http://www.36103.cn/qtweb/news34/37234.html

网站建设、网络推广公司-创新互联,是专注品牌与效果的网站制作,网络营销seo公司;服务项目有等

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联