神经网络利用基于物理的计算来实现更快 更清晰的图像恢复

导读 荧光显微镜使研究人员能够研究复杂生物样品中的特定结构。然而,使用荧光探针创建的图像存在模糊和背景噪声。NIBIB 研究人员及其合作者的

荧光显微镜使研究人员能够研究复杂生物样品中的特定结构。然而,使用荧光探针创建的图像存在模糊和背景噪声。NIBIB 研究人员及其合作者的最新工作介绍了几种新颖的图像恢复策略,这些策略可以创建清晰的图像,同时显着减少处理时间和计算能力。该研究发表在《自然方法》上。

现代图像处理的基石是使用人工智能,最显着的是使用深度学习来消除图像中的模糊和背景噪声的神经网络。基本策略是教深度学习网络预测没有模糊和噪声的模糊、嘈杂的图像会是什么样子。必须训练网络使用同一图像的清晰和模糊版本对的大型数据集来执行此操作。使用神经网络的一个重要障碍是创建大型训练数据集所需的时间和费用。

清除脑组织板(大约 1.4 × 2.3 × 0.5 mm3)的 3D 渲染在用 0.7/0.7 NA 清除组织 diSPIM 获得的轴突中表达 tdTomato,比较原始单视图、双视图联合反卷积和 RLN 预测。RLN 预测提高了相对于原始输入的图像分辨率和对比度。联合反卷积输出会导致伪影,并且相对于原始输入和 RLN 预测显示更少的神经突,这可能是由于两个原始视图之间的配准失败。学分:自然方法(2022)。DOI: 10.1038/s41592-022-01652-7

在使用神经网络之前,使用方程对图像进行清理(称为反卷积)。Richardson-Lucy 反卷积 (RLD) 采用一个方程,该方程利用显微镜引入的模糊知识来清除图像。图像通过方程反复处理以进一步改进它。方程的每一次通过都称为一次迭代,需要多次迭代才能创建清晰的图像。通过多次迭代运行图像所需的资源和时间是 RLD 方法的主要缺点。

RLD 被认为是物理驱动的,因为它描述了导致图像模糊和噪声的物理特性。据说神经网络是数据驱动的,因为它们必须查看大量图像(数据)才能了解什么构成了模糊或清晰的图像。NIBIB 团队试图通过组合每种方法来利用它们的优点并减轻它们的缺点。结果是一个也使用 RLD的神经网络——Richardson-Lucy 网络 (RLN)。