上科大信息学院虞晶怡教授、张玉瑶教授科研团队近期在医学核磁共振图像超分辨率重建研究以及医学图像建模领域取得重要进展。相关成果被第24届国际医学图像计算和计算机辅助干预会议和第30届国际人工智能联合会议接收。
基于隐式神经表示的图像超分辨重建方法
超高分辨率的医学核磁共振图像提供了丰富的结构细节，有助于提高早期诊断中的准确率。然而在医学核磁共振成像过程中，不可预测的病人运动将导致难以在一次扫描中采集到亚毫米级的无伪影的超高分辨率图像。因此，在实际采集过程中，通常通过在不同方向上采集到多个非各向同性的低分辨率图像以降低扫描时间，从而缓解运动伪影问题，最后利用图像超分辨率技术来提高其分辨率。然而，现存的超分辨率方法通常需要大量真实高清的核磁共振图像作为训练数据，且其仅可以做某一固定倍数的图像超分辨重建。
对此，张玉瑶教授课题组提出了一种基于隐式神经表示的医学核磁共振图像超分辨率重建方法。该工作舍弃了传统的卷积神经网络架构，采用隐式神经表示（即基于坐标的全连接神经网络）去拟合待重建的超高分辨率医学核磁共振图像。具体来说，待重建的超高分辨图像被视为一个三维空间坐标的连续体函数，而采集到的非各向同性低分辨率图像则为这个连续体函数的稀疏离散采样。进而，超分辨率重建任务便是从低分辨率输入图像中学习超分辨率图像的连续函数。该方法具有两点重要优势：一是该方法不需要真实的高清图像作为训练数据；二是理论上可以重建出任意分辨率的超高分辨率图像。
基于真实采集环境中的实验结果（如图1所示）可以看出，相对于SRR和B样条插值重建方法，该方法获得了更清晰的无伪影重建图像。此外，相比直接采集的真实高清高分辨率图像，该方法的重建结果在达到了同等图像细节的同时，提高了图像新信噪比。因此相较于直接扫描成像高清高分辨率图像，该重建方法是一种更有效的方式。
该成果相关论文以“IREM: A novel Image Scanning strategy for achieving High-resolution Magnetic Resonance (MR) Image via Implicit Neural Representation”为题被第24届国际医学图像计算和计算机辅助干预会议接收。
上述科研成果由上海科技大学、上海交通大学、张江实验室等单位协作完成，上海科技大学信息学院2020级硕士研究生吴晴为第一作者，虞晶怡、张玉瑶为共同通信作者。
图1. 基于真实采集数据的实验结果。从上到下，从左到右分别为：基于冠状面（Coronal plane）、横断面（Axial plane）、矢状面（Sagittal plane）采集的非各向同性的低清图像；真实的高清高分辨率参考图像；该工作提出的IREM方法的重建结果；SRR方法重建结果；B样条插值重建结果。
全新的手部骨骼参数模型
手的建模对于沉浸式虚拟现实（VR） /增强现实（ AR）、动作理解和医疗保健至关重要。现有的参数模型仅考虑手的形状、姿势或纹理，而没有对诸如骨骼、肌肉和肌腱的解剖属性进行建模。但是这种高精度的手部解剖学属性建模，对于进行复杂的手部运动分析以及实现精确逼真的虚拟手建模来说是非常重要的。考虑到磁共振（MRI）等成像方式在临床上经常被用来诊断和治疗手部疾病，可利用核磁共振对手部不同动作进行成像，进而实现对手内部解剖信息的建模。
对此，虞晶怡课题组与张玉瑶课题组展开合作，使用临床3T核磁设备和简化的倒模程序采集了高质量的大规模MRI手部三维影像数据集。该数据集包括35个对象的共200个3D核磁图像，共覆盖50个不同的手部动作，并且包括骨骼分割和关节点的标注结果。根据该数据集，他们还提出了第一个从MRI数据得到的手骨参数模型，称为PIANO。该模型可以对不同个体的手运动结构进行解剖学和物理上的精确建模（图3）。PIANO模型保证了正确的手部解剖结构，易于动画制作。与仅基于外表面的传统手部模型相比，PIANO以数据驱动的方式实现了对手的骨骼更加精确地建模。此外，模型还可以作为一个网络层应用于深度学习，以进行基于细粒度语义损失方程的训练。从而开启了从MRI甚至RGB图像中进行精细化手骨骼解剖结构语义理解的新任务。
该成果相关论文以“PIANO: A Parametric Hand Bone Model from Magnetic Resonance Imaging”为题被第30届国际人工智能联合会议接收。上海科技大学信息学院18级博士生李玉玮为第一作者，信息学院虞晶怡教授为通讯作者。
图2. 数据采集过程和数据集样本。左：核磁设备和参与者。中：MRI原始切片。右：数据集样本。从上到下依次是MRI，骨骼分割结果和有25个关节点标注。
图3. PIANO模型以及从MRI和RGB图像中细粒度的手骨解剖学和语义理解的应用示例。PIANO模型可对不同个体的手部运动结构进行解剖学和物理上的精确建模，从而开启了从MRI甚至RGB图像中进行细粒度手骨骼解剖结构语义理解的新任务。
国际医学图像计算和计算机辅助干预会议（International Conference on Medical Image Computing and Computer Assisted Intervention， MICCAI）是跨医学影像计算(MIC)和计算机辅助介入 (CAI) 两个领域的综合性学术会议，是医学领域的顶级会议。国际人工智能联合会议（International Joint Conference on Artificial Intelligence， IJCAI）是人工智能领域最重要的学术会议之一， 也是中国计算机协会推荐A类国际会议。