北京协和医院陆菁菁：盆腔器官分割和建模的尝试与挑战 | ISICDM 2018

近日，第二届图像计算与数字医学国际研讨会（ISICDM 2018）在成都圆满落幕。

本次大会由国际数字医学会主办，电子科技大学信息与通信工程学院承办，第三军医大学、中国科学院深圳先进技术研究院、数学图像联盟协办。

中国解剖学会理事长、国际数字医学会主席、中华医学会数字医学分会主任委员、第三军医大学张绍祥教授（少将）担任本次大会的名誉主席，大会主席分别由美国罗格斯大学Dimitris N. Metaxas教授、广东省人民医院影像医学部主任兼放射科主任梁长虹和南方医科大学方驰华教授担任。

电子科技大学李纯明教授作为ISICDM会议的发起人和程序主席，负责论坛形式、议程、报告主题的设计与专家邀请工作。

在大会第二天的 “医生谈临床需求与挑战”专场，北京协和医院陆菁菁教授应李纯明教授邀请，向与会者分享了题为《盆腔器官分割和建模的尝试与挑战》的精彩专题报告。

陆菁菁教授与大会程序主席李纯明教授

陆菁菁教授毕业于北京协和医学院，后进入北京协和医院放射科工作，历经住院医、住院总、主治医、副主任医，现为主任医师、硕士生导师，2010年5月至2011年5月为哈佛医学院麻省总医院访问学者。

以下为陆菁菁教授的演讲内容，雷锋网AI掘金志经授权，作了不改变原意的编辑：

陆菁菁教授首先介绍了男性和女性的盆腔结构，她认为，复杂的人体盆腔结构有着巨大的可变性，也带来了千变万化的临床问题，临床诊断和治疗方案的量身定制就变得很重要。

对于盆腔，目前医院里主流的影像学检查主要包括超声、CT和核磁，其中，最常见的是超声。虽然超声科的超声检查很方便也很常见，但是它给出的报告却因操作者而异，而且不够直观。相比之下，放射科的CT和磁共振图像就很直观，比如，CT会根据组织密度的不同来成像，骨头就是白的，像低密度的水、尿液和脂肪等就是黑的，但是CT对于盆腔软组织、比如子宫的密度都很接近，显示不清楚，而磁共振就很好地解决了这个问题，能够看清楚很多器官和组织，比如上图明亮的卵巢囊肿和分三层结构的子宫，这一特点决定了磁共振在盆腔检查里有很好的适用性。

核磁共振的原理很复杂，但是也可以用几句话简单来说明一下：磁共振没有电离辐射伤害，是一种很好的检查。它发出的射频脉冲是一个波长非常长的电磁波，经过人体的组织，质子经过激励以后，会能级跃迁到一个新的状态，经过三维梯度场的转换后发出信号，再被接收线圈接收以后，通过计算机进行一个变换、其中包括傅里叶变换、模数转化等，来形成一个数字化的图像。

通常，我们在临床上采集的经典图像方位是横轴位，矢状位和冠状位。最常用的是横轴位图像。

在磁共振领域，还需要了解的一个概念是T1加权像和T2加权像。所谓T1和T2加权像，简单来说就是质子经过激励以后会产生一个纵向弛豫和横向弛豫，通过两个弛豫特征的加权来提取组织不同的特点。比如说T1加权像上的尿液是“黑”的，而在T2加权像上是“白”的。为了便于科普，可以用“一青二白”来简单的概括，就是说水在T1加权像是“青”的，T2加权像是“白”的。

上图就是一个横轴位图像，我们能看到骨头，能看到双侧卵巢，能看见卵泡，它是最常用的。中间的这个图像是矢状位，和之前看的解剖图一样，能看见子宫内膜、结合带、肌层和浆膜、宫颈，这张图是女性盆腔里大家最愿意看到的一张图。它最直观，如果患者长了肌瘤和畸形，都可以看得特别清楚。后面这个是冠状位，主要作为参考，这个图像上能看到卵巢相对位置等等一般观察女性盆腔，主要使用的是横轴位图像和矢状位图像。

做盆腔扫描的时候，一般一个序列会有二十多个层面图像，每个层面间隔是五毫米，相互之间有时候会出现容积效应，而且因为不是等像素各项同性采集，在做图像处理的时候会产生一些问题，但是可以有办法去解决。

所以放射科医生是怎么读片？就是一层一层地观察图像。举个例子，这是一个T2加权像序列，可以看到膀胱，尿液是亮的，然后能看到子宫，然后能看到双侧卵巢，接着是宫颈，宫颈再往下一层一层延续下去就是阴道。

放射科大夫首先要了解正常的结构，先知道正常是什么样，然后出现一个异常改变的时候就会很敏感的发现病灶所在。

深度学习或者说AI能做的最简单的任务就是能帮助大夫识别这些结构。人体有639块肌肉，如果不是相关领域的专家，一般医生很难全部都分清楚哪块是哪块，所以基于深度学习的盆腔结构语义分割就可以去尝试一下。

陆菁菁教授所在的团队首先从简单的肌肉骨骼结构分割开始做起，事先评价了该任务可能会遇到的挑战：比如形状多变、不同结构信号相似度高和缺少标注数据等问题。

在数据标注环节，第一例陆菁菁教授花了一个星期的时间，一有时间就去标，后面的速度就稍微快一点，再加上团队成员一起标注，做了15例标注以后就开始训练算法，然后再进行结构自动语义分割的尝试。

训练数据时使用的FCN（全卷积神经网络）算法，即使有了强大的数据增强功能，FCN也只能粗略地描述结构的轮廓。团队随后提出了一种用于复杂盆腔结构分割的注意力-金字塔网络，并采用了一种图像变形的数据增强策略，能够把只有十几张和几十张图像扩充到几万张，让标注样本更加有效。

实验结果表明，APNet效率是最高的，对细节的把握度也是最好的，也就是说，团队使用这个算法去把常规的盆腔图像输入进去，就已经能够自动识别肌肉和骨骼结构了，这已经对放射科大夫有了很大帮助，如果更进一步，把全身639块肌肉认全，真正接地气的应用也许就会出现。

总的来说，从分割算法的角度，根据不同的挑战，采取不同的策略来进行算法的修正，才能达到很好的效果。

这个是学生做的自动分割和手动分割的图像，当然还是很初步的工作。

对肌肉的体积测量，也可以使用自动的方法，和人工测量的金标准是非常接近的。总的来说，虽然有些细节可能还没有手动分割的那么精准，但是将来可以再做的更好。

从医学展望的角度看，肌肉结构的自动识别可以提高医生的工作效率，另外肌肉的定量测量可以做一些肌肉萎缩性疾病的评价和监测，比如肌少症。在老龄化的大背景下，监测老年人的肌少症可以改善患者的生活质量，这个还可以对患者以前做过的盆腔核磁或者是某个部位的核磁来进行动态的监察，不需要再去专门的为患者肌肉体积的测量来做额外CT的检查或者是其他的检查。另外盆腔结构的自动分割和建模可以作为盆底功能障碍、盆腔径线测量和手术计划拟定的一个基础性的建设。

陆菁菁教授团队也比较了一些既往的研究，比如这篇14年发表在JMRI的文章，文章着重研究了肌群而不是单块肌肉，使用的是水脂分离的磁共振特殊扫描技术，算法则是非深度学习算法的Multi-atlas算法。

2011年在MRI杂志上发表的这个研究，做了横截面的图像，尝试分割了不同的大腿肌肉，也没有使用深度学习的算法，而使用的是特征提取的算法。

这是2017年Medical physics上的一篇文章，它做了全身的大量器官的自动识别和分割，并且通过三种算法的比较，得出结论说CNN是最好的一种算法，分割效率相对最高。

文章把人体器官分成几大类，比如说左肺，右肺，肝脏和肾脏等等，还计算一下它们的符合度和相似度，并且总结了算法的相对优势和劣势，值得学习和借鉴。

还有，这篇2018年的文章利用了深度卷积神经网络这种比较先进的算法，而且也是比较有实用性的一篇文章。

它利用了不是很大的样本量来达到很多结构的这些识别，比如股骨、股骨的软骨、胫骨和髌骨、甚至是肌腱和韧带等等。

当然还有其他各种挑战，比如克服器官变形和图像伪影的挑战，这些可以个人通过经验提前看出来，但是机器可能需要较大量的样本图像去训练它，机器才能学习到。

还有就是器官的三维重建。

这是陆菁菁教授和妇产科团队合作，应用3D打印技术手术前诊断女性生殖道畸形的一例报告。模型是手动一层一层的画出来，勾画平滑以后，通过结合3D打印技术做出来的。

这是学生的初级工作，在子宫畸形上，开创性地运用不同的颜色去标示不同的结构，包括骨盆、子宫等等等等，能实现但是太费劲。

那么能不能做自动分割和重建呢，后来团队做了识别以后就做了一个简单初级的三维重建。

三维重建的意义是什么呢？其实妇产科的大夫不愿看核磁的图像，更愿意直接去手术，如果是有一个三维模型的话，他的接受度就会提高。

自动分割和三维重建在直肠和膀胱这些变形度较高的结构图像上都有比较大的需求。

最后一个比较大的需求就是多模态图像的融合和三维显示。

比如这个患者的核磁图像，有深部内异症导致卵巢的粘连、宫颈后壁和直肠前壁出现粘连带，要用很复杂的语言才能解释清楚，来指导腹腔镜的手术。但要是跟妇科大夫去讲磁共振图像，妇科大夫接受度是比较低的。

团队尝试了图像勾画和阴道内打药，然后在三维图像上直观显示出了病灶的位置。

并且病灶往往位于多个地方，比如不光是在宫颈发，有可能在卵巢，用一个三维的显示方法，让多个病灶同时发生在不同的位置和不同的形态得以立体展示，能够更好的告诉我们的妇产科大夫。

还有就是核磁图像虽然能显示子宫、宫颈和韧带，但很难看清楚子宫的动脉，很难看清楚坐骨结节，但是CT能看清楚，所以团队把这两个模态又融合起来，能够相互参考，但是目前展现效果还需要进一步提高。

在将来，可以通过更加复杂多模态图像融合和三维显示将患者多模态影像信息数字化，患者所有的信息都在里面，这样对临床大夫也好、对影像科大夫也好，都可以很直观、便捷地去提取这个信息。

谢谢大家。

作为全程参加完三天大会的医生嘉宾，陆教授除了在“医生谈例临床需求与挑战”专场作了深度报告外，还在“医工交流会”专场担任分享嘉宾，向台下的工科人展示了她们团队当下需要解决的宫颈区域分割难题和CT、fMRI数据融合问题。会场气氛十分活跃，众多工科学者和业者向陆菁菁教授讲述了他们的解决方法，医工双方均受益颇多。

陆菁菁教授与李纯明教授探讨图像分割问题

当天晚上，陆菁菁教授同时作为“临床数据分析挑战赛决赛”的评委，点评决赛选手的所有图像分割结果。决赛结束后，不少参赛选手纷纷谈到陆教授的意见之宝贵，这是他们在其他地方难以学习到的。

雷锋网 (公众号：雷锋网) 雷锋网雷锋网

雷锋网原创文章，未经授权禁止转载。详情见 转载须知 。