以临床前期糖尿病视网膜病变为例分析医学图像人工智能系统在自发荧光图像识别中的应用
徐晓茹1, 陈嘉玮1, 张元勋1, 冯义侠1, 柯大观2
1温州医科大学附属第三医院眼科 325100
2温州医科大学生物医学工程学院 325035
通讯作者:陈嘉玮(ORCID:0000-0001-5183-4687),Email:chenjiaweicat@163.com

第一作者:徐晓茹(ORCID:0000-0002-2838-1410),Email:raxxr@sina.com

摘要

目的 以临床前期糖尿病视网膜病变为例分析医学图像人工智能系统对于自发荧光图像识别的能力,为早期诊断治疗提供技术支持。方法 连续收集2017年8月至2018年5月在温州医科大学附属第三医院眼科门诊就诊患者的眼底自发荧光图像,按是否患有糖尿病标准,纳入正常组102例(200眼),糖尿病组105例(200眼)。受检者均行裂隙灯显微镜、前置镜、裸眼视力或矫正视力、眼底自发荧光影像等检查。采用基于二维格子复杂性度量的医学图像特征提取和识别系统对糖尿病组及正常组图像进行分析。结果 该系统分析临床前期糖尿病视网膜病变眼底自发荧光图像与正常视网膜自发荧光图像具有可识别差异,提取出具有比较意义的25个特征。针对25个特征进行单个特征及多个特征的10折交叉检验以及5折交叉检验,准确率为82.47%。结论 复杂性分析医学图像人工智能系统可用于识别临床前期糖尿病视网膜病变的眼底自发荧光改变,准确率高。

关键词: 临床前期糖尿病视网膜病变; 眼底自发荧光图像; 复杂性度量; 特征提取; 人工智能
An Analysis of the Application of a Medical Imaging Artificial Intelligence System for a Spontaneous Fluorescence Imaging Recognition System Using Pre-Clinical Diabetic Retinopathy as an Example
Xiaoru Xu1, Jiawei Chen1, Yuanxun Zhang1, Yixia Feng1, Daguan Ke2
1The Third Affiliated Hospital of Wenzhou Medical University, Wenzhou 325100, China
2Biomedical Engineering, Wenzhou Medical University, Wenzhou 325035, China
Corresponding author:Jiawei Chen, Biomedical Engineering, Wenzhou Medical University, Wenzhou 325035, China (Email: chenjiaweicat@163.com)
Abstract

Objective: To analyze the application of a medical imaging artificial intelligence system for spontaneous fluorescence imaging recognition using pre-clinical diabetic retinopathy as an example so as to provide a technical exploration for early diagnosis and treatment.Methods: The fundus autofluorescence images of 102 patients (200 eyes) in a control group and 105 patients (200 eyes) in a study group were collected from August 2017 to May 2018. All patients were examined by a slit lamp microscope, preview lens, naked eye or corrected visual acuity and fundus autofluorescence images. The images from the control and study groups were used for analysis. The medical image extraction and recognition system is based on a two-dimensional lattice complexity measurement and was used to analyze the discernible differences between the fundus autofluorescence image of pre-clinical diabetic retinopathy and the normal retinal autofluorescence image.Results: Twenty-five features with comparative significance were extracted. The single and multiple features were tested by 10-fold and 5-fold cross tests for 25 features, and the accuracy rate was 82.47%.Conclusions: Complex analysis of a medical imaging artificial intelligence system can be used to identify the spontaneous fluorescence changes on the fundus of pre-clinical diabetic retinopathy with high accuracy.

Keyword: preclinical diabetic retinopathy; fundus autofluorescence image; complexity measure; feature extraction; artificial intelligence

糖尿病视网膜病变(Diabetic retinopathy, DR)作为糖尿病的主要并发症之一, 其发病率逐年增加, 危害到人们的视觉质量甚至致盲。有研究显示, 早期DR患者在视力未受影响或微受影响时, 其视功能已经受到影响, 如对比敏感度等已出现严重异常[1, 2, 3]。学者们认为糖代谢紊乱是引起DR的根本原因。因此推测, 早期DR在出现肉眼可见改变之前, 视网膜代谢已发生影响。

眼底自发荧光(Fundus autofluorescence, FAF)影像能够反映视网膜色素上皮(RPE)细胞的功能, 也可以作为临床上RPE细胞脂褐素的代谢活力的一个指标[4, 5, 6, 7, 8, 9, 10, 11]。DR临床前期, 未见视网膜血管层的改变, 但糖代谢影响糖尿病视网膜的代谢, 造成对比敏感度等下降, 也有造成脂褐质代谢改变的可能, 本研究进行糖尿病临床前期的自发荧光与正常人相比, 并不存在肉眼可见的改变。那么临床前期的DR, 是否存在自发荧光的变化?这就需要我们借助计算机技术进行对比。

人工智能(Artificial intelligence, AI)作为一门新的科学技术, 借助计算机进行辅助诊断, 是现代医学发展的一个重点方向, 广受关注和研究, 逐渐在临床上应用。本研究采用的复杂性分析软件为基于二维格子复杂性度量的医学图像特征提取和识别系统[12], 特别适用于人体这类复杂系统所产生的数据。本研究采用复杂性分析软件能够对DR自发荧光图像进行复杂性度量分析分类, 为临床前期糖尿病视网膜自发荧光分析提供科学的数据处理技术支持, 以探讨其在自发荧光图像分析上应用的可能性。

1 对象与方法
1.1 对象

糖尿病组纳入标准:仅有糖尿病病史。糖尿病组排除标准:①视力或矫正视力≥ 0.8, -6.0 D≤ 等效球镜度(SE)≤ +6.0 D; 曾行白内障摘除联合人工晶状体(IOL)植入手术者, SE≥ -2.0 D且手术前无高度近视病史。②裂隙灯显微镜检查屈光介质透明, 50岁以上者允许存在晶状体密度增加; 曾行白内障摘除联合IOL植入手术者, IOL位置正常, 后囊无明显混浊。③散瞳检查排除视神经或视网膜疾病。④Canon眼压计测量眼压≤ 21 mm Hg(1 mmHg=0.133 kPa)。⑤无青光眼家族史、高血压等全身性疾病。⑥排除曾接受屈光性手术者。

正常组:除无糖尿病病史以外, 其他条件与糖尿病组完全一致。

连续收集2017年8月至2018年5月在温州医科大学附属第三医院眼科门诊就诊的年龄为40~59岁的患者, 共318例(636眼)。参考彭锡嘉和苏兰萍[10]的正常人后极部自发荧光分析定量研究中分组方式及图像采集方法, 每例患者均采集双眼图像, 删除图像不符合软件图像处理标准的患者111例, 最终207例(400眼)患者被纳入本研究。按照是否患有糖尿病, 将207例患者分为正常组和糖尿病组。正常组102例(200眼, 4例单眼, 98例双眼), 糖尿病组105例(200眼, 10例单眼, 95例双眼)。本研究遵循赫尔辛基宣言, 研究对象均知情同意。

1.2 检查方法

由同一检查者采用海德堡HRA(德国海德堡公司)对所有受检者行眼底自发荧光检查。FAF图像采集:患者取坐位, 下颌置于颌架上, 摆正头部, 调整眼部位置, 采用内注视方法。启动HRA2, 采用荧光素眼底血管造影模式(但不注射荧光素钠注射液)。激光波长488 nm、能量7.35 mW, 观察范围30° × 30° , 聚焦于黄斑部, 调整总感光度值为80, 微调显微镜, 使视野中出现清晰的视盘、大血管轮廓, 进行图像叠加。

1.3 数据处理方法

采用基于二维格子复杂性度量的医学图像特征提取和识别系统随机抽取2组各180张图像进行处理分析。用各组剩余20张图像进行交叉检验, 判断分析的准确性。

自发荧光图像的识别主要分为前期的图像特征提取和后期的图像分析。整体过程如图1所示, 具体方法如下。

图1. 眼底自发荧光图像识别分析处理流程图Figure 1. Flow chart of fundus spontaneous fluorescence image recognition, analysis and processing.

1.3.1 图像预处理 对正常组及糖尿病组的眼底荧光图像分别进行预处理, 包括图像灰度化、滤波、增强和插值等处理方法。其主要目的是消除图像中由噪声、硬件设备的外部干扰引起的无关信息和增强图像的相关性特征性信息。

对预处理眼底荧光图像的特定区域进行分割, 以获取我们重点关注的组织区域。本研究的眼底自发荧光图像的分割因为图像的特性相对简单, 主要是对眼底图像的无关信息进行删除, 以及对背景中无关信息黑度化(见图2)。

图2. 眼底自发荧光图像分割以及背景黑度化后图片Figure 2. Fundus spontaneous fluorescence image after the segmentation and background blackening.

1.3.2 基于复杂性度量对图像特征(像素特征)进行提取

1.3.2.1 提取原始图像的复杂性特征 在matlab环境下, 首先将彩色的眼底自发荧光图像灰度化, 并将转换后的灰度图像缩放至144× 144像素。

将灰度化后的图像作粗粒化处理, 本研究主要采用均值二值化进行处理, 灰度图见图3, 二值化的图像见图4。

图3. 眼底自发荧光图像灰度图Figure 3. Fundus spontaneous fluorescence grayscale image.

图4. 眼底自发荧光图像灰度图二值化Figure 4. Fundus spontaneous fluorescence grayscale image binarization.

将二值化后的图像通过希尔伯特曲线或螺旋线进行扫描, 将二维的图像转化为一维的序列。假设一张二值化的图片大小为4× 4像素, 转化过程见图5。

图5. 二值化后的二维图像转换为一维序列过程Figure 5. The process of two-dimensional image after binarization transformed into a one-dimensional sequence.

将生成的一维序列在不同细粒化指数下进行格子复杂性(Lattice complexity, LC)求取, 并将求取的格子复杂性作为图像特征。

1.3.2.2 二维图像经验模分解法(Bemd分解)后的图像复杂性特征提取 在Matlab环境下, 首先将原始图像进行Bemd分解, 得到固有模态函数为1阶、2阶、3阶的图像以及残余量图像, 分解后图像见图6-9。

图6. 固有模态函数为1阶图像Figure 6. The image of the intrinsic modal function is the order 1.

图7. 固有模态函数为2阶图像Figure 7. The image of the intrinsic modal function is the order 2.

图8. 固有模态函数为3阶图像Figure 8. The image of the intrinsic modal function is the order 3.

图9. 残余量图像Figure 9. Residual image.

将不同阶次图像以及残余量图像进行二值化处理后通过希尔伯特曲线或螺旋线进行扫描, 将二维的图像转化为一维的序列, 转化过程如图5所示。

将生成的一维序列在不同细粒化指数下进行格子复杂性求取, 并将求取的格子复杂性作为图像特征。

1.3.2.3 局部二值模式算法(LBP算法)处理后的图像复杂性特征提取 在Matlab环境下, 将图像通过原始LBP算法以及旋转不变LBP算法处理后得到图10-12。

图10. 原始方形邻域LBP算法处理后图像Figure 10. The image is processed by original square neighborhood LBP algorithm.

图11. 圆形邻域LBP算法处理后图像Figure 11. The image is processed by circular neighborhood LBP algorithm.

图12. 圆形邻域旋转不变LBP算法处理后图像Figure 12. The image is processed by circular neighborhood rotation invariant LBP algorithm.

将原始LBP算法处理和旋转不变LBP算法处理后的图像进行二值化处理, 再通过希尔伯特曲线或螺旋线进行扫描, 将二维的图像转化为一维的序列, 转化过程如图5所示。

将生成的一维序列在不同细粒化指数下进行格子复杂性求取, 并将求取的格子复杂性作为图像特征。

1.3.3 建模和测试图像可分为训练样本(正常组180眼, 糖尿病组180眼)和测试样本(剩余样本40眼), 对2组中基于复杂性度量提取的图像特征处理进行比较分析后, 形成糖尿病组模型及正常组模型。通过对测试样本进行分类测试, 得出最终结果。

2 结果

通过复杂性分析, 本研究获取到大量的眼底自发荧光图像的特征, 并进一步通过交叉检验来鉴别及筛选能有效地表达图像特性的特征。经过软件运算分析后, 25个特征被筛选出在糖尿病组和正常组中存在差异, 25个特征如下:①年纪, ②性别, ③原始图像的临界细粒化指数r1, ④原始图像细粒化指数取42时的格子复杂度LC1, ⑤原始图像细粒化指数取75时的格子复杂性LC2, ⑥第一阶IMF的临界细粒化指数, ⑦第二阶IMF临界细粒化指数, ⑧第二阶IMF细粒化指数取23时的格子复杂度LC3, ⑨第二阶IMF细粒化指数取139时的格子复杂度LC4, ⑩第三阶IMF临界细粒化指数, ⑪第三阶IMF细粒化指数取76时的格子复杂度LC5, ⑫第三阶IMF细粒化指数取105时的格子复杂度LC6, ⑬第四阶IMF临界细粒化指数, ⑭第四阶IMF细粒化指数取20时的格子复杂度LC7, ⑮第四阶IMF细粒化指数取56时的格子复杂度LC8, ⑯方形邻域LBP旋转不变后临界细粒化指数, ⑰方形邻域LBP旋转不变后细粒化指数为11的格子复杂度LC9, ⑱圆形邻域LBP旋转变化后通过细粒化指数为32的格子复杂度LC10, ⑲圆形邻域LBP旋转变化后通过细粒化指数为78的格子复杂度LC11, ⑳圆形邻域LBP旋转不变后临界细粒化指数, ㉑圆形邻域LBP旋转不变后细粒化指数为28的格子复杂度LC12, ㉒灰度共生矩阵4个方向上的能量, ㉓灰度共生矩阵4个方向上的熵, ㉔灰度共生矩阵4个方向上的对比度, ㉕灰度共生矩阵的4个方向上的相关性。

研究中首先通过10折交叉验证以及5折交叉验证将单独一个特征中效果较好的特征选取出来, 再将这些效果较好的特征组合, 具体实验数据如下:

表1示单个特征通过交叉检验识别效果较好的实验结果, 其中寻优步长为0.6, C和G的搜索范围在-7~5之间。V表示交叉检验的折数分别采用了10折交叉检验以及5折交叉检验进行了验证。AUC表示交叉检验得到的准确率。从表中可以看出通过方形邻域LBP处理后的图像的临界细粒化指数对图像具有较好的识别效果。

表1 单个特征通过交叉检验识别效果分析 Table 1 The recognition effect of single feature is analyzed by cross test

表2示特征组合效果较好的几组实验结果, 从结果中可知, 通过方形领域LBP处理后的图像的临界化细粒指数和细粒化为11时的复杂度对图像具有很好的识别效果。在交叉检验的情况下, 最好的识别效果达到了82.47%。

表2 多个特征通过交叉检验识别效果分析 Table 2 Analysis of recognition effect of multiple features through cross test

由此, 通过25个特征交叉验证, 最终选择最佳识别效果达到82.47%的图像特征组合方式对眼底自发荧光图像进行人工智能分析。将测试样本(40眼剩余样本)输入软件进行验证, 符合验证结果。

3 讨论

计算机辅助诊断[9]的医学影像处理技术是一门交叉的学科, 在医学影像处理技术过程中主要包括前期的图像预处理和后期图像特征值提取与分析[13]。既往研究显示, 早期[10]采用普通图像分析软件处理图像时, 无图像预处理, 且手动进行划分区域, 误差较大[10]。或者采用自带软件分区[11], 取后极部近黄斑区范围, 无法处理后极部全部图像。而本研究通过对图像的形状、纹理以及其他的复杂性特征来获取图像的信息, 并通过分类精准而快速地分离出不同属性的图像, 对图像进行准确的描述[14]

本研究采用的“ 基于二维格子复杂性度量的医学图像特征提取和识别系统” 作为人工智能计算方式的一种, 在医学图像方面已有研究应用[15, 16, 17, 18], 通过对图像的影响因子排除, 并转化计算机序列进行对比, 具有人眼及普通图像处理不具备的灵敏度及准确性, 可客观地分析比较图像间的区别。系统采用的格子复杂性是一种通用的时间序列分析算法[14], 作为广义信息度量, 特别适用于人体这类复杂系统所产生的数据。本研究将眼底荧光原始图像通过二维图像经验模分解法(Bemd算法)以及局部二值模式算法(LBP算法)对图像进行了处理, 分别将相应图像均值二值化后通过空间填充曲线扫描得到计算格子复杂性所需的序列, 即将二维的图像转化为一维的序列, 将一维序列在不同细粒化指数下进行格子复杂性求取。将计算得到的格子复杂性作为图像特征。提取大量的图像特征, 使用支持向量机(SVM)进行图像分析。通过计算机软件进行大量计算比对, 提取出具有比较意义的25个特征。针对25个特征进行单个特征及多个特征的10折交叉检验以及5折交叉检验, 交叉检验作为计算机处理中建模常用的验证统计方式, 可以提高数据检验的精确性。通过交叉检验进行模型检验, 得到82.47%准确图片识别效果。

糖尿病对RPE细胞中脂褐素的分布存在影响, 在人眼无法识别视网膜改变及视网膜自发荧光改变时, DR的临床前期已经悄悄地影响了患者视功能。研究结果提示以临床前期的DR为例, 人工智能可分辨肉眼未见的图像改变, 且复杂性分析软件具有较高的准确率。通过“ 基于二维格子复杂性度量的医学图像特征提取和识别系统” , 建立临床前期DR眼底自发荧光图像特征数据库, 可用于临床前期DR自发荧光图像筛查, 下一步, 我们将进一步扩大数据量, 并且结合患者临床指标, 细化更多图像特征, 进行更具体的识别和细化, 从而为临床工作提供有利的参考。

利益冲突申明 本研究不存在利益冲突

作者贡献声明 徐晓茹:收集数据, 参与选题、设计及资料的分析和解释, 撰写论文, 根据编辑部的修改意见进行修改及核修。陈嘉玮:收集数据, 参与选题、设计及资料的分析和解释, 撰写论文, 根据编辑部的修改意见进行修改。张元勋:收集数据, 数据处理, 撰写论文。冯义侠:收集数据, 参与选题、设计及资料的分析。柯大观:修改论文中关键性结果、结论

The authors have declared that no competing interests exist.

参考文献
[1] Frampton GK, Kalita N, Payne L, et al. Fundus autofluorescence imaging: systematic review of test accuracy for the diagnosis and monitoring of retinal conditions. Eye (Lond), 2017, 31(7): 995-1007. DOI: 10.1038/eye.2017.19. [本文引用:1]
[2] Katz G, Levkovitch-Verbin H, Treister G, et al. Mesopic foveal contrast sensitivity is impaired in diabetic patients without retinopathy. Graefes Arch Clin Exp Ophthalmol, 2010, 248(12): 1699-1703. DOI: 10.1007/s00417-010-1413-y. [本文引用:1]
[3] von Rtickmann A, Fitzke FW, Bird AC. Distribution of funduaautofluorescence with a scanning Iaser ophthalmoscope. Br JOphthalmol, 1995, 79: 407-412. [本文引用:1]
[4] Hajeb Mohammad Alipour S, Rabbani H, Akhlaghi MR. Diabetic retinopathy grading by digital curvelet transform. Comput Math Methods Med, 2012, 2012: 761901. DOI: 10.1155/2012/761901. [本文引用:1]
[5] Ozmert E, Batioğlu F. Fundus autofluorescence before and after photodynamic therapy for chronic central serous chorioretinopathy. Ophthalmologica, 2009, 223(4): 263-268. DOI: 10.1159/000210386. [本文引用:1]
[6] Saleh MG, Campbell JP, Yang P, et al. Ultra-Wide-Field Fundus Autofluorescence and Spectral-Domain Optical Coherence Tomography Findings in Syphilitic Outer Retinitis. Ophthalmic Surg Lasers Imaging Retina, 2017, 48(3): 208-215. DOI: 10.3928/23258160-20170301-03. [本文引用:1]
[7] 周芸芸, 陈长征, 文峰. 眼底自发荧光在视网膜疾病中应用新进展. 中国实用眼科杂志, 2007, 25(12): 1272-1274. DOI: 10.3760/cma.j.issn.1006-4443.2007.12.002. [本文引用:1]
[8] Dysli C, Berger L, Wolf S, et al. Fundus autofluorescence lifetimes and central serous chorioretinopathy. Retina, 2017, 37(11): 2151-2161. DOI: 10.1097/IAE.0000000000001452. [本文引用:1]
[9] Lodwick GS. Computer-aided diagnosis in radiology. A research plan. Invest Radiol, 1966, 1(1): 72-80. [本文引用:2]
[10] 彭锡嘉, 苏兰萍. 正常人后极部自发荧光分布定量研究. 中华眼底病杂志, 2011, 27(2): 114-118. [本文引用:4]
[11] Bellmann C, Rubin GS, Kabanarou SA, et al. Fundus autofluorescence imaging compared with different confocal scanning laser ophthalmoscopes. Br J Ophthalmol, 2003, 87(11): 1381-1386. [本文引用:2]
[12] 基于二维格子复杂性质量的医学图像特征提取和识别系统. 中国, 专利号: CN20130753643. 9. [本文引用:1]
[13] 董卫军, 周明全, 耿国华, . 基于内容的图像检索技术研究. 计算机工程, 2005(10): 162-163. [本文引用:1]
[14] 柯大观, 张宏, 童勤业. 格子复杂性和符号序列的细粒化. 物理学报, 2005(2): 534-542. [本文引用:2]
[15] 昊芝芝. 复杂性度量在胃镜图像上对胃肿瘤良恶性鉴别的应用. 温州: 温州医科大学, 2017. [本文引用:1]
[16] 武瑞霞, 张子瑞, 陈宇彬, . 利用二维格子复杂性挖掘肝癌CT图像预后信息. 温州医科大学学报, 2018, 48(6): 396-400. DOI: 10.3969/j.issn.2095-9400.2018.06.002. [本文引用:1]
[17] 张子瑞. 复杂性度量在医学图像分析中的应用. 温州: 温州医科大学, 2016. [本文引用:1]
[18] 刘军, 邹倩, 柯大观, . 基于脑电格子复杂性分析的麻醉深度监测研究. 传感技术学报, 2015, 28(12): 1747-1753. [本文引用:1]