- ·2024葫蘆島地磅維修2024葫蘆島...
- ·3KD9103-1 西門子3KA 3...
- ·2024南漳地磅故障維修2024南漳...
- ·7SJ6825-5EW20-3HE0...
- ·7SJ6245-5EB00-3FG0...
- ·7SJ6825-4EW90-3FE0...
- ·7SJ6226-5EB22-1HF0...
- ·2024麗江地磅衡器維修2024麗江...
- ·2024德陽地磅修理2024德陽地磅...
- ·2024岑溪地磅安裝維修2024岑溪...
- ·2024東明地磅安裝維修2024東明...
- ·7SJ6825-5EW90-3FE0...
- ·7SJ6225-5EB20-1HFO...
- ·2024文山地磅維修技術(shù)2024文山...
- ·7SJ6225-5EB20-1FE0...
基于IVOCT的動脈粥樣硬化斑塊識別與風險評估
動脈粥樣硬化引起的易損斑塊破裂已經(jīng)嚴重危害到人類的健康,而血管內(nèi)光學相干斷層成像(IVOCT)憑借其高分辨率已經(jīng)成為識別冠脈易損斑塊的主要工具,但圖像判讀費時費力,通常還依賴于醫(yī)生的經(jīng)驗。
目前已有基于傳統(tǒng)機器學的研究實現(xiàn)了對單幀圖像的分類,但這些信息不足以輔助醫(yī)生確定治療方案,仍然需要醫(yī)生二次判讀。
北京理工大學醫(yī)學技術(shù)學的韓澤君團隊基于Faster R-CNN(R-CNN,區(qū)域卷積神經(jīng)網(wǎng)絡(luò)),提出了一種用于IVOCT圖像內(nèi)易損斑塊識別的端到端評估算法,該算法除了能夠準確定位易損斑塊外,還可以提示斑塊的高危風險因素并量化評估斑塊破裂風險,為臨床醫(yī)生提供診斷建議并輔助其制定治療方案。
研究背景
急性冠脈綜合征(ACS)是極具危險性的心血管疾病,其致死率和致殘率頗高。近70%的ACS是由冠狀動脈粥樣硬化引發(fā)的易損斑塊破裂所導致。動脈粥樣硬化是血管壁中多種物質(zhì)積聚沉積形成粥樣斑塊的過程,隨著斑塊發(fā)展,易損斑塊形成,其破裂會造成嚴重后果。
血管內(nèi)光學相干斷層成像(IVOCT)分辨率高(10-20μm),能夠準確識別薄帽纖維粥樣(TCFA)斑塊等易損斑塊特征,已逐漸成為診斷易損斑塊的金標準。然而,在實際應用中,醫(yī)生手動在圖像中標注斑塊位置時,不可避免地會受到主觀判斷的影響,導致診斷結(jié)果存在一定偏差。而且一次回撤會產(chǎn)生數(shù)百張IVOCT腔內(nèi)截面圖像,手動判讀極為耗時費力,嚴重影響了對易損斑塊的診斷速度和精度。
深度學技術(shù)已應用于斑塊分類和檢測,但現(xiàn)有算法如使用U型編碼器-解碼器結(jié)構(gòu)或基于多任務(wù)深度卷積神經(jīng)網(wǎng)絡(luò)的算法,只能提供目標斑塊的位置信息,其破裂風險及對應的治療方案仍完全依賴于醫(yī)生的主觀經(jīng)驗。由于IVOCT分辨率無法達分子水平,圖像僅能表征易損斑塊結(jié)構(gòu)特征,因此開發(fā)計算機輔助診斷(CAD)系統(tǒng)對于量化評估易損斑塊破裂風險、規(guī)范治療措施和減輕醫(yī)生負擔至關(guān)重要。
研究方法
一、IVOCT圖像處理流程
1、圖像預處理
*步是將原始的IVOCT圖像轉(zhuǎn)換為極坐標下的灰度圖像。在常規(guī)的IVOCT圖像中,為了便于觀察,通常會進行偽彩色處理,但這種偽彩色處理后的顏色通道并不包含任何病理信息。將圖像轉(zhuǎn)換為極坐標下的灰度圖像有助于后續(xù)對斑塊特征的分析和處理,能夠更好地突出斑塊的形態(tài)、位置等信息,為準確識別易損斑塊奠定基礎(chǔ)。
2、易損斑塊定位
在極坐標下的灰度圖像中檢測易損斑塊的位置,并在圖像中輸出預測框(BBox)。這一步驟是整個算法的關(guān)鍵環(huán)節(jié),通過特定的算法和模型,對圖像中的易損斑塊進行定位,確定其在圖像中的大致范圍,為后續(xù)的風險評估提供基礎(chǔ)。
3、破裂風險評估
對自動定位后的斑塊進行破裂風險評估。根據(jù)易損斑塊的多種特征,如病變累積角度、纖維帽厚度、巨噬細胞浸潤情況、淺表微鈣化情況和血管狹窄程度等,綜合分析判斷斑塊破裂的風險程度。這些特征相互關(guān)聯(lián),共同影響著斑塊的穩(wěn)定性和破裂風險,通過對它們的量化評估,可以更全面地了解斑塊的狀態(tài)。
4、模型測試與結(jié)果輸出
*,對斑塊的定位方法和風險評估方法進行測試,并輸出相應的指標。通過在測試數(shù)據(jù)集上的驗證,評估算法的準確性、可靠性和有效性,為算法的優(yōu)化和改進提供依據(jù),同時也為臨床應用提供參考。
易損斑塊的自動識別與風險評估流程
二、易損斑塊識別
1、基于Faster R-CNN的改進策略
-
選擇Faster R-CNN作為基線方法,根據(jù)IVOCT圖像特點進行改進。
-
采用循環(huán)移位增強數(shù)據(jù),通過在圖像尾端選擇隨機數(shù)目的A-Scan并移動到*左側(cè),使易損斑塊區(qū)域完整,增加斑塊水平位置多樣性,讓網(wǎng)絡(luò)學到圖像首尾兩端空間聯(lián)系。
-
改變原始網(wǎng)絡(luò)中的BBox編碼結(jié)構(gòu),使用(X,W)編碼,去除冗余縱坐標信息,提高網(wǎng)絡(luò)處理速度。
-
引入額外語義分割頭,借鑒多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)(MTCNN)設(shè)計,采用UNet結(jié)構(gòu)輸出A-Scan分類結(jié)果,實現(xiàn)對易損斑塊的定位和A-Scan分類。網(wǎng)絡(luò)損失由區(qū)域提取、二次檢測和單個A-Scan分類頭三部分平均權(quán)重組成。
2、網(wǎng)絡(luò)結(jié)構(gòu)與模塊功能
-
特征提取模塊:選用ResNet18作為主干網(wǎng)絡(luò),其包含四組堆疊殘差塊,對輸入圖像逐層運算提取高級語義信息并壓縮特征圖大小,同時使用特征金字塔結(jié)構(gòu)保留底層紋理特征。
-
區(qū)域提取模塊:由區(qū)域建議網(wǎng)絡(luò)(RPN)負責在特征圖中選擇可能的候選區(qū)域,通過在特征圖上滑動卷積窗,RPN對每個特征點輸出分類和坐標回歸輸出,經(jīng)非極大值抑制(NMS)去除重疊率過高的Anchor得到候選區(qū)域。
-
二次檢測模塊:從候選區(qū)域中進一步過濾出正確區(qū)域,使用感興趣區(qū)域(ROI)池化技術(shù)將不同區(qū)域特征映射為相同大小特征圖,其原理與RPN相同,*通過NMS去除重疊率過高的Anchor,因一幅IVOCT圖像中易損斑塊區(qū)域較少,只保留得分*的5個邊框作為*終定位輸出結(jié)果。
-
A-Scan分類模塊:將圖像每列像素視為單條A-Scan,落在標注區(qū)域內(nèi)為陽性樣本,外為陰性樣本,得到A-Scan級分類標簽。對整張圖像所有A-Scan分類,采用UNet結(jié)構(gòu)輸出結(jié)果,通過反卷積、拼接操作融合特征,*經(jīng)卷積層判斷A-Scan是否為陽性。
易損斑塊檢測網(wǎng)絡(luò)。(a)特征提取模塊;(b)區(qū)域提取模塊;(c)二次檢測模塊;(d)A-Scan分類模塊
三、易損斑塊的破裂風險評估
1、風險因素分析與模型構(gòu)建:斑塊破裂風險受機械強度(由易損斑塊內(nèi)部壓力和組織強度決定,高危因素包括薄纖維帽、大壞死核心、淺表微鈣化、嚴重炎癥反應)和外部應力(主要由管腔狹窄程度決定)影響。由于尚無各風險因素權(quán)重研究,構(gòu)建基于單一因素的斑塊破裂多參數(shù)風險模型。
2、各風險因素評估方法
-
血管狹窄程度:用光學血流分數(shù)(OFR)表征,基于IVOCT圖像計算病變處管腔橫截面積與遠端無狹窄病變處橫截面積之比。采用DeepLabV3+算法計算管腔面積,先對圖像進行分割得到管腔掩模,經(jīng)形態(tài)學開閉操作消除噪聲后計數(shù)像素個數(shù),結(jié)合圖像比例尺度計算管腔面積。
-
纖維帽厚度:纖維帽成分對近紅外光反射系數(shù)大,圖像中較亮,可通過亮度閾值區(qū)分。設(shè)計自適應亮度閾值選擇方法,利用斑塊位置和空腔掩模信息去除空腔噪聲,對斑塊表面像素處理確定纖維帽厚度范圍,計算亮度閾值,將過閾值像素定義為纖維帽區(qū)域,計算平均和*薄纖維帽厚度。
-
病變累積角度:在極坐標系下,用斑塊區(qū)域?qū)挾群饬浚床∽兝鄯e角度,其計算與區(qū)域定位準確性相關(guān)。
-
淺表微鈣化和巨噬細胞浸潤:采用圖像特征抽取再分類方式評估。特征包括由訓練好的斑塊檢測網(wǎng)絡(luò)的ResNet18提取的頂層特征(經(jīng)全局平均池化得到一維特征向量,訓練中凍結(jié)參數(shù))和結(jié)合先驗知識用梯度方向直方圖(HOG)抽取的特征(采用自適應窗口滑動步進,選擇斑塊上部特定深度區(qū)域,經(jīng)特定檢測窗口滑動采樣得到固定長度特征向量),將兩者拼接后經(jīng)全連通層映射到分類輸出,分別對應淺表微鈣化和巨噬細胞浸潤概率。
DeepLabV3+網(wǎng)絡(luò)結(jié)構(gòu)
易損斑塊纖維帽厚度計算過程
預測斑塊淺表微鈣化和巨噬細胞浸潤的網(wǎng)絡(luò)結(jié)構(gòu)
結(jié)果與討論
一、實驗數(shù)據(jù)集與環(huán)境
本研究使用的數(shù)據(jù)集為CCCV2017 IVOCT數(shù)據(jù)集,該數(shù)據(jù)集由科學西安光學精密機械研究所提供,專門用于檢測IVOCT圖像中的薄纖維帽脂質(zhì)斑塊。
數(shù)據(jù)集分為訓練集數(shù)據(jù)和測試集數(shù)據(jù)兩部分,其中訓練集數(shù)據(jù)包含2000張圖片,測試集數(shù)據(jù)包含300張圖片,兩部分數(shù)據(jù)中均包含有易損斑塊的陽性樣本和沒有易損斑塊的陰性樣本。對于單個陽性樣本,數(shù)據(jù)集為,斑塊的BBox標記為和,即左右邊界。實驗模型運行在Linux上的Ubuntu 18.0.4操作系統(tǒng)環(huán)境下,并使用RTX 3090 GPU進行加速計算,以提高算法的訓練和測試效率。
二、斑塊識別結(jié)果
在訓練Faster R-CNN時,采用帶動量的隨機梯度下降(SGD)法進行優(yōu)化。SGD法的優(yōu)點是實現(xiàn)簡單、效率高,適用于小規(guī)模的數(shù)據(jù)集和簡單模型。通過實驗發(fā)現(xiàn),當批量大小為8時網(wǎng)絡(luò)性能達到*。
從訓練曲線來看,在70個回合后網(wǎng)絡(luò)性能趨于穩(wěn)定,并在*點附近振蕩,因此將訓練回合數(shù)設(shè)置為70。由于學率呈梯度下降,前40回合將其設(shè)置為0.01,這樣可以幫助網(wǎng)絡(luò)快速收斂;在第41和61回合,學率衰減為前一回合的十分,以逐步達到*解,同時穩(wěn)定網(wǎng)絡(luò)。此外,本研究還采用了線性WarmUp策略,使學率在前兩個訓練回合中從0.0001逐漸增長至設(shè)定值0.01。
為了增強數(shù)據(jù)的多樣性,考慮到IVOCT圖像中血管在首尾端相連而極坐標圖像忽略空間連續(xù)的特點,采用隨機循環(huán)移位法。該方法通過在圖像尾端選擇隨機數(shù)目的A-Scan并移動到*左側(cè)實現(xiàn)。實驗結(jié)果表明,加入隨機循環(huán)移位方法后,網(wǎng)絡(luò)表現(xiàn)出了更好的性能。在對網(wǎng)絡(luò)的評價指標中,均值平均精度(mAP)、交并比閾值為50時的均值平均精度(mAP50)、召回率(Recall)、Dice系數(shù)(Dice)和幀速率等均有不同程度的提升。其中,mAP50增加到0.744,Dice系數(shù)增加到0.905。
對比只加入單項改動的結(jié)果,可以發(fā)現(xiàn)隨機循環(huán)移位增強數(shù)據(jù)法對網(wǎng)絡(luò)性能的提升*,這充分說明了先驗知識(關(guān)于圖像血管結(jié)構(gòu)特點的知識)在改進網(wǎng)絡(luò)性能方面的重要性。例如,在實際的IVOCT圖像中,斑塊位置和血管結(jié)構(gòu)的關(guān)系復雜多樣,隨機循環(huán)移位法能夠讓網(wǎng)絡(luò)學到更多不同情況下的圖像特征,從而提高對易損斑塊的定位能力。
本研究提出的定位方法相比于弱監(jiān)檢測(WSD)方法和基于顯著區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)(SRCNN)方法在召回率上分別提高了 0.028和0.012,Dice系數(shù)分別提高了0.075和0.018。這表明本方法在準確識別易損斑塊方面具有明顯優(yōu)勢。例如,在臨床診斷中,較高的召回率意味著能夠更全面地檢測出易損斑塊,減少漏診的可能性;而較高的Dice系數(shù)則表示預測結(jié)果與真實結(jié)果的吻合程度更高,定位更加準確,有助于醫(yī)生更*地判斷斑塊位置和制定治療方案。
隨機循環(huán)移位。(a)實現(xiàn)過程,將實線標記的區(qū)域裁剪并拼接到左側(cè);(b)兩個循環(huán)移位實例,左邊是初始圖像,右邊是循環(huán)移位的結(jié)果
定位和風險評估結(jié)果
三、易損斑塊破裂風險評估結(jié)果
1、管腔面積預測
在CCCV2017 IVOCT數(shù)據(jù)集中隨機選擇了300張圖像并標注了管腔面積,其中200張作為訓練集,100張作為測試集。為了更直觀地展示管腔面積的空間關(guān)系,標記和分割過程均在笛卡兒坐標系中進行(因為在極坐標系中圖像尺寸為像素點,轉(zhuǎn)換到笛卡兒坐標系中為像素點)。分割網(wǎng)絡(luò)的訓練優(yōu)化器選擇SGD,學率設(shè)置為0.01。訓練回合基于批量(batch)計數(shù),共訓練4000個batch,批量大小設(shè)置為 4。*終管腔面積預測的評估指標交并比(IOU)值為 0.9445,網(wǎng)絡(luò)的預測結(jié)果顯示紅色掩模區(qū)域幾乎與管腔區(qū)域完全一致。這表明本研究采用的DeepLabV3+算法在計算管腔面積方面具有較高的準確性,能夠有效地評估易損斑塊處血管的狹窄程度,為判斷斑塊破裂風險提供了可靠的依據(jù)。
2、纖維帽厚度測試
在上述300張圖像的子數(shù)據(jù)集上標記了纖維帽厚度,并對253個易損斑塊區(qū)域進行了纖維帽厚度測試。評價指標采用均方根誤差()和擬合優(yōu)度,其計算公式分別為(其中為易損斑塊數(shù)量,為第個斑塊纖維帽的平均厚度,為第個斑塊的預測纖維帽厚度)和(其中為數(shù)據(jù)集中所有斑塊纖維帽的平均厚度)。測試結(jié)果為1.17像素,即16.62μm,為0.62。雖然的值不是非常高,但考慮到實際情況中影響纖維帽厚度測量的因素較多(如成像設(shè)備差異、斑塊結(jié)構(gòu)復雜性等),該結(jié)果仍驗證了本方法在計算纖維帽厚度方面的可行性,能夠為評估易損斑塊的破裂風險提供一定的參考。
3、病變累積角度評估
根據(jù)2.2節(jié)中描述的病變累積角度計算方法(),當區(qū)域定位準確時,對病變累積角度的評估也相應準確。在實際的實驗結(jié)果中,通過對易損斑塊區(qū)域的準確定位,能夠準確計算出病變累積角度,這對于判斷斑塊的大小和范圍,進而評估其破裂風險具有重要意義。例如,較大的病變累積角度往往與更嚴重的斑塊病變相關(guān),可能預示著更高的破裂風險。
4、淺表微鈣化和巨噬細胞浸潤預測
使用上述300張圖像的子數(shù)據(jù)集,共檢測了253個易損斑塊區(qū)域,其中包括71個淺表微鈣化斑塊、58個巨噬細胞浸潤斑塊和16個雙陽性斑塊(即同時存在淺表微鈣化和巨噬細胞浸潤的斑塊)。三種情況對應的樣本標簽分別定義為[0,1]、[1,0]、[1,1],陰性樣本標簽定義為[0,0]。為了平衡陽性和陰性樣本的數(shù)量,對這部分的少數(shù)陽性樣本進行了翻轉(zhuǎn)擴增。然后將樣本按照4∶1的比例劃分成測試集和驗證集,共計有366個樣本。
通過混淆矩陣來顯示模型在預測斑塊表面微鈣化和巨噬細胞浸潤方面的性能。結(jié)果顯示,預測微鈣化的準確率為0.962,召回率為0.862,F(xiàn)1分數(shù)為0.909,準確率為0.932;巨噬細胞浸潤的準確率為0.846,召回率為0.917,F(xiàn)1分數(shù)為0.880,精密度為0.919。這些指標表明模型在預測淺表微鈣化和巨噬細胞浸潤方面具有較高的準確性,能夠較好地識別出易損斑塊中的這些特征,從而為全面評估易損斑塊的破裂風險提供了重要依據(jù)。例如,巨噬細胞浸潤是斑塊炎癥反應的重要標志,準確預測其存在情況有助于判斷斑塊的穩(wěn)定性和破裂風險。
結(jié)論與展望
本研究基于臨床診斷共識提出了一種用于識別易損斑塊和評估破裂風險的算法。該算法在準確定位易損斑塊區(qū)域方面取得了較好的效果,通過對Faster R-CNN的改進,如采用隨機循環(huán)移位法、簡化BBox編碼方法和增加語義分割頭,顯著提高了易損斑塊定位精度。同時,根據(jù)臨床判斷依據(jù),選取管腔面積、纖維帽厚度、病變累積角度、淺表微鈣化和巨噬細胞浸潤等因素作為易損斑塊破裂風險的評估指標,建立了相應的評估模型。
實驗結(jié)果表明,所提出的易損斑塊定位算法在各項性能評價指標方面均優(yōu)于以往研究人員提出的算法。在斑塊識別方面,改進后的網(wǎng)絡(luò)在CCCV2017 IVOCT數(shù)據(jù)集上的測試中表現(xiàn)*mAP50和Dice系數(shù)等指標有明顯提升,且與其他相關(guān)方法對比在召回率和Dice系數(shù)上也具有優(yōu)勢。在易損斑塊破裂風險評估方面,管腔面積預測、纖維帽厚度測試、病變累積角度評估以及淺表微鈣化和巨噬細胞浸潤預測等均取得了較為滿意的結(jié)果,各項評估指標驗證了方法的可行性和準確性。
該算法的應用將有助于臨床醫(yī)生更準確地定位易損斑塊位置,更全面地評估斑塊易損性,從而減少工作量,同時減少主觀判斷對診斷結(jié)果的影響。這對于提高心血管疾病的診斷水平,改善患者的治療效果和預后具有重要意義。
目前的研究工作主要聚焦于斑塊的檢測任務(wù),且使用的數(shù)據(jù)集存在一定局限性,不能保證所有圖像來源于同一病人。后續(xù)工作將結(jié)合IVOCT成像的特性,進一步深入研究。一方面,計劃利用序列圖像學易損斑塊的三維空間特征或相鄰幀的序列特征,從高維度對斑塊進行精細分割,以更全面、準確地描述斑塊的形態(tài)和結(jié)構(gòu)。另一方面,將依托臨床平臺,開展大規(guī)模的臨床研究,探尋易損斑塊的各個單一風險因素對破裂風險的影響,構(gòu)建更加全面、科學的斑塊破裂風險評估模型。
未來還將進一步對序列IVOCT圖像數(shù)據(jù)進行深入分析,深入研究易損斑塊的破裂機制。通過對大量臨床數(shù)據(jù)的挖掘和分析,爭取實現(xiàn)對斑塊的自動識別與更*的風險評估。
聲明:本文僅用作學術(shù)目的。文章來源于:韓澤君, 林興康, 裘耀陽, 張曉, 高磊, 李勤. 基于IVOCT的動脈粥樣硬化斑塊識別與風險評估[J]. 激光, 2024, 51(9): 0907017. Zejun Han, Xingkang Lin, Yaoyang Qiu, Xiao Zhang, Lei Gao, Qin Li. Identification and Risk Assessment of Atherosclerotic Plaques Based on IVOCT[J]. Chinese Journal of Lasers, 2024, 51(9): 0907017.