熒光顯微鏡是生物醫(yī)學(xué)研究中的重要工具，通過(guò)使用熒光染料或熒光蛋白標(biāo)記特定的細(xì)胞或分子，使其在顯微鏡下發(fā)出熒光，從而實(shí)現(xiàn)高分辨率的成像。

光片熒光顯微鏡是一種革命性的新興三維成像技術(shù)，通過(guò)快速掃描薄片樣本，實(shí)現(xiàn)高通量、高分辨率的三維成像。該技術(shù)具有光漂白與光毒性低、光子利用效率高、成像速度快和分辨率高等優(yōu)點(diǎn)，廣泛應(yīng)用于神經(jīng)科學(xué)、細(xì)胞生物學(xué)、病理學(xué)等生物醫(yī)學(xué)領(lǐng)域。光片熒光顯微成像技術(shù)在三維病理分析中展現(xiàn)出了巨大的潛力。

相比于傳統(tǒng)的二維病理切片，三維病理分析能夠提供組織結(jié)構(gòu)的完整空間信息，有助于更全面地理解疾病的發(fā)生和發(fā)展機(jī)制。三維病理分析領(lǐng)域的發(fā)展，將極大地推動(dòng)病理學(xué)研究的深入和臨床診斷的化，為疾病的早期發(fā)現(xiàn)、*治療和個(gè)性化醫(yī)療提供強(qiáng)有力的支持。

華中科技大學(xué)光學(xué)與電子信息學(xué)的費(fèi)鵬團(tuán)隊(duì)發(fā)表綜述，介紹了光片顯微成像技術(shù)的發(fā)展及其在病理領(lǐng)域的應(yīng)用，然后介紹了目前三維病理分析的主要工作和方法，著重討論了新興的多模態(tài)大語(yǔ)言模型在病理分析領(lǐng)域的應(yīng)用前景。

光片顯微鏡的發(fā)展及應(yīng)用

光片顯微鏡的發(fā)展歷程

2004年，Huisken課題組提出SPIM，首次將光片顯微鏡帶入人們的視野，大大降低了光漂白和光毒性，并能連續(xù)采集長(zhǎng)時(shí)間序列圖像。

2007年，基于之前工作提出mSPIM，減少了SPIM中的條紋偽影。2008年，Keller等人提出DSLM，其通過(guò)掃描高斯光束形成虛擬光片。SPIM和DSLM奠定了光片顯微鏡的基本模式。

SPIM概覽。（a）樣品室示意圖；（b）SPIM成像的青鳉魚(yú)胚胎；（c）黑腹果蠅胚胎形成延時(shí)成像

光片生成的并行化。SPIM同時(shí)照明并捕捉整個(gè)視野的熒光，而mSPIM通過(guò)圍繞其中心旋轉(zhuǎn)光片來(lái)減少條紋偽影。DSLM通過(guò)時(shí)間共享光束生成虛擬光片，任何給定時(shí)間內(nèi)僅有被照明條帶產(chǎn)生熒光。為了保持相同信噪比，隨著視野大小（沿掃描軸）相對(duì)于光片厚度的增加，DSLM需要更高的峰值強(qiáng)度Ipeak

近年來(lái)，光片顯微鏡朝著更高分辨率、更低光漂白和光毒性、更快成像速度以及更大成像體積發(fā)展。例如貝塞爾光片顯微鏡、Lattice顯微鏡、平面掃面共焦（SCAPE）顯微鏡及其改進(jìn)版等多種*顯微鏡技術(shù)被提出。

傳統(tǒng)熒光顯微鏡在三維成像、長(zhǎng)時(shí)間活體成像、光漂白和光毒性方面存在局限性，寬場(chǎng)熒光顯微鏡圖像對(duì)比度低，共聚焦顯微鏡成像速度慢且光漂白和光毒性較大。

為解決這些問(wèn)題，光片熒光顯微鏡應(yīng)運(yùn)而生。它用一束薄薄的光片從側(cè)面照射樣品，減少了曝光量，大大降低了光漂白和光毒性，同時(shí)實(shí)現(xiàn)了快速、高分辨率的三維成像。

光片熒光顯微鏡。左側(cè)：典型的光片顯微鏡，成對(duì)的正交光路提供平面照明（藍(lán)色）和寬視場(chǎng)熒光檢測(cè)（綠色）。右側(cè)：通過(guò)選擇性照明單個(gè)平面實(shí)現(xiàn)光學(xué)切片

光片顯微鏡的重要技術(shù)發(fā)展

組織透明化技術(shù)：組織透明化技術(shù)通過(guò)化學(xué)試劑置換、沖洗等方法對(duì)生物樣本進(jìn)行脫水、脫脂等操作，然后填充試劑使樣本具有均勻折射率，*放入折射率匹配的試劑中實(shí)現(xiàn)光的透明。該技術(shù)與光片顯微鏡結(jié)合，可提取復(fù)雜哺乳動(dòng)物和大型人類標(biāo)本的結(jié)構(gòu)信息，如構(gòu)建單細(xì)胞分辨率小鼠大腦圖譜。

全腦單細(xì)胞分辨率成像。（a）組織透明化方法允許對(duì)全腦細(xì)胞進(jìn)行輪廓分析；（b）使用親水性組織透明化和定制的高分辨率光片顯微鏡獲得的成年小鼠大腦圖像；（c）三維單細(xì)胞分辨率的小鼠腦圖譜

光片顯微鏡在病理組織樣本中的應(yīng)用

腫瘤病理學(xué)研究：光片顯微鏡可實(shí)現(xiàn)腫瘤組織的三維成像，提供詳細(xì)結(jié)構(gòu)信息，用于評(píng)估藥物療效和指導(dǎo)個(gè)性化治療。如開(kāi)頂光片顯微鏡可對(duì)前列腺組織樣本進(jìn)行成像，還有研究對(duì)乳腺癌、膀胱腫瘤等的相關(guān)組織進(jìn)行了成像研究，展示了其在腫瘤病理診斷和藥物研究中的價(jià)值。

神經(jīng)病理學(xué)和大腦研究：在研究神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)方面具有優(yōu)勢(shì)，可觀察腦組織及神經(jīng)元等結(jié)構(gòu)的三維形態(tài)特征。如對(duì)腦部標(biāo)本的透明化方法進(jìn)行可視化，在人腦組織中尋找感興趣區(qū)域并進(jìn)行相關(guān)研究，以及對(duì)人腦枕葉組織、厚人腦切片中的淀粉樣斑塊等進(jìn)行成像研究，體現(xiàn)了其在研究神經(jīng)系統(tǒng)疾病病理機(jī)制中的重要性。

其他病理學(xué)研究：在皮膚、眼球、口腔等病理組織研究中也有重要應(yīng)用。如對(duì)人體皮膚活檢組織樣本、人眼、人類牙髓等進(jìn)行成像，展示了其在臨床環(huán)境的體內(nèi)組織原位體積成像中的重要作用。

光片顯微鏡在病理組織樣本中的應(yīng)用。（a）人類前列腺芯針活檢樣本虛擬蘇木精-伊紅染色的體積圖像及其正交二維橫截面，右側(cè)為感興趣區(qū)域中不同深度的放大視圖；（b）BT-474人類乳腺癌細(xì)胞系異種移植的整個(gè)腫瘤塊中藥物輸送的可視化；（c）厚人腦組織切片的大規(guī)模熒光成像，放大視圖展示了富含淀粉樣蛋白的區(qū)域；（d）人類舌頭背面無(wú)標(biāo)記體內(nèi)成像圖像，舌頭的絲狀乳頭和蕈狀乳頭組織的H&E染色圖像、感興趣區(qū)域在臺(tái)式和微型MediSCAPE顯微鏡下成像圖像

病理分析的應(yīng)用及發(fā)展

病理分析是一門醫(yī)學(xué)分支，其主要包含組織學(xué)、細(xì)胞學(xué)、免疫組織化學(xué)、分子病理學(xué)等方面。對(duì)于許多常見(jiàn)的癌癥和腫瘤，比如乳腺癌、前列腺癌、肺癌、胃腸道癌、皮膚癌以及各種良性和惡性的腫瘤等，病理分析通過(guò)對(duì)這些疾病的組織樣本進(jìn)行詳細(xì)檢查，提供了明確的診斷依據(jù)，幫助醫(yī)生制定有效的治療方案。

光片顯微鏡作為一種新興的顯微成像技術(shù)，能夠以高速度、高分辨率和低光毒性成像大體積樣本。這種技術(shù)極其適用于三維組織成像、活體成像、多色熒光成像等場(chǎng)景，在病理分析中有著廣泛的應(yīng)用前景。隨著光片顯微鏡技術(shù)的不斷發(fā)展，算法的進(jìn)步也在推動(dòng)病理分析邁向新的高度。

虛擬染色技術(shù)

傳統(tǒng)組織染色方法如H&E染色雖對(duì)病理學(xué)發(fā)展有重要作用，但存在時(shí)間成本高、操作繁瑣、樣本損壞和染色一致性差等問(wèn)題。

虛擬染色技術(shù)興起得益于數(shù)字病理學(xué)和計(jì)算機(jī)視覺(jué)技術(shù)的快速發(fā)展。它利用圖像算法將顯微鏡下的無(wú)染色或輕度染色的生物組織圖像轉(zhuǎn)換為類似于傳統(tǒng)染色效果的技術(shù)。其顯著減少染色過(guò)程所需時(shí)間和成本，在組織病理學(xué)中，除固定樣本外，只需用類似H&E染色的熒光標(biāo)記物進(jìn)行標(biāo)記，整個(gè)樣本準(zhǔn)備過(guò)程少于3分鐘，并且減少額外材料開(kāi)支。其圖像算法在GPU上并行處理時(shí)可在亞毫秒級(jí)處理每幀圖像。例如Jonathan T.C.Liu課題組提出的快速數(shù)字染色軟件包（FalseColor-Python）通過(guò)GPU加速處理大規(guī)模數(shù)據(jù)集，實(shí)現(xiàn)高效虛擬染色。

不同研究者針對(duì)各種視覺(jué)的定量指標(biāo)進(jìn)行對(duì)比，發(fā)現(xiàn)虛擬染色的結(jié)果與傳統(tǒng)染色結(jié)果非常接近。同時(shí)對(duì)一些臨床分析的結(jié)果進(jìn)行對(duì)比，發(fā)現(xiàn)虛擬染色的結(jié)果并不會(huì)影響*終的判斷。這些結(jié)果表明通過(guò)虛擬染色生成的病理圖像是可靠的，可以在不影響診斷信息的情況下提供高質(zhì)量的組織圖像。

虛擬染色技術(shù)允許研究者在同一圖像上應(yīng)用不同的染色方案，無(wú)需對(duì)樣本進(jìn)行多次處理，減少對(duì)樣本的損耗和操作成本，提供更加靈活和多樣化的選擇。例如Zhang等人通過(guò)深度學(xué)技術(shù)對(duì)未標(biāo)記的組織樣本進(jìn)行虛擬染色，*復(fù)現(xiàn)H&E染色、Masson三色和Jones'銀染色，該方法能在單個(gè)組織切片上實(shí)現(xiàn)多重染色，無(wú)需進(jìn)行多次物理處理，大大提高組織學(xué)分析的效率和準(zhǔn)確性。Liu等人同樣利用深度學(xué)方法，從H&E染色圖像中生成虛擬的免疫組織化學(xué)（Immunohistochemistry，IHC）圖像，從而在不進(jìn)行實(shí)際染色的情況下，獲得同樣高質(zhì)量的診斷信息。

虛擬染色結(jié)果。（a）用FalseColor-Python染色的病理組織（皮膚、腎臟、前列腺癌、表皮的基底層、腎小管、前列腺），通過(guò)調(diào)整染色參數(shù)實(shí)現(xiàn)不同風(fēng)格的結(jié)果；（b）淋巴結(jié)虛擬染色前后對(duì)比圖。左側(cè)為用H&E熒光類似物染色的可視化，右側(cè)為用FalseColor-Python虛擬H&E染色的可視化；（c）利用Cycle-GAN將H&E染色風(fēng)格的病理圖像轉(zhuǎn)變?yōu)镮HC染色風(fēng)格，能夠準(zhǔn)確預(yù)測(cè)出Ki-67的表達(dá)分布

虛擬染色通過(guò)算法實(shí)現(xiàn)，對(duì)于同樣的組織樣本，只要保持參數(shù)一致，就能夠提供一致的染色效果，避免傳統(tǒng)染色方法中的人為誤差和實(shí)驗(yàn)室間差異。

傳統(tǒng)染色方法可能對(duì)樣本造成損傷，而虛擬染色技術(shù)是非破壞性的。研究者可以多次對(duì)同一樣本進(jìn)行不同的虛擬染色處理，保留原始樣本的完整性。例如Jonathan T.C.Liu課題組的研究展示一種多分辨率非破壞性三維病理學(xué)方法，通過(guò)結(jié)合熒光染色和光學(xué)透明化技術(shù)，對(duì)淋巴結(jié)進(jìn)行全方位成像，提高淋巴結(jié)轉(zhuǎn)移分期的準(zhǔn)確性。

同時(shí)，虛擬染色技術(shù)可以很好地與光片熒光顯微鏡相結(jié)合。例如 Jonathan T.C.Liu課題組的研究中采用開(kāi)頂式光片顯微鏡對(duì)經(jīng)過(guò)H&E染色熒光類似物標(biāo)記的組織樣本進(jìn)行成像。

這種結(jié)合可以顯著降低染色成本、提高病理分析效率、減少樣品損傷等，為病理分析提供強(qiáng)有力的工具，具有廣闊的應(yīng)用前景。

病理分析的研究進(jìn)展

光片熒光顯微成像技術(shù)：可快速、非破壞性地獲取高分辨率三維圖像，在癌癥研究、神經(jīng)科學(xué)和發(fā)育生物學(xué)等領(lǐng)域有巨大潛力，能實(shí)現(xiàn)大樣本高通量分析和動(dòng)態(tài)過(guò)程實(shí)時(shí)監(jiān)測(cè)。

虛擬染色技術(shù)：通過(guò)計(jì)算方法替代傳統(tǒng)染色過(guò)程，加快病理切片處理速度，減少染色劑使用，提高環(huán)境友好性。

機(jī)器學(xué)和數(shù)字圖像處理技術(shù)：

• 二維病理分析：是病理學(xué)研究的基石，隨著人工智能發(fā)展，利用深度學(xué)算法對(duì)病理圖像進(jìn)行分類診斷，在乳腺癌等疾病的病理分析中有諸多應(yīng)用，但存在無(wú)法充分展示組織結(jié)構(gòu)復(fù)雜性和空間關(guān)系的局限性。

作者提出框架的概述，包含標(biāo)注、訓(xùn)練和推理方法。（a）*病理學(xué)家使用計(jì)算機(jī)輔助標(biāo)注軟件，根據(jù)患者的H&E染色和相應(yīng)的IHC染色組織微陣列圖像對(duì)PD-L1狀態(tài)進(jìn)行標(biāo)注；（b）通過(guò)五折交叉驗(yàn)證使用訓(xùn)練集的H&E圖像訓(xùn)練CNN模型，并在驗(yàn)證集、測(cè)試集上生成每個(gè)患者的預(yù)測(cè)分?jǐn)?shù)，取*值與病理學(xué)家標(biāo)注進(jìn)行比較以進(jìn)行統(tǒng)計(jì)分析

• 三維病理分析：光片熒光顯微鏡在三維病理分析中有諸多優(yōu)勢(shì)，能提供更全面*的組織結(jié)構(gòu)信息。如 Jonathan T.C.Liu課題組提出的TriPath平臺(tái)，以及在前列腺癌、乳腺癌等組織上的一系列工作，還有其他關(guān)于不同組織的研究，都展示了三維病理分析的優(yōu)勢(shì)，結(jié)合自動(dòng)化算法可幫助醫(yī)生更準(zhǔn)確診斷疾病。

TriPath計(jì)算工作流程。（a）3D成像模式可以捕捉組織樣本的高分辨率體積圖像；（b）TriPath首先將組織的體積圖像從背景中分離出來(lái)，然后將原始體積切分成小塊；（c）這些小塊通過(guò)預(yù)訓(xùn)練的特征編碼器網(wǎng)絡(luò)進(jìn)行處理（3D CNN或3D Vision Transformer）。這些編碼特征通過(guò)一個(gè)領(lǐng)域適應(yīng)的淺層全連接網(wǎng)絡(luò)進(jìn)行壓縮。接下來(lái)，一個(gè)聚合模塊對(duì)代表所有實(shí)例的特征進(jìn)行聚合，根據(jù)其對(duì)體積級(jí)特征貢獻(xiàn)的重要性自動(dòng)加權(quán)，以生成患者級(jí)別的預(yù)測(cè)。TriPath還提供了顯著性熱圖用于臨床解釋和驗(yàn)證。

三維病理分析工作介紹。（a）左側(cè)三列分別為二維的虛擬染色H&E圖像、合成CK8 IHC圖像、CK8圖像的腺體分割掩膜。右側(cè)展示了良性和癌性區(qū)域的腺體分割的三維渲染圖；（b）上方：在模擬組織學(xué)圖像中觀察到一個(gè)微小轉(zhuǎn)移灶（<2毫米）。左下角：深度3D成像顯示腫瘤沉積為一個(gè)大轉(zhuǎn)移灶（>2毫米）。右下角：高分辨率成像顯示了轉(zhuǎn)移灶和良性組織之間的界面；（c）使用Amira和MATLAB軟件包對(duì)單細(xì)胞進(jìn)行自動(dòng)定量，評(píng)估了腫瘤每個(gè)細(xì)胞中的波形蛋白水平，并對(duì)其表達(dá)做了三維渲染

病理分析大模型：病理分析大模型是在醫(yī)療健康領(lǐng)域應(yīng)用的大規(guī)模預(yù)訓(xùn)練模型，參數(shù)量大，具備更強(qiáng)的特征提取和學(xué)能力，在不同任務(wù)場(chǎng)景下泛化性好。如UNI模型、Prov-GigaPath模型、Virchow模型等，這些模型在不同的病理學(xué)任務(wù)中表現(xiàn)優(yōu)異。

病理分析大模型概覽。（a）UNI概覽；（b）Prov-GigaPath概覽；（c）Virchow概覽

多模態(tài)大語(yǔ)言模型的應(yīng)用及發(fā)展

多模態(tài)大語(yǔ)言模型的發(fā)展追溯到Transformer結(jié)構(gòu)的提出，隨后基于Transformer的GPT、BERT等語(yǔ)言基礎(chǔ)模型誕生，接著ViT模型將Transformer應(yīng)用到計(jì)算機(jī)視覺(jué)領(lǐng)域，CLIP架構(gòu)實(shí)現(xiàn)了多模態(tài)信息的融合。

主流多模態(tài)大語(yǔ)言模型主要由圖像編碼器和文本編碼器經(jīng)過(guò)CLIP框架預(yù)訓(xùn)練，再結(jié)合預(yù)訓(xùn)練的LLM等組成，采用多種訓(xùn)練方式，如參數(shù)高效微調(diào)方法等。

多模態(tài)大語(yǔ)言模型的核心組件

多模態(tài)大語(yǔ)言模型在病理分析領(lǐng)域的應(yīng)用

• 生成醫(yī)學(xué)報(bào)告：根據(jù)病人影像資料和病歷文本自動(dòng)生成詳細(xì)醫(yī)學(xué)報(bào)告，節(jié)省醫(yī)生時(shí)間，提高工作效率和報(bào)告準(zhǔn)確性。

• 診斷疾病：結(jié)合影像和文本數(shù)據(jù)提高疾病診斷準(zhǔn)確性，如在肺癌早期篩查中的應(yīng)用。

• 數(shù)字病理分析：通過(guò)學(xué)病理圖像和診斷信息，自動(dòng)識(shí)別、計(jì)算和分類病理組織，為病理醫(yī)生提供輔助工具。

• 人機(jī)交互：實(shí)現(xiàn)自然和直觀的人機(jī)交互，方便醫(yī)學(xué)工作者獲取信息和建議。

• 應(yīng)用案例：如Tiu等人利用CLIP模型實(shí)現(xiàn)對(duì)多種疾病的檢測(cè)，還有CONCH模型、PathChat模型、PathAsst模型、M3D-LaMed模型等在不同病理分析任務(wù)中的應(yīng)用。

遵循指令的數(shù)據(jù)集管理和PathChat概述。（a）作者策劃了目前*的專門用于病理學(xué)領(lǐng)域的指令微調(diào)數(shù)據(jù)集，由456,916條指令和相應(yīng)的響應(yīng)組成，涵蓋各種格式。該助手可以對(duì)視覺(jué)和自然語(yǔ)言輸入進(jìn)行推理；（b）PathChat的訓(xùn)練過(guò)程

PathAsst整體框架示意圖。多模態(tài)MLLM訓(xùn)練包括PathCLIP和PathAsst的訓(xùn)練過(guò)程以及論文嵌入數(shù)據(jù)庫(kù)的構(gòu)建。工具增強(qiáng)的MLLM推理詳細(xì)說(shuō)明了PathAsst利用各種工具來(lái)提高其生成輸出質(zhì)量的過(guò)程

M3D-LaMed模型概述。（a）3D圖像編碼器通過(guò)與圖像-文本對(duì)進(jìn)行跨模態(tài)對(duì)比學(xué)損失預(yù)訓(xùn)練，執(zhí)行圖像-文本檢索。（b）在M3D-LaMed模型中，3D醫(yī)學(xué)圖像被輸入到預(yù)訓(xùn)練的3D圖像編碼器和有效的3D空間池化感知器中，以生成精細(xì)的嵌入并插入到LLM中。輸出的[SEG]視為提示符，以調(diào)用可提示的3D醫(yī)學(xué)分割模型，從而獲得3D掩碼輸出。通過(guò)我們的M3D-Data，M3D-LaMed可以應(yīng)用于各種3D醫(yī)學(xué)任務(wù)

多模態(tài)大語(yǔ)言模型結(jié)合光片顯微鏡展望

• 模型復(fù)雜性與計(jì)算資源：模型結(jié)構(gòu)復(fù)雜、參數(shù)多，三維病理圖像數(shù)據(jù)處理更復(fù)雜，需要強(qiáng)大計(jì)算資源，這是研究機(jī)構(gòu)和醫(yī)療機(jī)構(gòu)的瓶頸，但隨著技術(shù)發(fā)展有望突破。

• 三維病理數(shù)據(jù)獲取與標(biāo)注困難：需要大量三維病理圖像-文本對(duì)數(shù)據(jù)，目前缺乏大規(guī)模三維病理數(shù)據(jù)集，光片顯微鏡可解決此問(wèn)題，還可通過(guò)模態(tài)遷移與適配在現(xiàn)有二維病理大模型上進(jìn)行改進(jìn)。

• 可能存在的問(wèn)題：可能存在偏見(jiàn)和知識(shí)抄襲問(wèn)題，且容易產(chǎn)生幻覺(jué)和錯(cuò)誤，需要謹(jǐn)慎整合到病理實(shí)踐中，病理學(xué)家要驗(yàn)證其生成內(nèi)容。

• 應(yīng)用前景：光片顯微鏡與多模態(tài)大語(yǔ)言模型結(jié)合可改善三維病理數(shù)據(jù)獲取與標(biāo)注困難，處理一系列病理分析任務(wù)，具有巨大臨床價(jià)值，雖然面臨挑戰(zhàn)，但隨著技術(shù)進(jìn)步有望解決，應(yīng)用前景廣闊。

結(jié)與展望

光片熒光顯微鏡具有高分辨率、成像速度快、光毒性和光漂白低等優(yōu)勢(shì)，在生物醫(yī)學(xué)領(lǐng)域應(yīng)用廣泛且不斷發(fā)展，在三維病理成像領(lǐng)域潛力巨大。人工智能技術(shù)在病理分析中的應(yīng)用不斷發(fā)展，從傳統(tǒng)的CNN模型到通用的綜合性病理分析大模型。光片熒光顯微鏡與多模態(tài)大語(yǔ)言模型結(jié)合將為病理分析領(lǐng)域提供更強(qiáng)大的工具支持，推動(dòng)該領(lǐng)域進(jìn)一步發(fā)展。

內(nèi)容來(lái)源：費(fèi)鵬, 思文天, 張敏. 基于光片熒光顯微鏡的三維病理分析綜述[J]. 光學(xué)學(xué)報(bào)（網(wǎng)絡(luò)版）, 2024, 01(05): 02.