Междоменное глубокое трансферное обучение для сегментации разветвленных структур

Интеллектуальные системы и технологии, искусственный интеллект
Авторы:
Аннотация:

Сегментация тонких разветвленных структур в объемной визуализации является нетривиальной задачей компьютерного зрения из-за низкого контраста, выраженного дисбаланса классов и большой вариативности в масштабе и топологии. В данной работе исследуется подход междоменного глубокого трансферного обучения, использующий морфологическое сходство сосудистоподобных разветвленных структур в разных модальностях визуализации. Модели предварительно обучаются на богатом данными наборе FIVES для сегментации сосудов сетчатки, после чего дообучаются на подмножестве набора данных NSCLC-Radiogenomics с КТ-изображениями грудной клетки и аннотациями разветвленных структур. Оцениваются четыре архитектуры на основе U-Net (стандартная U-Net, Attention U-Net, R2 U-Net и Dense U-Net), а также модели DeepLabV3 с базовыми сетями ResNet50 и ResNet101. Применяется единый конвейер обучения, включающий многоэтапную нормализацию интенсивностей и контраста, а также 10-кратную стратифицированную перекрестную проверку. Качество сегментации измеряется метриками Accuracy, Precision, Dice (F1-мера) и площадью под ROC-кривой (AUC). Междоменное трансферное обучение приводит к существенному улучшению по сравнению с обучением «с нуля»: значения Dice увеличиваются с почти нулевых до 0,48 и более для лучших моделей. Модель Attention U-Net достигает максимального значения Dice 0,4814, тогда как DeepLabV3 (ResNet50) демонстрирует наивысшее значение AUC — 0,9621. Dense U-Net показывает сопоставимые результаты, в то время как R2 U-Net в меньшей степени выигрывает от предложенной схемы трансфера. Полученные результаты показывают, что использование междоменных морфологических априорных знаний является эффективным способом повышения качества сегментации разветвленных структур в условиях дефицита размеченных КТ-данных. Предложенная методология формирует воспроизводимую базу для дальнейших исследований в области трансферного обучения и сегментации тонких древовидных структур в объемной визуализации.

  • Список литературы

    1. Wu Y., Qi S., Wang M., Zhao S., Pang H., Xu J., Ren H. Transformer-based 3D U-Net for pulmonary vessel segmentation and artery-vein separation from CT images. Medical & Biological Engineering & Computing, 2023, Vol. 61, Pp. 2649–2663. DOI: 10.1007/s11517-023-02872-5

    2. Shariaty F., Zavjalov S. V., Pavlov V. A., Pervunina T. M., Orooji M. Inf-Seg: Automatic segmentation and quantification method for CT-based COVID-19 diagnosis. Computing, Telecommunications and Control, 2022, Vol. 15, No 3, Pp. 7–21. DOI: 10.18721/JCSTCS.15301

    3. Lenin Marksia U., Yesubai Rubavathi C. Accurate segmentation of COVID-19 infected regions in lung CT scans with deep learning. Neural Computing and Applications, 2024, Vol. 36, Pp. 22511–22531. DOI: 10.1007/s00521-024-10336-6

    4. Skalunova M., Shariaty F., Rozov S., Radmard A.R. Personalized Chemotherapy Selection for Lung Cancer Patients Using Machine Learning and Computed Tomography. 2023 International Conference on Electrical Engineering and Photonics (EExPolytech), 2023, Pp. 128–131. DOI: 10.1109/EExPolytech58658.2023.10318700

    5. Shariaty F., Pavlov V.A., Fedyashina S.V., Serebrennikov N.A. Integrating deep learning and explainable AI for non-invasive prediction of EGFR and KRAS mutations in NSCLC: A novel radiogenomic approach. 2024 V International Conference on Neural Networks and Neurotechnologies (NeuroNT), 2024, Pp. 32–35. DOI: 10.1109/NeuroNT62606.2024.10585441

    6. Shariaty F., Zavjalov S.V., Pavlov V.A., Pervunina T.M., Orooji M. Inf-Seg: Automatic segmentation and quantification method for CT-based COVID-19 diagnosis. Computing, Telecommunications and Control, 2022, Vol. 15, No. 3, Pp. 7–21. DOI: 10.18721/JCSTCS.15301

    7. Deng X., Li W., Yang Y., Wang S., Zeng N., Xu J., Hassan H., Chen Z., Liu Y., Miao X., Guo Y., Chen R., Kang Y. COPD stage detection: leveraging the auto-metric graph neural network with inspiratory and expiratory chest CT images. Medical & Biological Engineering & Computing, 2024, Vol. 62, No. 6, Pp. 1733–1749. DOI: 10.1007/s11517-024-03016-z

    8. Khan A., Garner R., La Rocca M., Salehi S., Duncan D. A novel threshold-based segmentation method for quantification of COVID-19 lung abnormalities. Signal, Image and Video Processing, 2023, Vol. 17, No. 4, Pp. 907–914. DOI: 10.1007/s11760-022-02183-6

    9. Sasidhar B. Segmentation of Lung Regions for the Detection of Juxta-Pleura Nodules in CT scan. Intelligent Computing and Communication (ICICC 2022), 2023, Vol. 1447, Pp. 233–239. DOI: 10.1007/978-981-99-1588-0_21

    10. Shariaty F., Mousavi M., Moradi A., Oshnari M.N., Navvabi S., Orooji M., Novikov B. Semi-automatic segmentation of COVID-19 infection in lung CT scans. International Youth Conference on Electronics, Telecommunications and Information Technologies, 2022, Vol. 268, Pp. 67–76. DOI: 10.1007/978-3-030-81119-8_7

    11. Dhanwanth B., Vivek B., Shobana P., Sineghamathi G., Joshi A. Advanced machine learning techniques for precise lung cancer detection from CT scans. Technology: Toward Business Sustainability, 2024, Vol. 925, Pp. 328–349. DOI: 10.1007/978-3-031-54019-6_30

    12. Galdran A., Anjos A., Dolz J., Chakor H., Lombaert H., Ben Ayed I. State-of-the-art retinal vessel segmentation with minimalistic models. Scientific Reports, 2022, Vol. 12, Art. no. 6174. DOI: 10.1038/s41598-022-09675-y

    13. Oktay O., Schlemper J., Le Folgoc L., Lee M., Heinrich M., Misawa K., Mori K., McDonagh S., Hammerla N.Y., Kainz B., Glocker B., Rueckert D. Attention U-Net: Learning where to look for the pancreas. arXiv:1804.03999, 2018. DOI: 10.48550/arXiv.1804.03999

    14. Alom M.Z., Hasan M., Yakopcic C., Taha T.M., Asari V.K. Recurrent Residual Convolutional Neural Network based on U-Net (R2U-Net) for Medical Image Segmentation. arXiv:1802.06955, 2018. DOI: 10.48550/arXiv.1802.06955

    15. Zhou Z., Siddiquee M.M.R., Tajbakhsh N., Liang J. UNet++: A Nested U-Net Architecture for Medical Image Segmentation. Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support, 2018, Vol. 11045, Pp. 3–11. DOI: 10.1007/978-3-030-00889-5_1

    16. Chen L.-C., Papandreou G., Kokkinos I., Murphy K., Yuille A.L. DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, Vol. 40, No. 4, Pp. 834–848. DOI: 10.1109/TPAMI.2017.2699184

    17. Jin K., Huang X., Zhou J., Li Y., Yan Y., Sun Y., Zhang Q., Wang Y., Ye J. FIVES: A fundus image dataset for artificial intelligence based vessel segmentation. Scientific Data, 2022, Vol. 9, Art. no. 475. DOI: 10.1038/s41597-022-01564-3

    18. Clark K., Vendt B., Smith K., Freymann J., Kirby J., Koppel P., Moore S., Phillips S., Maffitt D., Pringle M., Tarbox L., Prior F. The Cancer Imaging Archive (TCIA): Maintaining and operating a public information repository. Journal of Digital Imaging, 2013, Vol. 26, Pp. 1045–1057. DOI: 10.1007/s10278-013-9622-7

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License
Следующая статья