Abstract
<jats:p>Цель исследования: разработать и протестировать алгоритм взаимодействия между моделью глубокого обучения для мультиклассовой классификации биомаркеров на изображениях оптической когерентной томографии (ОКТ) и большой языковой моделью (LLM) DeepSeek-V3 с целью повышения точности дифференциальной диагностики заболеваний сетчатки. Материалы и методы: нами были собраны и размечены два набора данных: тренировочный (n=3288 изображений ОКТ центральной зоны сетчатки, размеченных по 8 биомаркерам) и валидационный (n=50 клинических случаев с сайта octcases.com). Для классификации биомаркеров сравнивались архитектуры ResNet, DenseNet, EfficientNet и Vision Transformer (ViT-Tiny-Patch16-224). Наибольшую эффективность показала модель ViT-Tiny с метриками F1 macro 0.84±0.03 и ROC AUC 0.9. Разработан алгоритм интеграции полученных меток с данными клинического анамнеза через API-интерфейс LLM DeepSeek-V3. Результаты: комбинация OCT-биомаркеров и анамнеза повысила диагностическую точность: Top-1 Accuracy – 78%, Top-3 – 94%, MRR – 84%, что на 10–44% выше, чем при использовании одного типа данных. Заключение: предложенный подход позволяет автоматизировать выявление биомаркеров на ОКТ и повысить точность дифференциальной диагностики заболеваний глаз, обеспечивая снижение времени интерпретации снимков и поддержку клинических решений.</jats:p>