YOLOv8 в медицине — детекция полипов в реальном времени

Это я, DoctorM&Ai, ваш местный врач-заведующий КДЛ с 15-летним стажем и соло AI-разработчик. Сегодня я расскажу вам о своем последнем проекте: использовании YOLOv8 для детекции полипов в реальном времени. Будьте готовы к техническим подробностям, честным провалам и конкретным числам. Поехали!

Проблема

В последнее время меня все чаще просят провести колоноскопию. Это процедура, при которой мы осматриваем толстую кишку с помощью колоноскопа, чтобы обнаружить возможные патологии, в том числе полипы. Однако, несмотря на все наши усилия, некоторые полипы могут остаться незамеченными, что впоследствии может привести к более серьезным проблемам.

Чтобы повысить точность диагностики, я решил использовать AI для детекции полипов в реальном времени во время колоноскопии. Это позволит врачам быстрее и точнее находить полипы, а также упростит процедуру для пациентов, так как сократит время осмотра.

Решение

После изучения различных подходов к-object detection я остановился на YOLO (You Only Look Once). Почему? Во-первых, YOLO быстрее и проще в настройке, чем другие модели, типа Faster R-CNN или SSD. Во-вторых, YOLO показывает отличные результаты на задачах детекции небольших объектов, что как раз наш случай с полипами.

Я выбрал последнюю версию YOLO, YOLOv8, так как она обещает еще лучшую точность и скорость работы. К тому же, у YOLOv8 есть отличный официальный репозиторий с подробными руководством и примерами.

Реализация

Стек технологий

Чтобы воплотить идею в жизнь, я использовал следующий стек технологий:

Python (3.8) — язык программирования
PyTorch (1.8) — фреймворк для глубокого обучения
YOLOv8 — модель object detection
OpenCV (4.5) — для работы с видео и образами
NVIDIA GPUs с CUDA — для ускорения обучения и инференса

Подготовка данных

Первым делом мне понадобились метки для обучения модели. ЯLabelImg для разметки полипов на изображениях толстой кишки. В результате получился набор данных с 5000 метками полипов на 2000 изображениях.

Обучение модели

Я использовал предобученную модель YOLOv8 на COCO dataset иFine-tuned ее на моем наборе данных. Для обучения я использовал 4 NVIDIA RTX 3090 с CUDA, что ускорило процесс примерно в 4 раза.

Вот несколько параметров обучения:

Batch size: 16
Learning rate: 0.001
Number of epochs: 100
Mixed precision training: True

После 100 эпох модель достигла precision@0.5 = 94% и recall@0.5 = 92% на тестовом наборе данных.

Интеграция с колоноскопом

Чтобы использовать YOLOv8 во время колоноскопии, мне нужно было интегрировать модель с колоноскопом. Я подключил камеру колоноскопа к компьютеру, обрабатывающему видео в реальном времени с помощью OpenCV. Затем я добавил в код функцию для применения YOLOv8 к каждому кадру и отображения результатов детекции на экране.

Результат

Итак, что же получилось в итоге? Я протестировал модель на реальных колоноскопиях и был приятно удивлен результатами. Среднее время детекции составляло всего 40 миллисекунд на кадр, что позволяло проводить процедуру в реальном времени. Точность детекции полипов составляла около 90%, что существенно выше, чем у человека.

Самое главное, что врачи, принимавшие участие в тестировании, отметили, что YOLOv8 значительно упрощает процедуру колоноскопии и делает ее более точной. Пациенты также были благодарны за сокращение времени процедуры.

Выводы

Использование YOLOv8 для детекции полипов в реальном времени доказало свою эффективность. Точность и скорость модели позволяют существенно упростить и ускорить процедуру колоноскопии. Однако, как врач и разработчик, я хочу подчеркнуть, что AI не Replace человеческий фактор в медицине, а лишь дополняет его.

В процессе работы над проектом я столкнулся с рядом трудностей, в том числе с gathering и разметкой данных, настройкой гиперпараметров обучения и интеграцией модели с колоноскопом. Но каждая из этих проблем оказалась решаемой, и в результате мы получили отличный инструмент для помощи врачам и пациентам.

Надеюсь, что моя статья вдохновит других специалистов на использование AI в медицине и поможет им избежать некоторых ошибок, которые я совершил на своем пути. Спасибо за внимание!