Дмитро Харченко
Аспірант, спеціальність 122 «Комп'ютерні науки»
Черкаський національний університет імені Богдана Хмельницького
Dmytro Kharchenko · PhD student in Computer Science, Bohdan Khmelnytsky National University of Cherkasy
Дослідження
- Тема дисертації: «Комп'ютерна технологія інтерактивного візуально-семантичного аналізу відеопотоку»
- Науковий керівник: д.т.н., доцент Осауленко Ігор Анатолійович
- Кафедра: Кафедра інтелектуальних систем прийняття рішень, факультет обчислювальної техніки, інтелектуальних та управляючих систем
Досліджую, як прискорити інтерактивний аналіз відео великими візуально-мовними моделями. Ідея проста: текстовий запит користувача керує тим, яку частину кадру модель розглядає детально.
Легкий зовнішній модуль оцінює, наскільки фрагменти кадру стосуються запиту, ще до глибокого аналізу, а далі модель працює лише з відібраними візуальними токенами. Для відеопотоку додано детектор ключових кадрів: глибокий аналіз запускається лише тоді, коли релевантна область змінюється.
Програмний прототип має обгортки для моделей BLIP, Qwen2-VL і LLaVA; його можна подивитись у демонстрації.