Откриване и превод на субтитри в реално време, задвижвани от AI

Резюме

VitaScribe е настолно приложение за Windows, изградено с WPF и .NET 9, което предоставя превод на субтитри в реално време чрез наслагване за всяко видео, което се възпроизвежда на екрана на потребителя. Системата работи в три отделни режима: (1) автоматично разпознаване на субтитри чрез YOLO с OCR и превод, (2) ръчно заснемане на екрана на базата на региони с OCR и превод, и (3) транскрипция на аудио чрез Whisper с превод. Приложението е създадено за образователна достъпност, позволявайки на студентите да консумират лекции и уроци, които съществуват само на чужд език, както и позволявайки на учителите да използват международни образователни ресурси в класните си стаи.

Проблемна област

Най-висококачественото образователно съдържание в света — лекции от MIT OpenCourseWare, специализации в Coursera, специализирани уроци в YouTube — е предимно създадено на английски или малък брой доминиращи езици. Учениците в държави, които не говорят английски, обменните студенти и възрастните учащи често нямат езиковите познания, за да консумират това съдържание ефективно. Съществуващите решения, като функцията за автоматичен превод на YouTube, са бавни, неточни и недостъпни за много видео платформи. VitaScribe адресира тази празнина, като предоставя платформено-независим, локален pipeline за превод в реално време, който работи върху всеки видео източник.

Системен pipeline

Целият процес на обработка работи за под 200ms от край до край. YOLO открива регионите със субтитри, PaddleOCR извлича текста, а преводаческият двигател генерира финалния изход — всичко това паралелно върху GPU.

Ключови показатели

Технологичен стек