Задача:
Создать сервис, где менеджер мог бы загружать множество текстовых сюжетов для видео, а система сама генерировала и публиковала на ютуб видео.
От клиента прилагался премиум доступ к видео и фотостокам.
Решение:
Создали сервис, который состоит из нескольких частей:
- Интерфейс административной панели для менеджеров;
- Backend сервис для сбора данных из видео и фотостоков и для синхронизации с сервером, где работает after effect;
- Backend сервис для публикации видео в ютуб;
- Backend сервис для работы с openai.com для обработки текста.
Ниже можно посмотреть видео одной из ранних версий проекта с инструкцией как создавать задачи на генерацию видео:
Проработали техническое решение как работать с тектом, чтобы более точно определять смысл сюжета.
Как это все работает? Если коротко, то менеджер загружает текст сюжета, система выявляет короткие смысловые участки текста с помощью машинного обучения, и на их основании ищет видео и фото материалы на стоках.
Далее формирует таймлайн и распределяет материалы. После готовый таймлайн и файлы отправляются на рендеринг.
На каждом шаге менеджер может вмешиваться в процесс, чтобы вручную отредактировать результат автоматической работы.
После релиза основной версии выпустили обновление, где интегрировали в сервис Google Text to Speech (https://cloud.google.com/text-to-speech).
🔉 Чтобы у роликов появилась озвучка.
Во время работы над проектом придумали 3 вида интерфейса задач для административной панели, в работу ушел один из вариантов без правок.
Для анализа текста средствами машинного обучения взяли решение от OpenAI, сервис работает на основе алгоритма GPT-3, поэтому для текста это был отличный вариант в рамках этого проекта.
Итого:
Создали и опубликовали на сервере клиента созданные сервисы. Выполнение заняло несколько месяцев.
Написали пользовательскую инструкцию для менеджера как пользоваться инструментом. Продолжаем работать в режиме поддержки.
