Дневник стартапа #9: ИИ-ассистент на собственной базе знаний, генератор промптов и брендированные селфи

Привет, это Настя, руководитель отдела контента в Aigital — сервисе на основе нейросетей для решения маркетинговых задач. Мы придумываем и разрабатываем шаблоны, которые упрощают пользователям создание контента для рекламы, СМИ и соцсетей. Каждую неделю мы пишем о развитии стартапа и изнанке продукта.

В этом выпуске расскажем о нашем ИИ-ассистенте, который помогает формулировать промпты и работает на собственной базе знаний. Также подробно разберем, как и зачем превращать клиентов в лица вашего бренда.

ИИ-ассистент со своей базой знаний

Когда мы выпустили первых ИИ-ассистентов, увидели, что нам не хватает главного — помощника в работе с нейросетями и с нашим сервисом. Мы назвали его ИИ-гид и запрограммировали помогать пользователям писать промпты. Но в процессе разработки поняли, что он также может подсказывать пользователям, как решать задачи с помощью Aigital.

Как работает

Как и всем нашим ассистентам, мы прописали ИИ-гиду сложную роль: специалиста в области ИИ, промпт-инженера, компетентного в области обработки естественного языка и машинного обучения. Он хорошо знаком со спецификой работы различных ИИ-моделей. Задача ассистента — консультировать различных специалистов в том, как ИИ может помочь в их повседневных задачах.

Например, продакт-менеджер может спросить его, как использовать нейросети в своей работе, и ассистент объяснит, какие задачи можно делегировать искусственному интеллекту.

Если попросить ИИ-гида помочь с промптом для текста или картинки, он пропишет подробный промпт с учетом особенностей взаимодействия как с LLM-ками, так и с графическими моделями. Он обучен на примерах наших промпт-инженеров.

Так, например, если пользователь просит написать промпт для генерации изображения, он пропишет передний и задний план, особенности композиции и настройки камеры. Для LLM-модели он задаст роль, компетенции, подробно опишет задачу и ожидаемый результат.

В ассистенте прописан стиль общения: он должен быть дружелюбным, заботливым и заинтересованным в решении задач пользователя. Мы просим его общаться профессионально, избегая жаргонизмов, как если бы он советовал что-то другу или коллеге.

Особенность этого ассистента в том, что при поиске ответа он обращается к нашей базе знаний. Можно попросить ИИ помочь решить конкретную задачу в Aigital.

Например, я спросила ИИ-гида, как вывести новую коллекцию товаров на рынок с помощью Aigital, и он подсказал ассистентов и навыки, которые помогут в этом.

Аватарка с помощью нейросетей

Мы обновили навык «Аватарка» — маркетинговый инструмент для создания персонализированных брендированных картинок. У него изначально был крутой потенциал, но качество генераций нас не устраивало, поэтому тестировали разные модельки.

На этой неделе пересобрали цепочку моделей, и теперь навык лучше передает как задумку пользователя, так и черты лица с фотографии. И прежде чем перейдем к техническим подробностям, давайте обсудим, зачем в маркетинге и продажах генерировать аватарки.

Во-первых, с помощью этой технологии гораздо проще обновлять визуальный контент. Достаточно загрузить фотографию и описать роль, которую будет играть этот человек. Так можно сделать лицом своей рекламной кампании сотни покупателей, чтобы быть ближе к аудитории и создать более крепкую эмоциональную связь с брендом.

Также вы можете персонифицировать свой бренд, сгенерировав персонажа в навыке «Фотосток: Люди», чтобы использовать его для рекламных креативов, баннеров и контента в соцсетях. Например, фото для своих ИИ-ассистентов мы сгенерировали в навыке «Фотосток: Люди», а с помощью «Аватарки» можем представлять их в разных образах на сайте и в телеграм-канале.

Как работает

Создание аватарки состоит из 6 этапов.

• В интерфейсе сервиса пользователь добавляет фото и пишет текстовый запрос, по которому будет генерироваться картинка.

Чтобы черты лица на картинке были больше похожи на оригинал, загружайте фотографии анфас, без дополнительных аксессуаров вроде солнечных очков.

• Полученный текстовый запрос нейросеть переводит на английский язык.
• В это время GPT-4 Vision анализирует загруженную фотографию, определяет пол, расу, цвет глаз и кожи, форму губ, овал лица и другие детали. Это сканирование и изучение фото позволяет сгенерировать аватарку максимально похожей на оригинал. Без Vision можно получить изображение человека другого пола, с другим цветом кожи или иными чертами лица.
• Vision выдает текстовое описание лица, которое объединяется с пользовательским запросом. Здесь же прописываются дополнительные параметры для генерации качественного фотореалистичного изображения.
• Затем этот промпт передается в графическую нейросеть Fooocus, настроенную генерировать реалистичные портреты. Она создает фотореалистичное изображение по пользовательскому запросу с персонажем, по описанию похожим на человека с фото.
• На следующем этапе происходит замена лица. С помощью технологии Face Swap лицо на сгенерированной картинке меняется на лицо с фотографии.

Новости проекта

• На этой неделе база Aigital преодолела гигабайт сгенерированных пользователями данных. Это зашифрованные результаты генераций в различных навыках. Благодаря базе пользователи могут обращаться к истории генераций и возвращаться к своим постам в соцсети, статьям, рекламным креативам и прочим наработкам. Год назад этот объем казался нам нереальным.
• Работаем над онбордингом и полезными материалами об ИИ, которые будут доступны прямо на платформе.
• Готовим к выпуску транскрибатор и саммаризатор аудио- и видеозвонков. Уже испытали на своих созвонах, чуть-чуть допилим и добавим на платформу.

На следующей неделе расскажем о бизнес-кейсе и ИИ-ассистенте «Креатологе», которых выбрали читатели предыдущих дайджестов.

Если вы используете Aigital более двух недель и уже покупали один из пакетов кредитов, хотим пригласить вас на интервью. Нам интересно узнать, как вы работаете с платформой, какие задачи решаете и с какими сложностями сталкиваетесь.

Записаться на интервью можно через Calendly или «Планерку» (привет, Роман Рабочий), либо напишите мне в телеграм — nastassi_k, я подберу удобное время.

А если вам интересно читать о мире нейросетей, идеях и фейлах проекта, подписывайтесь на наш телеграм-канал. А то мы каждый раз под мемами намекаем на него, а подписаться ни разу не пригласили :)

Предыдущий выпуск дневника можно почитать по ссылке.