Агент заполняет бумажные формы по картинкам
1 просмотр
Агент находит на фото или скане формы нужные поля, определяет их положение и подставляет данные. Картинку он разбирает моделью Gemini (или GPT-4o).
- Для кого
- Для себя
Что понадобится
- Инструменты
- Gemini — Нейросеть и чат-бот от Google
- Нужно
Доступ к модели Gemini или GPT-4o. Знания программирования. Примеры форм для обучения агента.
- Сложность
- Нужен терминал
Как повторить
- Подготовьте изображения форм, которые нужно заполнять.
- Попросите модель распознавания (например, Gemini) проанализировать структуру формы.
- Определите координаты полей на изображении.
- Подготовьте данные для заполнения.
- Запустите агента, чтобы он сопоставил данные с полями.
- Получите заполненную форму.
Здесь короткая схема. Подробности — в оригинале у автора.
Читать оригиналПодробности
Автору приходилось заполнять бумажные формы, которые есть только в виде картинок (JPEG или PNG). Вводить данные вручную было долго и утомительно, поэтому он создал агента. Агент анализирует изображение моделью Gemini (или GPT-4o), определяет, какие в документе поля, и находит их точное расположение на картинке. Потом подставляет нужные данные на свои места. Так можно работать с устаревшими документами, которых ещё нет в электронном виде. Проект выложен на GitHub.
Источник
Оригинал: reddit.com (англ.)
Перевод и пересказ ahamoment
Добавлено 30 октября 2026 г.