Пошаговая инструкция из записи экрана
Сценарий подходит для внутренней инструкции по устойчивой операции в программе. Распознавание речи и анализ кадров помогают собрать порядок, но не знают, обязательна ли пауза, почему выбран конкретный параметр и что увидит пользователь с другой ролью.
Цель и граница автоматизации
Что меняем
Сценарий подходит для внутренней инструкции по устойчивой операции в программе. Распознавание речи и анализ кадров помогают собрать порядок, но не знают, обязательна ли пауза, почему выбран конкретный параметр и что увидит пользователь с другой ролью. Практическая цель этой схемы - получить черновик инструкции с шагами, снимками и местами проверки в форме, которую ответственный может проверить по исходным данным. Скорость полезна только вместе с понятной границей ответственности и журналом изменений.
Где останавливается ИИ
Удаляйте из записи пароли, персональные данные и секретные ключи до обработки. Скриншот не должен раскрывать больше, чем требуется для шага. ИИ завершает работу на стадии подготовки и разметки. Любое действие, которое меняет учетные данные, публикует текст, связывается с человеком или создает обязательство, выполняется только после явного подтверждения владельца процесса.
Страница построена вокруг контракта данных. Вход и результат описываются как отдельные наборы полей, между которыми можно провести проверку. Такой формат особенно полезен для документов, таблиц и каталога: свободный красивый текст не скрывает отсутствие обязательного значения.
Для каждого важного поля определите источник, допустимый формат, реакцию на пустое значение и человека, который подтверждает исправление. Если значение нельзя проследить до исходника, оно не должно автоматически попадать в рабочую систему.
Владелец, журнал и критерий готовности
До технической настройки назначьте одного владельца сценария «Пошаговая инструкция из записи экрана». Он утверждает справочники, определяет допустимые исключения и решает, когда результат «Черновик инструкции с шагами, снимками и местами проверки» можно использовать дальше. Администратор конструктора отвечает за доставку и права, а владелец процесса - за смысл полей и решение человека. Эти роли могут выполнять разные сотрудники.
В журнале храните идентификатор входа, время каждого шага, версию промпта, использованную модель, статус проверки и причину остановки. Не записывайте полный чувствительный текст только ради отладки. Готовность пилота подтверждается не одним удачным примером, а серией обычных, пограничных и ошибочных случаев, для которых известен ожидаемый маршрут и возможен безопасный повтор. Отдельно зафиксируйте, кто получает уведомление, если проверка не завершена в установленный срок или очередь исключений растет.
Какие входные данные подготовить
Подготовить демонстрацию
Эксперт проходит один процесс без лишних вкладок, называет цель, роль пользователя и ожидаемый результат. Для входа 1 сохраняйте источник, время получения и технический идентификатор. Пустое или противоречивое значение должно остановить обычную ветку, а не заменяться догадкой.
Получить расшифровку
Речь связывается с временными отметками, а неразборчивые названия и числа помечаются для ручной сверки. Для входа 2 сохраняйте источник, время получения и технический идентификатор. Пустое или противоречивое значение должно остановить обычную ветку, а не заменяться догадкой.
Выделить действия
ИИ отделяет клики и ввод от объяснений, формирует шаги и указывает кадр, на котором видно подтверждение результата. Для входа 3 сохраняйте источник, время получения и технический идентификатор. Пустое или противоречивое значение должно остановить обычную ветку, а не заменяться догадкой.
Добавить условия
Эксперт дописывает права роли, обязательные исходные данные, варианты ошибок и действия, которые в записи были выполнены молча. Для входа 4 сохраняйте источник, время получения и технический идентификатор. Пустое или противоречивое значение должно остановить обычную ветку, а не заменяться догадкой.
Что должно появиться на выходе
Поле 1: Чувствительные данные удалены
Результат должен позволять проверить условие «чувствительные данные удалены» без повторного чтения всего массива. Рядом храните основание, статус ручной проверки и дату последнего изменения.
Поле 2: Роль пользователя указана
Результат должен позволять проверить условие «роль пользователя указана» без повторного чтения всего массива. Рядом храните основание, статус ручной проверки и дату последнего изменения.
Поле 3: Шаги связаны с таймкодами
Результат должен позволять проверить условие «шаги связаны с таймкодами» без повторного чтения всего массива. Рядом храните основание, статус ручной проверки и дату последнего изменения.
Поле 4: Названия элементов сверены
Результат должен позволять проверить условие «названия элементов сверены» без повторного чтения всего массива. Рядом храните основание, статус ручной проверки и дату последнего изменения.
Инструкция по выгрузке отчета для роли редактора
Эксперт записывает экран администратора, открывает раздел аналитики и выгружает CSV. Он не проговаривает установленный фильтр даты, а в правом верхнем углу виден email клиента. У редактора часть пунктов меню скрыта, поэтому прямое повторение записи невозможно.
До обработки email закрывается, а роль явно фиксируется. Черновик связывает действия с таймкодами, но отмечает фильтр и доступ как недостающий контекст. Эксперт повторяет путь под ролью редактора, добавляет правильную точку входа и ожидаемое имя файла. Другой сотрудник выполняет инструкцию в тестовом контуре.
Если запись содержит пароль, секретный ключ или чувствительные данные, она не передается модели даже после автоматического размытия без ручной проверки. Сценарий останавливается, сообщает владельцу и требует безопасную повторную демонстрацию с тестовым аккаунтом.
Контрольные примеры для пилота
Запустить минимально заполненный пример для сценария «Пошаговая инструкция из записи экрана» и убедиться, что недостающие поля отмечены явно.
Повторить один вход дважды и проверить, что автоматизация не создает вторую запись и не стирает ручные исправления.
Передать противоречивые данные, связанные с риском «Запись может случайно раскрыть персональные данные или секрет.», и проверить переход к ручному разбору.
Искусственно отключить одно действие связки «Запись экрана + распознавание речи + кадры + ИИ + редактор документации» и проверить уведомление, журнал ошибки и безопасный повтор.
Правила решений и остановки
- Остановить обычный маршрут, если возникает риск: Запись может случайно раскрыть персональные данные или секрет.
- Передать ответственному случай, в котором возможно следующее: Интерфейс другой роли способен отличаться от демонстрации.
- Не публиковать и не записывать итог автоматически, пока не исключен риск: Молчаливое действие эксперта легко исчезает из инструкции.
- При повторном запуске использовать устойчивый идентификатор и сохранять ранее подтвержденную версию результата «Черновик инструкции с шагами, снимками и местами проверки».
Что передать модели
Промпт задает формат черновика, но не заменяет проверки входных данных и ограничений платформы. Скопируйте его как основу и подставьте собственный справочник полей.
Преобразуй расшифровку записи экрана с таймкодами в черновик инструкции. Для каждого шага верни action, interface_element, expected_state, timestamp, missing_context и screenshot_candidate. Не придумывай названия кнопок, права пользователя и результат скрытого действия.
Как работает сценарий
Подготовить демонстрацию
Эксперт проходит один процесс без лишних вкладок, называет цель, роль пользователя и ожидаемый результат.
Получить расшифровку
Речь связывается с временными отметками, а неразборчивые названия и числа помечаются для ручной сверки.
Выделить действия
ИИ отделяет клики и ввод от объяснений, формирует шаги и указывает кадр, на котором видно подтверждение результата.
Добавить условия
Эксперт дописывает права роли, обязательные исходные данные, варианты ошибок и действия, которые в записи были выполнены молча.
Повторить по инструкции
Другой сотрудник проходит процесс в тестовом контуре и отмечает шаги, которые нельзя выполнить без устного пояснения.
Проверочный список
Основные риски
Запись может случайно раскрыть персональные данные или секрет.
Интерфейс другой роли способен отличаться от демонстрации.
Молчаливое действие эксперта легко исчезает из инструкции.
Какие показатели отслеживать
Измеряйте путь до подтвержденного результата «Черновик инструкции с шагами, снимками и местами проверки», а не только скорость ответа модели.
Считайте изменения фактов, категорий и решений отдельно от стилистических правок. Так видно, где схема действительно ошибается.
Ошибки доставки, дубли и остановленные входы относятся к надежности автоматизации и не должны смешиваться с качеством текста.
Что уточнить перед внедрением
С чего начать безопасный пилот?
Возьмите небольшой исторический набор без лишних персональных данных, оставьте все действия в режиме черновика и сравнивайте результат с решением владельца процесса. Для связки «Запись экрана + распознавание речи + кадры + ИИ + редактор документации» заранее проверьте права доступа и журнал ошибок.
Когда можно уменьшить ручной контроль?
Только после того, как накоплена выборка по типовым и сложным случаям, отдельно посчитаны смысловые исправления и подтвержден безопасный откат. Даже тогда исключения из раздела рисков остаются у человека.