Результаты
Что возвращает test-form: статусы результата, снимки экрана, ошибки журнала регистрации и диагностика подготовки.
Если менеджер тестирования не подключился при запуске, test-form повторяет
попытки в пределах оставшегося времени --timeout, пока порт принадлежит тому же
клиенту. Повторы прекращаются при подключении или при ошибке доступа либо
лицензирования. Поле connectAttempts показывает число попыток в фазе.
edt_test_form отвечает короче команды. Запуск, дошедший до итога, успешного или нет, возвращает
ok, status, assertions, reads, сообщения, окно над формой, observedFields, ошибки журнала
eventLog, а для непрошедшего сценария – его interaction. Этапы, окружение клиента, журналы
платформы и эхо сценария приходят с details=true или сами, когда запуск не дошел до итога:
подготовка, лицензия, предел времени и подобное. omitted называет то, что опущено. test-form и
его result.json сохраняют отчет целиком.
Команда печатает JSON и записывает result.json, если каталог результата уже создан.
Результат сценария содержит phases, наблюдения в interaction каждой фазы и проверки
assertions с полями expected, actual, ok. Для сообщений также записываются
baselineCount (сколько раз текст был в панели до нажатия) и panel. Снимки сохраняются в steps/screenshot.png и, если вторая фаза выполнена,
в reopen/screenshot.png. Проверка одной кнопки использует screenshot.png в каталоге
результата. Пути к снимкам указаны в JSON.
У запуска именованных сценариев одна фаза
scenarios и один снимок scenarios/screenshot.png после последнего сценария. scenarios в
результате содержит итог каждого сценария в порядке файла: name, ok, status, а также
assertions и reads, как у одиночного сценария. Сценарий, остановившийся на шаге, несет еще
stage, step, error и наблюдения шагов до него. summary дает число прошедших сценариев и
имена непрошедших. ok истинно, когда прошли все сценарии, а status берется у первого
непрошедшего.
При включенной EDT_BRIDGE_PII обвязка очищает ответ, result.json и отчеты для CI от персональных
данных. Поле piiFilter содержит режим и число замен. Итог проверки определяется исходными
значениями. Для снимка настольного клиента отчет указывает screenshotWithheld вместо пути.
См. Персональные данные.
Снимки веб-клиента с маской
Чтобы получить снимок с маской, установить EDT_BRIDGE_PII в redact или pseudonym и
передать --web-client команде test-form либо webClient=true инструменту edt_test_form.
- Для внешнего
.epfили.erfуказать путь к файлу, имя формы и кнопку либо один сценарий. Для набора именованных сценариев использовать настольный клиент. - Для существующего документа или элемента справочника передать команде
test-formпараметры--navigation-linkи--scenario, а также имя формы. Вedt_test_formпередатьnavigationLink,formиsteps.
- Подготовить в изолированном Linux Apache 2.4 с event MPM и модуль платформы
wsap24.so.EDT_BRIDGE_TEST_WEB_HTTPDзадает путь к Apache. По умолчанию используется/usr/local/apache2/bin/httpd. При запуске от root Apache нужна учетная записьwww-data. - Установить
edt-bridge-mcp[web]и запуститьpython -m playwright install chromiumв том же окружении. Оставить TCP-порты 1538–1539 свободными и доступными только внутри окружения. Обвязка ограничивает HTTP петлевым интерфейсом. Платформа слушает тестовый порт на сетевых интерфейсах окружения. - Запустить проверку. Обвязка публикует отдельную копию
1Cv8.1CDво временном процессе Apache. После проверки она закрывает Chromium и Apache и удаляет копию.
Веб-клиент открывает внешние файлы через диалог загрузки. Предупреждение платформы об
открытии файла остается на экране. Для автоматических проверок доверенных файлов
использовать тестового пользователя с подходящей настройкой платформы либо ограничить
DisableUnsafeActionProtection временными копиями с помощью .*/edt-bridge-web-.*.
Веб-клиент закрывает маской видимое содержимое DOM, которое подпадает под правила имен полей
и значений. Таблицы, встроенные изображения, canvas и фреймы скрываются перед съемкой. Для сохраненного
снимка отчет указывает screenshotMasked. Снимок доступен из result.json и во вложениях Allure.
В ответе MCP итоговый снимок передается как изображение. Если Chromium не смог обработать DOM
или получить снимок, отчет указывает screenshotWithheld и причину в screenshotError.
| Результат | Значение |
|---|---|
scenario_completed, ok=true |
Все проверки во всех запрошенных фазах прошли; обязательные снимки получены. |
assertion_failed |
Фактическое значение или число сообщений отличается от ожидаемого. |
message_baseline_not_empty |
Панель сообщений не изменилась, а ожидаемый текст в ней уже был; записало ли нажатие его снова, не установлено. |
scenario_error, command_error |
Не удалось выполнить действие, найти элемент или завершить операцию платформы. |
reopen_failed, not_run, interrupted |
Только именованные сценарии. Форму не удалось открыть заново перед этим сценарием; до сценария не дошло; сеанс остановился во время сценария. |
unexpected_dialog |
Нажатие открыло поверх формы окно предупреждения или вопроса, которого шаг не ждал. Поле dialog содержит его вид kind (warning, question), текст text и видимые кнопки buttons; сценарий на этом останавливается, вопрос остается без ответа, а вызывающая сторона решает, допустим ли такой ответ. |
dependency_missing, license_unavailable, access_denied, setup_failed |
Окружение или права не позволяют выполнить проверку. |
web_publication_failed |
Apache или Chromium не смогли запустить временную публикацию или открыть ее канал тестирования. |
client_environment |
Ни один conf.cfg, который читает клиент, не задает DisableUnsafeActionProtection, и клиент остановился бы на предупреждении безопасности; см. clientEnvironment и Подготовку окружения. |
timeout |
Истек общий предел времени. Записанный этап и доступный снимок показывают место остановки. |
screenshot_failed |
Наблюдения прошли проверки, но обязательный снимок не получен. |
pii_filter_failed |
Фильтр персональных данных завершился ошибкой. Ответ скрыт, каталог вывода очищен; notRemoved перечисляет файлы, которые удалить не удалось. |
eventLog.errors перечисляет ошибки, которые платформа записала в журнал регистрации
тестовой базы за время проверки. Ошибка серверного вызова показывает клиенту только окно
ошибки, а журнал сохраняет описание: у каждой записи есть message, module и line места,
где возникла ошибка, stack с вызывающими строками, event (_$PerformError$_ для ошибки
выполнения) и time. Ошибка, перехваченная в Попытка, в журнал не попадает и в списке
отсутствует. Журнал читается в текстовом формате платформы (1Cv8Log/*.lgf, *.lgp); для
базы, где он хранится в SQLite (1Cv8.lgd), eventLog.read равно false с пояснением.
Если служебную базу подготовить не удалось, отказ setup_failed называет этап и приводит то,
что написала платформа: журнал конфигуратора (designerLog), вывод процесса конфигуратора
(designerProcessLog) и журнал ibcmd (setupLog). Служебная база одноразовая, поэтому
неудачная подготовка один раз повторяется в чистом каталоге; setupRetries записывает этап,
ошибку и время (seconds) неудачной попытки. Отказ лицензии или прав не повторяется. Если
виртуальный экран менеджера остановился, его журнал лежит в managerDisplayLog, а повтор поднимает
новый экран. Если клиент вышел до открытия порта (startup_failed), причина есть в error:
фатальная ошибка его экрана или первая строка, которую он написал.
timings показывает, на что ушло время запуска. totalSeconds – весь запуск, stages – его
части в секундах, которые в сумме дают totalSeconds: preparation (проверка входа и окружения
клиента), managerDisplay, managerInfobase (создание служебной базы и загрузка в нее драйвера
теста, одинаковые для всех запусков одной сборки платформы), targetMetadata и reportLauncher
(то, что нужно цели), phases, cleanup (остановка процессов и удаление временного каталога) и
eventLog. edt_test_form добавляет infobaseCopy – копирование тестовой базы. Каждый элемент
timings.phases содержит имя фазы name, ее seconds и их части: clientStart, manager (от
запуска менеджера тестирования до его результата, вместе с прежними попытками подключения),
screenshot и cleanup. В driver то, что менеджер тестирования измерил сам: connect,
formLookup, command проверки кнопки или steps со временем (seconds) каждого шага сценария и
total; managerStartup – остаток manager, запуск платформы менеджера. Если первое
подключение к клиенту не удалось, менеджер запускается заново, а connectRetries показывает,
сколько секунд ушло на неудачные попытки; failedConnects дает их число (count), секунды
(seconds) и последнюю ошибку (lastError). Клиент, который открывает базу впервые после
изменения конфигурации или расширений, может принимать подключение до минуты. У шага, который еще
выполнялся при остановке проверки, своего времени нет. Если managerCache – hit,
managerInfobase – это только копирование служебной базы из кэша.
Если field шага не находит ни одного поля или находит несколько, результат содержит
observedFields: поля и таблицы формы, которые видит тестовый клиент, каждое с name,
title, kind, visible и enabled, сначала видимые, не больше 200, и total. Поля,
которые форма создает при открытии, например быстрые настройки штатной формы отчета, больше
нигде не названы. Имя, совпавшее с несколькими полями, добавляет matchedFields: эти поля.
Заголовок кнопки, совпавший с несколькими кнопками, дает ambiguous_button в проверке кнопки и
scenario_error в сценарии, с matchedButtons; не совпавший ни с одной добавляет
observedButtons – кнопки формы с name, title, visible и enabled.
Метаданные выбранного EPF или ERF (основная форма, имя и основная схема компоновки данных)
читает ibcmd config export --file – около секунды там, где конфигуратору нужно около десяти.
Если ibcmd не прочитал файл, его читает конфигуратор, как раньше; targetMetadata.source
называет, кто прочитал, а при конфигураторе ibcmdError – причину.
Отчеты для CI
Если общий сеанс завершился сбоем и ни один именованный сценарий его не содержит,
JUnit и Allure записывают ошибку в scenario session. Незавершенные из-за сбоя сценарии,
которые еще не начались, отмечаются как пропущенные.
Рядом с result.json команда записывает junit.xml – отчет JUnit XML, который GitLab показывает
в merge request (artifacts:reports:junit), и allure-results/ – результаты, из которых Allure
строит свой отчет. Каждая фаза – это тест: steps и reopen сценария, каждый именованный сценарий
под своим именем или click <кнопка> проверки кнопки; проверка, остановившаяся до первой фазы, дает один тест setup. Фаза, в которой
решение повело себя не так (assertion_failed, scenario_error, unexpected_dialog и подобные), –
это failure в JUnit и failed в Allure; фаза, которую проверка не смогла довести до конца
(setup_failed, timeout, license_unavailable и подобные), – error и broken; фаза, до которой
не дошло, – skipped. Время теста – время его фазы из timings, а первый тест несет еще и
подготовку. Шаги теста в Allure – этапы подготовки, запуск клиента, запуск менеджера тестирования,
подключение, поиск формы, каждый шаг сценария с ожидаемым и фактическим значением и снимок экрана,
который прикладывается к тесту. reports в результате называет оба пути.
form-check:
script:
- edt-bridge-mcp test-form --platform-bin /opt/1cv8/x86_64/8.5.1.1529 --test-infobase /srv/test-bases/orders
--scope fixture --epf build/Orders.epf --form ExternalDataProcessor.Orders.Form.Form
--scenario checks/orders.json --output-dir out/orders
artifacts:
when: always
paths: [out/]
reports:
junit: out/*/junit.xml
allure generate out/*/allure-results строит один отчет Allure по всем проверкам.
Другие диагностические статусы, в том числе ошибки выбора формы и менеджера тестирования,
сохраняются в JSON. Код возврата 0 означает успех, 1 – ошибку при проверке входных данных,
2 – ошибку на более позднем этапе или неподтвержденный результат. Поля status, stage
и данные фаз позволяют отличить ошибку прикладного сценария от неготовности окружения.
Нажатие кнопки без успешной проверки результата не считается пройденным сценарием.