ГОСТ Р ИСО 10303-34-2002 - Системы автоматизации производства и их интеграция. Представление данных об изделии и обмен этими данными. Часть 34. Методология и основы аттестационного тестирования. Методы абстрактного тестирования для реализации прикладных протоколов

ГОСТ Р ИСО 10303-34-2002

Группа П87

ОКС 25.040.40
ОКСТУ 4002

Дата введения 2003-07-01

1 РАЗРАБОТАН Научно-исследовательским центром (НИЦ) CALS-технологий "Прикладная логистика" и Всероссийским научно-исследовательским институтом стандартизации (ВНИИстандарт)

ВНЕСЕН Техническим комитетом по стандартизации ТК 431 "CALS-технологии"

2 ПРИНЯТ И ВВЕДЕН В ДЕЙСТВИЕ Постановлением Госстандарта России от 20 декабря 2002 г. N 497-ст

3 Настоящий стандарт представляет собой полный аутентичный текст международного стандарта ИСО 10303-34-2001 "Системы автоматизации производства и их интеграция. Представление данных об изделии и обмен этими данными. Часть 34. Методология и основы аттестационного тестирования. Методы абстрактного тестирования для реализации прикладных протоколов"

4 ВВЕДЕН ВПЕРВЫЕ

Введение

Стандарты серии ГОСТ Р ИСО 10303 распространяются на машинно-ориентированное представление данных об изделии и обмен этими данными. Целью является создание механизма, позволяющего описывать данные об изделии на протяжении всего его жизненного цикла независимо от конкретной системы. Характер такого описания делает его пригодным не только для обмена инвариантными файлами, но также и для создания баз данных об изделиях, коллективного пользования этими базами и архивирования соответствующих данных.

Настоящий стандарт входит в группу стандартов на методы аттестационного тестирования.

Стандарт устанавливает методы, используемые при аттестационном тестировании реализаций, считывающих и записывающих структуры обмена по стандартам серии ГОСТ Р ИСО 10303 или посредством коллективного использования реализаций стандартного интерфейса доступа к данным (СИДД), основанного на прикладных протоколах согласно стандартам серии ГОСТ Р ИСО 10303.

Примечание - Настоящий стандарт дополнен приложением А, описывающим идентификатор данного стандарта как информационного объекта.

1 Область применения

Настоящий стандарт устанавливает методы, используемые при аттестационном тестировании реализаций прикладных протоколов (ПП), соответствующих стандартам серии ГОСТ Р ИСО 10303. Область применения стандарта охватывает следующие методы реализации:

- препроцессоры, необходимые для генерации экземпляров схем по стандартам серии ГОСТ Р 10303 в соответствии со структурами обмена, описанными в ГОСТ Р 10303-21;

- постпроцессоры, необходимые для приемки и обработки экземпляров схем по стандартам серии ГОСТ Р 10303, представленных в виде структур обмена, заданных в ГОСТ Р 10303-21;

- препроцессоры, необходимые для генерации экземпляров схем по стандартам серии ГОСТ Р 10303 с использованием СИДД по ГОСТ Р ИСО 10303-22, наполняющие данную реализацию СИДД для экземпляров данной схемы;

- постпроцессоры, необходимые для приемки экземпляров схем по стандартам серии ГОСТ Р 10303 с использованием СИДД по ГОСТ Р ИСО 10303-22 для выделения экземпляров схемы из реализации СИДД.

Настоящий стандарт определяет:

- трактовку процесса оценки соответствия данной реализации прикладным протоколам по стандартам серии ГОСТ Р ИСО 10303;

- методы, используемые испытательной лабораторией при реализации выполняемого контрольного примера (ВКП), абстрактные (теоретические) методы, не связанные с тестируемой реализацией (TCP). Метод, описывающий различные этапы (шаги) от выбора абстрактного контрольного примера (АКП) до создания реального контрольного примера.

Настоящий стандарт не определяет правила генерации выполняемых контрольных примеров на основе абстрактных контрольных примеров. Стандарт не охватывает методы абстрактного тестирования при аттестационном тестировании прикладных протоколов самостоятельных реализаций СИДД по ГОСТ Р ИСО 10303-22.

2 Нормативные ссылки

В настоящем стандарте использованы ссылки на следующие стандарты:

ГОСТ Р ИСО/МЭК 8824-1-2001 Информационная технология. Абстрактная синтаксическая нотация версии один (АСН.1). Спецификация основной нотации

ГОСТ Р ИСО 10303-1-99 Системы автоматизации производства и их интеграция. Представление данных об изделии и обмен этими данными. Часть 1. Общие представления и основополагающие принципы

ГОСТ Р ИСО 10303-11-2000 Системы автоматизации производства и их интеграция. Представление данных об изделии и обмен этими данными. Часть 11. Методы описания. Справочное руководство по языку EXPRESS

ГОСТ Р ИСО 10303-21-2002 Системы автоматизации производства и их интеграция. Представление данных об изделии и обмен этими данными. Часть 21. Методы реализации. Кодирование открытым текстом структуры обмена

ГОСТ Р ИСО 10303-22-2002 Системы автоматизации производства и их интеграция. Представление данных об изделии и обмен этими данными. Часть 22. Методы реализации. Стандартный интерфейс доступа к данным

ГОСТ Р ИСО 10303-31-2002 Системы автоматизации производства и их интеграция. Представление данных об изделии и обмен этими данными. Часть 31. Методология и основы аттестационного тестирования. Общие положения

ГОСТ Р ИСО 10303-32-2002 Системы автоматизации производства и их интеграция. Представление данных об изделии и обмен этими данными. Часть 32. Методология и основы аттестационного тестирования. Требования к испытательным лабораториям и клиентам

3 Термины, определения и сокращения

3.1 Термины, определенные в ГОСТ Р ИСО 10303-1

В настоящем стандарте использованы следующие термины:

- комплект абстрактных тестов (КАТ, ATS);

- прикладная интерпретированная модель (ПИМ, AIM);

- прикладной протокол (ПП, АР);

- класс соответствия;

- структура обмена;

- метод реализации;

- заявка о соответствии реализации протоколу (ЗСРП, PICS);

- форма ЗСРП (PICS proforma).

3.2 Термины, определенные в ГОСТ Р 10303-11

В настоящем стандарте использованы следующие термины:

- объект;

- экземпляр объекта.

3.3 Термины, определенные в ГОСТ Р ИСО 10303-22

В настоящем стандарте использованы следующие термины:

- экземпляр схемы;

- модель СИДД.

3.4 Термины, определенные в ГОСТ Р ИСО 10303-31

В настоящем стандарте использованы следующие термины:

- абстрактный контрольный пример (АКП, АТС);

- метод абстрактного тестирования;

- соответствие;

- журнал соответствия;

- отчет об аттестационном тестировании;

- аттестационное тестирование;

- выполняемый контрольный пример;

- безуспешный (вердикт);

- тестируемая реализация (ТР, IUT);

- неокончательный (вердикт);

- (вердикт) прохождения;

- дополнительная информация о реализации протокола для тестирования (ДИРПТ, PIXIT);

- форма ДИРПТ (PIXIT);

- препроцессор;

- постпроцессор;

- тестируемая система (ТС, SUT);

- тестовая кампания;

- ошибка контрольного примера;

- испытательная лаборатория;

- отчет о тестировании;

- критерий вердикта.

3.5 Другие термины и определения

В настоящем стандарте использованы следующие термины с соответствующими определениями:

3.5.1 прикладной элемент (application element): Прикладной объект, атрибут или утверждение, устанавливающие информационные требования в разделе 4 соответствующего прикладного протокола.

3.5.2 семантический анализ (semantic analysis): Проверка обеспечения сопровождения (или его отсутствия) информационного содержания экземпляра схемы препроцессором или постпроцессором.

3.5.3 структурный анализ (structure analysis): Проверка соответствия ТР экземпляра схемы ПИМ и требованиям прикладного протокола по стандартам серии ГОСТ Р ИСО 10303.

3.5.4 оператор ТС (SUT operator): Человек или автоматический компонент тестируемой системы, обеспечивающий обмен командами (инструкциями) между испытательным (тестирующим) оборудованием (например, компьютером) и тестируемой реализацией.

3.5.5 синтаксический анализ (syntax analysis): Проверка ТР экземпляра схемы на соответствие кодирования передаваемого отображения методу реализации, заданному в соответствующем стандарте серии ГОСТ Р ИСО 10303.

3.5.6 отчет по контрольному примеру (test case report): Отчет, содержащий обозначения контрольного примера, сведения (данные) о нем, контрольные результаты его выполнения и вердикты, вынесенные по результатам выполнения данного примера.

3.5.7 вердикт по контрольному примеру (test case verdict): Суммарный (итоговый) вердикт, вынесенный по контрольному примеру исходя из отдельных вердиктов по соответствующему критерию вердикта для данного примера.

3.5.8 испытательное оборудование (test engine): Компонент тестирующей системы, с помощью которого отслеживают команды контрольного примера, загружают, контролируют, проверяют и анализируют ТР.

3.5.9 тестирующая (испытательная) система (test system): Технические и программные средства и данные, используемые испытательной лабораторией при реализации метода тестирования.

3.6 Сокращения

В настоящем стандарте использованы следующие сокращения:

	ПЭ (АЕ)	- прикладной элемент (application element);
	ПП (АР)	- прикладной протокол (application protocol);
	АКП (АТС)	- абстрактный контрольный пример (abstract test case);
	КАТ (ATS)	- комплект абстрактных тестов (abstract test suite);
	ВКП (ETC)	- выполняемый контрольный пример (executable test case);
	ТР (IUТ)	- тестируемая реализация (Implementation Under Test);
	ЗСРП (PICS)	- заявка о соответствии реализации протоколу (Protocol Implementation Conformance Statement);
	ДИРПТ (PIXIT)	- дополнительная информация о реализации протокола для тестирования (Protocol Implementation Extra Information for Testing);
	СИДД (SDAI)	- стандартный интерфейс доступа к данным (Standard Data Access Interface);
	ТС (SUT)	- тестируемая система (System Under Test).

4 Общие подходы и предположения

В настоящем стандарте определены два метода абстрактного тестирования. Первый обеспечивает тестирование реализаций (ТР), генерирующих структуры обмена, то есть препроцессоров, а второй - реализаций, интерпретирующих структуры обмена, то есть постпроцессоров. Данные методы описаны в разделах 5 и 6 соответственно. Оба метода применимы также для приложений, связанных с реализациями СИДД в среде коллективного использования данных.

Общие принципы и структура аттестационного тестирования описаны в ГОСТ Р ИСО 10303-31. Требования к испытательным лабораториям установлены в ГОСТ Р ИСО 10303-32. Методы подготовки, контроля, мониторинга и анализа ТР установлены в настоящем стандарте. Конкретные абстрактные контрольные примеры для прикладных протоколов по стандартам серии ГОСТ Р ИСО 10303 описаны в соответствующих стандартах группы комплектов абстрактных тестов данной серии. Описание основных положений и требований по применению комплектов абстрактных тестов приведено в этих стандартах.

4.1 Компоненты методов тестирования структуры обмена

Методы тестирования структуры обмена включают три основных компонента: тестируемую реализацию (ТР), тестирующую (испытательную) систему и оператора ТС (человека или автоматический компонент тестируемой системы), обеспечивающего взаимосвязь между первыми двумя компонентами. Этими компонентами являются соответственно: ТР, испытательное оборудование и оператор ТС.

Испытательное оборудование обеспечивает в ТС функции контроля и взаимосвязи в отношении выполнения и анализа тестов. Данное оборудование непосредственно взаимодействует с ТР посредством методов, установленных в ГОСТ Р ИСО 10303-21 или ГОСТ Р ИСО 10303-22, и косвенно - посредством оператора ТС.

Оператор ТС обеспечивает коммуникационный интерфейс между испытательным оборудованием и ТР. Он передает команды от испытательного оборудования к ТР, а также ответы ТР к испытательному оборудованию. Оператор непосредственно взаимодействует с ТР по правилам, определенным ТР.

Испытательная лаборатория определяет состав интерфейса между испытательным оборудованием и оператором ТС и ожидаемые действия оператора, но реализацию оператора ТС и интерфейс между оператором и ТР определяет поставщик ТР. Оператором может быть человек, выполняющий соответствующие инструкции и обеспечивающий обмен данными.

ТР проверяют как препроцессор или постпроцессор. В качестве выходных данных экземпляра схемы ТР может использовать структуру обмена по ГОСТ Р ИСО 10303-21 или интерфейс СИДД по ГОСТ Р ИСО 10303-22. При приемке экземпляра схемы ТР может использовать структуру обмена по ГОСТ Р ИСО 10303-21 или интерфейс СИДД по ГОСТ Р ИСО 10303-22. ТС может обеспечивать функции препроцессора и постпроцессора, но каждая из них должна проверяться независимо. В обоих случаях конкретная функция ТР является передаваемым отображением данных об изделии. Основным принципом обоих методов тестирования является необходимость обеспечения ТР экземпляра схемы прикладного протокола по стандарту серии ГОСТ Р ИСО 10303 в одном формате и обеспечение перевода данного экземпляра в другой формат в соответствии с правилами структур прикладных протоколов и семантиками экземпляров схем.

Исходный формат для препроцессора в стандартах серии ГОСТ Р ИСО 10303 не установлен. При тестировании для экземпляра схемы в качестве исходного должен быть принят формат, воспринимаемый человеком, например текст или графическое изображение. Предполагаемым выходным форматом экземпляра схемы является структура обмена по ГОСТ Р ИСО 10303-21 или набор команд СИДД в соответствии с ГОСТ Р ИСО 10303-22.

Исходным форматом экземпляра схемы для постпроцессора должна быть структура обмена по ГОСТ Р ИСО 10303-21 или набор команд СИДД в соответствии с ГОСТ Р ИСО 10303-22. Выходной формат постпроцессора в стандартах серии ГОСТ Р ИСО 10303 не установлен.

При тестировании в качестве выходного формата следует принять предполагаемый набор правильных ответов на запросы пользователя к экземпляру схемы. Постпроцессор может представить экземпляр схемы в текстовом или графическом формате аналогично тестируемому исходному формату препроцессора, но это требование не является обязательным.

Исходные данные для препроцессора и выходные для постпроцессора зависят от реализации. В связи с этим для обеспечения взаимосвязи методов тестирования с экземпляром схемы следует использовать оператора ТС.

4.2 Процессы в методах тестирования структуры обмена

4.2.1 Подготовка к тестированию

При аттестационном тестировании следует указывать, выбирать и использовать варианты, значения параметров ВКП, переменных и конфигураций, зависящих от реализации, установленные в стандартах серии ГОСТ Р ИСО 10303. Испытательная лаборатория определяет параметры, используемые при тестировании, а поставщик ТР должен обеспечить допустимые диапазоны значений этих параметров. Данные значения должны быть записаны в ЗСРП и ДИРПТ. Формы ЗСРП и ДИРПТ заполняет поставщик ТР при подготовке к тестированию. ЗСРП и ДИРПТ используют в качестве основы при выборе конфигураций ТР, исходных данных для тестирования, последовательности проведения тестирования и оценки его результатов.

Абстрактные контрольные примеры (АКП) определены в соответствующих стандартах серии ГОСТ Р ИСО 10303. Число параметров АКП, зависимых или независимых от конкретной ТР, устанавливают при подготовке к тестированию данной реализации. Выполняемые контрольные примеры (ВКП), используемые для конкретной ТР, выбирают из АКП с учетом информации, содержащейся в ЗСРП и ДИРПТ в части допустимых параметров АКП. Проведение кампании аттестационного тестирования может быть реализовано при наличии конкретной ТР и ВКП для нее, соответствующих АКП.

Примечание - Более подробное описание подготовки и проведения аттестационного тестирования приведено в ГОСТ Р ИСО 10303-22.

4.2.2 Тестовая кампания

Тестовая кампания определяет последовательность выполнения всех соответствующих ВКП с целью присвоения вердикта для каждой цели тестирования и каждого ВКП.

Выполнение ВКП состоит из трех основных этапов: первый - ввод исходных данных экземпляра схемы в ТР, второй - перевод этих данных в другой формат, третий - анализ соответствия полученного формата допустимому отображению исходных данных. Данные этапы по-разному реализуют для препроцессора и постпроцессора. Это описано соответственно в разделах 5 и 6.

Изменение ТР при проведении тестовой кампании не допускается. Не допускается изменение ВКП при проведении тестовой кампании, за исключением случаев обнаружения ошибок в ВКП. Обнаруженные ошибки в ВКП должны быть описаны в отчете о тестировании и направлены для исправления в ИСО ТК 184/ПК4.

4.2.3 Анализ результатов

Проведение тестовой кампании или выполнение ВКП может быть прервано по ряду причин. Конкретному ВКП должен быть присвоен вердикт прохождения, если все критерии вердикта по данному примеру соответствуют вердикту прохождения.

Если ВКП прерван из-за наличия в нем ошибки, ему должен быть присвоен неокончательный вердикт (с записью причин его присвоения), пока ошибка не будет устранена и не будет проведено повторное тестирование. С соответствующими организациями (например, ИСО) должны быть проведены консультации на предмет выявления ошибок в исходных стандартах.

4.2.4 Подготовка отчета

По каждой проведенной тестовой кампании должен быть заведен журнал соответствия. Записи из данного журнала или соответствующих файлов должны быть использованы при подготовке отчета об аттестационном тестировании.

5 Метод тестирования структуры обмена - препроцессор

Последовательность работ по подготовке, проведению, анализу и отчету о тестировании должна быть формализована в соответствии с общей процедурой, описанной в разделе 4. Проведение тестирования (испытаний) ТР и анализ ее соответствия установленным требованиям в качестве препроцессора структуры обмена по ГОСТ Р ИСО 10303-21 или препроцессора команд СИДД по ГОСТ Р ИСО 10303-22 детализированы в настоящем разделе. На рисунке 1 показаны функциональные компоненты и интерфейсы, обеспечивающие метод тестирования.

Рисунок 1 - Компоненты тестирования препроцессора

ГОСТ Р ИСО 10303-34-2002 Системы автоматизации производства и их интеграция. Представление данных об изделии и обмен этими данными. Часть 34. Методология и основы аттестационного тестирования. Методы абстрактного тестирования для реализации прикладных...

Рисунок 1 - Компоненты тестирования препроцессора

5.1 Создание модели

В качестве исходных данных для препроцессора тестирующая система должна выдавать текстовое (или текстовое и графическое) описание экземпляра схемы (в электронном виде или в виде твердой копии), исходя из конкретного ВКП. Дополнительно может быть определена последовательность этапов создания модели в ТР. Данные инструкции должны быть доведены до оператора ТС в качестве исходных данных для ТР.

ВКП определяет конкретные действия и их возможную интерпретацию. Процесс ввода исходных данных о ТР должен отслеживаться на протяжении всей тестовой кампании, или целостность этих данных должна быть обеспечена другими методами и описана в отчете об аттестационном тестировании. Любые отклонения от предполагаемых исходных данных должны быть зафиксированы в журнале соответствия и проанализированы оператором ТС. Если исходные данные не соответствуют требованиям к выполняемому контрольному примеру, тогда должен быть выполнен повторный ввод этих данных и проведено повторное тестирование или результаты выполнения контрольного примера должны быть признаны неудовлетворительными.

Примечание - Одним из методов определения целостности исходных данных для ТР может быть задание малых отклонений этих данных в модели при каждом проведении тестовой кампании.

5.2 Генерация структуры обмена

После ввода в ВКП исходных данных о конкретном экземпляре схемы, созданном в ТР, последняя должна сгенерировать структуру обмена согласно ГОСТ Р ИСО 10303-21 или выходные команды СИДД по ГОСТ Р ИСО 10303-22, соответствующие заданной модели.

Параметры препроцессора, заданные в АКП и разрешенные при подготовке тестирования, должны быть использованы в ТР.

5.3 Анализ

Выходные данные препроцессора и структуры обмена, сгенерированные ТР, должны быть проанализированы и проверены на наличие в них допустимых и недопустимых элементов. В процессе анализа в установленном порядке должны быть присвоены соответствующие вердикты (см. 5.4). Вынесение единственного безуспешного вердикта на любом этапе анализа может прервать дальнейшую работу и привести к внесению общего безуспешного вердикта для данного контрольного примера.

5.3.1 Синтаксический анализ

Конкретная структура обмена должна быть проанализирована на соответствие синтаксису, установленному в ГОСТ Р ИСО 10303-21, или языковой привязке СИДД по ГОСТ Р ИСО 10303-22. Если при этом для нее вынесен безуспешный или неокончательный вердикт, то результаты данного анализа должны быть отражены в отчете о тестировании.

5.3.2 Структурный анализ

Экземпляр схемы, содержащийся в рассматриваемой структуре обмена, должен быть проанализирован на соответствие ПИМ (по разделу 5 конкретного ПП) и требованиям к соответствию (по разделу 6 конкретного ПП).

Пример 1 - Данные требования могут включать неформальные утверждения, количественные ограничения и сообщения об ошибках.

Целью структурного анализа является определение степени соответствия элементов экземпляра схемы и их структурирования прикладной интерпретированной модели и классу соответствия, заданному в конкретном ПП. Области допустимых значений элементов и структуры элементов определяют в конкретном ПП посредством типов и механизмов отношений, установленных в ГОСТ Р ИСО 10303-11.

Пример 2 - Типы и механизмы отношений могут быть заданы посредством элементов, атрибутов, супертипов, подтипов, правил, функций и процедур.

Наличие правильных элементов в неверном отношении приводит к ошибкам.

Пример 3 - Правильными элементами в неверных отношениях могут быть корректно определенные объекты, нарушающие правила ПИМ, неформальные утверждения или ограничения класса соответствия.

Необходимо проверить следующие ограничения, заданные в КАТ и целях тестирования:

- локальные ограничения;

- общие (глобальные) ограничения;

- отдельные ограничения;

- существующие ограничения (INVERSE);

- основные ограничения, заданные описаниями агрегатов;

- неформальные утверждения.

При нарушении требований соответствия ПИМ или ПП по результатам тестирования должен быть вынесен безуспешный вердикт.

5.3.3 Семантический анализ

Экземпляр схемы, содержащийся в рассматриваемой структуре обмена, должен быть проанализирован с точки зрения правильности (точности) исходных данных для этого экземпляра, заданных в ВКП. Целью данного анализа является определение точности в качестве выходных данных экземпляра схемы, содержащегося в рассматриваемой структуре обмена, семантик, обеспечиваемых конкретным прикладным протоколом и выборочно уточненных в конкретном ВКП. Соответствующие семантики определяют в качестве прикладных элементов конкретного ПП, а их кодирование (представление) задают согласно отображениям прикладной эталонной модели на прикладную интерпретируемую модель. Дополнительные требования или пояснения к семантикам могут быть заданы в конкретном классе соответствия.

В ВКП отдельное значение может быть задано в исходных данных и указано, что данное значение должно быть отражено в выходных данных структуры обмена. Перевод этого значения в другое значение ПП должен приводить в выдаче безуспешного вердикта.

Пример 1 - В ПП для кривых могут быть заданы значения "красный" и "синий". Если в ВКП определено, что конкретный экземпляр кривой является "красным", структура обмена должна выдавать то же значение для получения вердикта прохождения, а не "синее" (хотя значение "синий" допускается ПП).

В ВКП может быть определено, что в структуре обмена может использоваться несколько механизмов, заданных в ПП (без определения конкретных значений или объектов). Если конкретный экземпляр схемы в рассматриваемой структуре обмена содержит общий принцип описания информации, тогда по результатам анализа данной семантики должен быть вынесен вердикт прохождения.

Пример 2 - В ПП может быть предусмотрено представление геометрических поверхностей на плоскости или в пространстве. Это свойство может быть явно задано в спецификациях поверхностей (или неявно, как в примере 1). В этом случае вердикт прохождения может быть вынесен только после определения, что свойство планарности поверхности, заданное в ВКП, обеспечивается структурой обмена.

Уровень детализации описания семантики (общий или в виде конкретных числовых значений) должен быть задан в критерии вердикта и соответствующим образом проанализирован.

В ВКП должно быть определено, какая из семантик подлежит рассмотрению и анализу, и описаны средства для распознавания рассматриваемой семантики. Выбранные семантики должны быть описаны в требованиях к критерию вердикта по данному ВКП. В данных требованиях могут быть указаны точность представления чисел, которая должна быть соблюдена в исходных и выходных данных экземпляров схемы, рассматриваемые категории классификации, вычисления или команды для выходных данных экземпляров схемы, или другие используемые методы измерений.

Процедуры семантического анализа, не заданные в АКП, но используемые при вынесении вердикта, должны быть описаны в журнале соответствия.

5.4 Вынесение вердикта

В процессе проведения анализа собирают информацию о полученных результатах и выносят соответствующие вердикты. Вердикты по целям тестирования выносят в качестве промежуточных результатов выполнения контрольного примера на основе критерия вердикта, установленного для данного примера. Эти результаты используют при вынесении общего вердикта по данному контрольному примеру.

Для каждого контрольного примера должны быть оценены все используемые критерии вердиктов и вынесены соответствующие вердикты по целям тестирования (прохождения, безуспешный или неокончательный). Вынесенные вердикты по контрольному примеру являются результатами проведенного анализа. Общий вердикт по контрольному примеру должен быть вынесен исходя из следующих положений:

- если по крайней мере один из промежуточных вердиктов является безуспешным, тогда общий вердикт по контрольному примеру должен быть вынесен как безуспешный;

- если нет промежуточных безуспешных вердиктов, а по крайней мере один из промежуточных вердиктов является неокончательным, тогда общий вердикт по контрольному примеру должен быть вынесен как неокончательный;

- если все промежуточные вердикты вынесены как вердикты прохождения, тогда общий вердикт по контрольному примеру должен быть вынесен как вердикт прохождения.

Неокончательный вердикт выносят, если в процессе тестирования выявляют нештатные ситуации, не позволяющие вынести вердикт прохождения или безуспешный. При этом испытательной лаборатории и клиенту рекомендуется провести совместную работу по переводу неокончательного вердикта в вердикт прохождения или безуспешный.

Пример. Нештатными ситуациями являются: отказ испытательного оборудования, ошибка контрольного примера, неожиданные выходные данные ТР или превышение ограничений ресурсов в процессе тестирования.

Вердикт прохождения на любом уровне указывает на отсутствие несоответствий в ТР, а безуспешный вердикт - на их наличие.

5.5 Отчет о результатах выполнения контрольного примера

Общий вердикт по контрольному примеру должен быть описан в отчете по данному примеру. В отчет также могут быть включены более подробные сведения и результаты анализа, например промежуточные вердикты. В отчет должна быть включена дополнительная информация, например выбранные значения для ВКП экземпляра схемы (например, допустимые в ВКП параметры).

Отчеты по контрольным примерам должны быть включены в общий отчет по аттестационному тестированию. Содержание отчета об аттестационном тестировании описано в ГОСТ Р ИСО 10303-22.

6 Метод тестирования структуры обмена - постпроцессор

Последовательность работ по подготовке, проведению, анализу и отчету о тестировании должна быть формализована в соответствии с общей процедурой, описанной в разделе 4. Проведение тестирования (испытаний) ТР и анализ ее соответствия установленным требованиям в качестве постпроцессора структуры обмена по ГОСТ Р ИСО 10303-21 или постпроцессора команд СИДД по ГОСТ Р ИСО 10303-22 детализированы в настоящем разделе. На рисунке 2 показаны функциональные компоненты и интерфейсы, обеспечивающие метод тестирования.

Рисунок 2 - Компоненты тестирования постпроцессора

Для постпроцессора ВКП задает исходные данные в терминах структуры обмена по ГОСТ Р ИСО 10303-21, содержащей экземпляр схемы. Структура обмена представляется испытательной лабораторией на основе информации, содержащейся в КАТ, ЗСРП, ДИРПТ и конкретном прикладном протоколе.

6.1 Рассмотрение структуры обмена

Параметры АКП, выявленные при подготовке к тестированию, должны быть привязаны к ТР и исходным данным структуры обмена для данной ТР. Данная ТР должна отвечать на запросы по структуре обмена непосредственно через оператора ТС. Каждое обнаруженное несоответствие или проблема в структуре обмена должны быть зафиксированы в журнале соответствия.

6.2 Анализ

При проведении анализа выходные данные постпроцессора должны быть оценены на основе использования метода семантических запросов, воспринимаемых человеком, относительно информации, содержащейся в файле обмена. Использование данных запросов вызвано тем, что в стандартах серии ГОСТ Р ИСО 10303 не определены правила представления (кодирования) выходных данных постпроцессора. При проведении анализа выносят соответствующие вердикты (см. 5.4). Вынесение единственного безуспешного вердикта на любом этапе анализа может прервать дальнейшую работу и привести к внесению общего безуспешного вердикта для данного контрольного примера.

6.2.1 Анализ обработки исходных данных

Должны быть проанализированы обрабатываемые постпроцессором исходные данные для структуры обмена по ГОСТ Р ИСО 10303-21 или исходные команды СИДД по ГОСТ Р ИСО 10303-22. Если эти исходные данные верны, постпроцессор должен обработать их безошибочно.

Неверные исходные данные могут быть представлены только исходя из требований, установленных в конкретном ПП или приведенных в нем ссылок. Если представлены синтаксически неверные исходные данные, соответствующие сообщения об ошибках должны быть проверены и отражены в отчете о тестировании. Если структура обмена синтаксически корректна, но отдельные ее информационные элементы или структуры не разрешены в данном прикладном протоколе, тогда должны быть выявлены соответствующие сообщения об ошибках с последующей их фиксацией в отчете о тестировании.

Отдельные сообщения об ошибках ТР, не определенные в ПП, должны быть определены в ЗСРП и описаны в отчете о тестировании, если при выполнении контрольного примера выданы сообщения об этих ошибках.

6.2.2 Семантический анализ

Семантики, которые должны быть отражены в выходных данных постпроцессора, определяют в критериях вердиктов. Эти семантики должны быть описаны в соответствующих разделах информационных требований и требований к соответствию конкретному прикладному протоколу. Должны быть реализованы семантические запросы, обеспеченные средствами анализа выходных данных постпроцессора на наличие допустимых семантик, позволяющие вынести вердикт по каждому заданному критерию. Данные запросы необходимы для обеспечения работы оператора ТС, так как выходные данные постпроцессора не ограничены каким-либо синтаксисом.

Методы анализа описаны в 5.3.3. Разница в семантических анализах препроцессора и постпроцессора заключается в том, что при семантическом анализе постпроцессора оператору ТС необходимы дополнительные средства. Испытательное оборудование обеспечивает выдачу семантических запросов для оператора ТС, передаваемых ТР для получения соответствующих ответов. Полученные результаты оператор ТС возвращает на испытательное оборудование в заданном формате.

6.3 Вынесение вердикта

Правила вынесения вердикта для постпроцессора те же, что и для препроцессора (см. 5.4).

6.4 Отчет о результатах выполнения контрольного примера

Правила подготовки отчета о тестировании постпроцессора те же, что и для препроцессора (см. 5.5).

ПРИЛОЖЕНИЕ А (обязательное). РЕГИСТРАЦИЯ ИНФОРМАЦИОННОГО ОБЪЕКТА

ПРИЛОЖЕНИЕ А
(обязательное)

Для обеспечения однозначного обозначения информационного объекта в открытой системе настоящему стандарту присвоен следующий идентификатор объекта:

{ iso standard 10303 part(34) version(1) }

Смысл данного обозначения установлен в ГОСТ Р ИСО/МЭК 8824-1 и описан в ГОСТ Р ИСО 10303-1.

ТЕМАТИЧЕСКИЙ УКАЗАТЕЛЬ

вердикт по контрольному примеру	3.5.7, 5.4
испытательное оборудование	3.5.8
оператор ТС	3.5.4, 4.1, 6.1, 6.2.2
отчет о контрольном примере	1, 3.5.6, 5.5
прикладной элемент	3.5.1, 3.6, 5.3.3
семантический анализ	3.5.2, 5.3.3, 6.2.2
синтаксический анализ	3.5.5, 5.3.1
структурный анализ	3.5.3, 5.3.2
тестирующая система	3.5.9, рисунки 1 и 2