ГОСТ Р ИСО 10303-31-2002
Системы автоматизации производства и их интеграция. Представление данных об изделии и обмен этими данными. Часть 31. Методология и основы аттестационного тестирования. Общие положения

ГОСТ Р ИСО 10303-31-2002

Группа П87

ГОСУДАРСТВЕННЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Системы автоматизации производства и их интеграция

ПРЕДСТАВЛЕНИЕ ДАННЫХ ОБ ИЗДЕЛИИ И ОБМЕН ЭТИМИ ДАННЫМИ

Часть 31. Методология и основы аттестационного тестирования
Общие положения

Industrial automation systems and integration. Product data representation and exchange.
Part 31. Conformance testing methodology and framework. General concepts

ОКС 25.040.40
ОКСТУ 4002

Дата введения 2003-07-01

Предисловие

1 РАЗРАБОТАН Всероссийским научно-исследовательским институтом стандартизации (ВНИИстандарт)

ВНЕСЕН Техническим комитетом по стандартизации ТК 431 "GALS-технологии"

2 ПРИНЯТ И ВВЕДЕН В ДЕЙСТВИЕ Постановлением Госстандарта России от 25 июня 2002 г. N 250-ст

3 Настоящий стандарт представляет собой полный аутентичный текст международного стандарта ИСО 10303-31-98 "Системы автоматизации производства и их интеграция. Представление данных об изделии и обмен этими данными. Часть 31. Методология и основы аттестационного тестирования. Общие положения"

4 ВВЕДЕН ВПЕРВЫЕ

Введение

Введение

Стандарты серии ГОСТ Р ИСО 10303 распространяются на машинно-ориентированное представление данных об изделии и обмен этими данными. Целью является создание механизма, позволяющего описывать данные об изделии на протяжении всего жизненного цикла изделия независимо от конкретной системы. Характер такого описания делает его пригодным не только для обмена инвариантными файлами, но также и для создания баз данных об изделиях, коллективного пользования этими базами и архивирования соответствующих данных.

Серия ГОСТ Р ИСО 10303 представляет собой отдельно издаваемые стандарты (части), относящиеся к одной из следующих тематических групп: методы описания, интегрированные ресурсы, прикладные протоколы, комплекты абстрактных тестов, методы реализации и аттестационное тестирование. Части описаны в ГОСТ Р ИСО 10303-1. Настоящий стандарт входит в группу аттестационного тестирования.

Настоящий стандарт является основополагающим в ряду стандартов данной группы, определяющих основы и основные положения аттестационного тестирования реализации, заявленных на соответствие стандартам серии ГОСТ Р ИСО 10303. Настоящий стандарт частично основан на материалах ГОСТ Р ИСО/МЭК 9646-1, который выполняет те же функции по отношению к аттестационному тестированию взаимосвязи открытых систем (ВОС). Основные положения указанного стандарта в представленном документе адаптированы применительно к рассматриваемой области. Настоящий стандарт играет ту же роль для данной группы стандартов, что и ГОСТ Р ИСО/МЭК 9646-1 применительно к стандартам серии ГОСТ Р ИСО/МЭК 9646. Последующие стандарты рассматриваемой группы серии ГОСТ Р ИСО 10303 также основаны на соответствующих стандартах серии ГОСТ Р ИСО/МЭК 9646. Настоящий стандарт применим не только к структурам обмена, но и к другим методам реализации. Последующие части рассматриваемой группы стандартов предназначены для установления услуг аттестационного тестирования в отношении:

- требований к испытательным лабораториям (ИЛ) и их клиентам (ГОСТ Р ИСО 10303-32);

- комплектов абстрактных тестов;

- методов абстрактного тестирования (ИСО 10303-34).

В настоящем стандарте отражены основные аспекты ряда международных и региональных стандартов, а также:

a) Руководства ИСО/МЭК 2 [1];

b) Руководства ИСО/МЭК 25 [2];

c) Руководства ИСО/МЭК 38 [3];

d) Руководства ИСО/МЭК 40 [4];

e) Руководства ИСО/МЭК 42 [5];

f) Руководства ИСО/МЭК 43 [6];

g) Руководства ИСО/МЭК 45 [7].

Цели обмена данными об изделии не могут быть полностью реализованы до тех пор, пока конкретные системы не будут испытаны (протестированы) на соответствие стандартам по обмену данными об изделиях. Подобный подход целенаправленно реализуется при определении услуг аттестационного тестирования применительно к реализациям стандартов серии ГОСТ Р ИСО 10303. Настоящий стандарт является основополагающим по отношению к другим стандартам группы аттестационного тестирования серии ГОСТ Р ИСО 10303, необходимым для определения конкретных услуг аттестационного тестирования, удовлетворяющих нуждам промышленности.

Аттестационное тестирование является видом (типом) испытаний, определяющим, как должно проводиться испытание (тестирование) заявленного изделия на соответствие установленным стандартным характеристикам для выявления, в какой степени изделие является подходящей стандартной реализацией. Данное тестирование охватывает как проверку соответствия реализации изделия установленным стандартами требованиям, так и заявленным клиентом возможностям данной реализации.

Комплект абстрактных тестов устанавливается для каждого прикладного протокола, определенного стандартами серии ГОСТ Р ИСО 10303, применяется поставщиками и реализаторами (производителями) изделий при внутреннем тестировании, пользователями (потребителями) данных изделий или другими третьими сторонами (тестирующими организациями). Использование данного комплекта должно обеспечивать сравнимость и признание отчетов о выполненных испытаниях (тестировании) и тем самым минимизировать потребность в аттестационном тестировании той же системы.

При стандартизации комплектов абстрактных тестов необходимо определение и принятие на международном уровне общей методологии тестирования, а также соответствующих методов и процедур тестирования. Целью стандартов данной группы серии ГОСТ Р ИСО 10303 является установление структуры конкретных наборов абстрактных тестов и определение процедур проведения соответствующего аттестационного тестирования.

В стандартах данной группы серии ГОСТ Р ИСО 10303 определяются детали подходящих методов тестирования, однако любая организация, намеривающаяся использовать данные методы, должна учитывать соответствующие ограничения по их применению.

Аттестационное тестирование не охватывает некоторые виды (типы) тестирования, предназначенные для реализаций стандартов серии ГОСТ Р ИСО 10303. Данные виды включают испытания на живучесть (устойчивость) и взаимодействие, приемочные испытания и тестирование рабочих характеристик. Эти методы испытания (тестирования) не входят в аттестационное тестирование, потому что для них отсутствуют необходимые стандартные требования, на соответствие которым должно быть проведено тестирование. После получения результатов аттестационного тестирования могут быть проведены дополнительные испытания.

По результатам аттестационного тестирования не выдают заключений ни о том, как система реализована, насколько она надежна, как она обеспечивает любую запрашиваемую услугу, ни о среде реализации системы. Этим тестированием прямо ничего не проверяют в отношении логической реализации стандартов в данной системе.

Аттестационное тестирование не достаточно для гарантирования взаимодействия, однако оно повышает вероятность того, что различные реализации будут взаимодействовать. Для взаимодействия двух реализаций необходимо, чтобы они обеспечивали соответствующие варианты (опции) заданного прикладного протокола.

Сложность большинства стандартов не позволяет реализовать полное тестирование реализаций с экономической и технической точек зрения. По той же причине невозможно полное тестирование конкретной реализации, подтверждающее ее корректность. Формально проведенное тестирование не гарантирует соответствия реализации конкретному стандарту, так как оно не определяет всех ошибок в данной реализации. Аттестационное тестирование дает гарантии того, что реализация обеспечивает конкретные функциональные возможности.

Примечания

1 Основная часть стандарта дополнена следующими приложениями:

- А - описывающим идентификатор данного стандарта как информационного объекта;

- В - устанавливающим дополнительные (факультативные) требования к реализациям;

- С - описывающим контрольные тесты;

- D - содержащим рекомендации по адаптации национальных программ аттестационного тестирования к требованиям международных стандартов серии ИСО 10303;

- Е - содержащим список дополнительных публикаций, связанных с настоящим стандартом.

2 Сведения о дополнительных рабочих материалах ИСО ТК 184, относящихся к настоящему стандарту, указаны в [8-11].

1 Область применения

Настоящий стандарт, открывающий группу стандартов по аттестационному тестированию, определяет общую методологию и основы тестирования реализации на соответствие стандартам серии ГОСТ Р ИСО 10303. В процессе аттестационного тестирования реализация называется тестируемой реализацией (ТР, IUT - implementation under test).

Примечание - На рисунке 1 представлена связь между различными стандартами и некоторыми понятиями аттестационного тестирования. Роли других стандартов серии ГОСТ Р ИСО 10303 установлены в ГОСТ Р ИСО 10303-1.

Рисунок 1 - Взаимосвязь между стандартами по аттестационному тестированию и другими группами серии ГОСТ Р ИСО 10303

Рисунок 1 - Взаимосвязь между стандартами по аттестационному тестированию и другими группами серии ГОСТ Р ИСО 10303

1.1 Назначение стандартов по аттестационному тестированию

Данные стандарты должны применяться на различных этапах аттестационного тестирования, для которых характерны следующие основные работы:

a) определение комплектов абстрактных тестов для прикладных протоколов, установленных в соответствующих стандартах серии ГОСТ Р ИСО 10303;

b) определение методов абстрактного тестирования для методов реализации, установленных в соответствующих стандартах серии ГОСТ Р ИСО 10303;

c) оценка соответствия, выполняемая испытательной лабораторией для клиента, и отчет об аттестационном тестировании.

1.2 Назначение настоящего стандарта

Настоящий стандарт должен использоваться при проведении всех перечисленных в 1.1 работ, обеспечивая потребности в исходных сведениях для проведения этих работ, нормативные требования к каждому стандарту данной группы и определяя общие термины и положения.

1.3 Описание стандартов данной группы

В группе стандартов по аттестационному тестированию установлены требования к процедурам, выполняемым при аттестационном тестировании на соответствие стандартам серии ГОСТ Р ИСО 10303, и рекомендации по применению данных процедур. Стандарты данной группы содержат только информацию, необходимую для достижения следующих целей:

a) гарантирования подходящего уровня достоверности в том, что проводимые испытания (тестирования) обеспечивают соответствие реализации;

b) гарантирования сопоставимости результатов соответствующих тестирований, выполненных в разных местах и в разное время;

c) обеспечения взаимодействия между сторонами, отвечающими за работы, описанные в а) и b).

Стандарты данной группы не содержат требований к договорам (контрактам) на продукцию и ее закупку.

Проведение тестирования посредством методов, специфичных для конкретных приложений или систем, стандартами данной группы не описывается.

Настоящий стандарт устанавливает общие положения в части реализуемых тестовых наборов. В свою очередь данные наборы, исходя из их различного характера, не могут быть стандартизованы, следовательно стандарты данной группы требования к ним не устанавливают.

1.4 Описание настоящего стандарта

Настоящий стандарт содержит основополагающие материалы, которые детализируются в других стандартах данной группы, охватывающих:

a) трактовку смысла соответствия в контексте стандартов серии ГОСТ Р ИСО 10303;

b) описание видов основных и вспомогательных тестирований (испытаний);

c) введение в процесс оценки соответствия;

d) введение в методы абстрактного тестирования и их использование;

e) общие положения по проектированию комплектов абстрактных тестов.

В настоящем стандарте не определены процедуры тестирования на соответствие реализации стандартам серии ГОСТ Р ИСО 10303, но они описаны в ИСО 10303-34.

Настоящий стандарт не охватывает следующие виды тестирования (испытания):

- приемочные испытания (у пользователя) для определения соответствия реализации критериям приемки и решения пользователем вопроса о приемке системы. Данный процесс включает планирование и выполнение испытаний нескольких видов (например, функциональных, а также проверки размера системы и ее рабочих характеристик) для демонстрации, что внедряемые программные средства удовлетворяют требованиям пользователя;

- испытание на совместимость, связанное с приемочным испытанием, но используемое для проверки обмена информацией между двумя ТР и ее распределения между ними, а также для проверки способности каждой ТР использовать такую информацию;

- проверка рабочих характеристик для измерения рабочих характеристик ТР, таких как производительность, время реакции (отклика), количество обслуживаемых ею сообщений (транзакций) и ее чувствительность к различным условиям (средам);

- испытания на устойчивость для определения, насколько хорошо ТР обрабатывает данные, содержащие ошибки.

В приложении D определены основы сертификации (формальной процедуры, завершающей аттестационное тестирование). Однако требования к проведению сертификации или аттестационного тестирования реализации на соответствие стандартам серии ГОСТ Р ИСО 10303 отсутствуют.

2 Нормативные ссылки

В настоящем стандарте использованы ссылки на следующие стандарты:

ГОСТ Р ИСО/МЭК 8824-1-2001 Информационная технология. Абстрактная синтаксическая нотация версии один (АСН.1). Спецификация основной нотации

ГОСТ Р ИСО/МЭК 9646-1-93 Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 1. Общие положения

ГОСТ Р ИСО 10303-1-99 Системы автоматизации производства и их интеграция. Представление данных об изделии и обмен этими данными. Часть 1. Общие представления и основополагающие принципы

ГОСТ Р ИСО 10303-32-2002 Системы автоматизации производства и их интеграция. Представление данных об изделии и обмен этими данными. Часть 32. Методология и основы аттестационного тестирования. Требования к испытательным лабораториям и клиентам

ИСО 10303-34-2001* Системы автоматизации производства и их интеграция. Представление данных об изделии и обмен этими данными. Часть 34. Методология и основы аттестационного тестирования. Методы абстрактного тестирования для реализации прикладных протоколов
_______________
* Международные стандарты - во ВНИИКИ Госстандарта России.

3 Определения

3.1 Термины, определенные в ГОСТ Р ИСО 10303-1

В настоящем стандарте использованы следующие термины:

- комплект абстрактных тестов;

- структура обмена;

- метод реализации;

- форма ЗСРП;

- заявка о соответствии реализации протоколу (ЗСРП).

3.2 Другие определения

В настоящем стандарте использованы следующие термины с соответствующими определениями:

3.2.1 абстрактный контрольный (тестовый) пример (АКП) (abstract test case [АТС]): Технические требования (спецификация), охватывающие по крайней мере одну цель тестирования, обеспечивающую формальную основу для создания реализуемых контрольных примеров. Данные требования не зависят ни от конкретной реализации, ни от конкретных значений.

3.2.2 группа абстрактных тестов (abstract test group): Поименованный набор связанных абстрактных контрольных примеров.

3.2.3 метод абстрактного тестирования (abstract test method): Описание, как следует тестировать реализацию, проведенное на соответствующем уровне абстрагирования, обеспечивающее ее независимость от любой конкретной реализации инструментальных средств и процедур тестирования, но позволяющее достаточно подробно охарактеризовать использование этих средств и процедур.

3.2.4 аккредитация (лаборатории) ([laboratory] accreditation): Официально организуемый и выполняемый процесс, гарантирующий компетентность испытательной лаборатории по проведению конкретных (типовых) испытаний.

Примечание - Термин "аккредитация лаборатории" охватывает техническую компетентность и беспристрастность (независимость) испытательной лаборатории. Аккредитация обычно включает выдачу лаборатории аттестата аккредитации и последующий инспекционный контроль за ее деятельностью.

3.2.5 орган по аккредитации (accreditation body): Орган, проводящий аккредитацию лаборатории, управляющий аккредитацией и утверждающий ее результаты.

3.2.6 эксперт по аккредитации (assessor): Эксперт, оценивающий аккредитацию лаборатории.

3.2.7 аттестация на соответствие (attestation of conformity): Действие третьей стороны (испытательной лаборатории), показывающее, что конкретная ТР соответствует конкретному стандарту или другому нормативному документу.

Примечание - См. также термины "декларация о соответствии" (3.2.28) и "сертификация на соответствие" (3.2.15) для сравнения.

3.2.8 основные (базовые) тесты (basic tests): Ограниченные испытания, выполняемые для определения их пригодности при проведении соответствующего тестирования.

3.2.9 возможности ТР (capabilities of IUT): Набор функций и вариантов (опций) соответствующего стандарта, обеспечиваемый конкретной реализацией.

3.2.10 тесты возможности (capability tests): Испытания, проводимые для определения возможности (характеристики) ТР, устанавливающие соответствие реализации конкретному свойству прикладного протокола, описанному в цели тестирования.

3.2.11 сертификат на соответствие (certificate of conformance): См. термин "сертификат соответствия" (3.2.12).

3.2.12 сертификат соответствия (certificate of conformity): Документ, выпускаемый по правилам, установленным в системе сертификации, адекватно удостоверяющий соответствие ТР конкретному стандарту или техническим требованиям, подтвержденный конкретным методом тестирования.

3.2.13 орган по сертификации (certification body): Независимый (беспристрастный) орган, обладающий необходимой компетенцией и правами для реализации системы сертификации, представляющий интересы всех сторон, связанных с функционированием данной системы.

Примечание - Орган по сертификации может делегировать свои работы и права по сертификации другим компетентным сторонам.

3.2.14 знак соответствия (certification mark): Знак органа по сертификации (символ или буква), обозначающий, что изделие(я) или услуга(и) сертифицированы.

3.2.15 сертификация на соответствие (certification of conformity): Действие третьей стороны, подтверждающее определенный уровень достоверности соответствия данной ТР конкретному стандарту или другому нормативному документу.

Примечание - См. термины "декларация о соответствии" (3.2.28) и "аттестация на соответствие" (3.2.7) для сравнения.

3.2.16 система сертификации (certification system): Процедурная и управленческая система для проведения сертификации на соответствие, контролируемая органом по сертификации.

Примечание - Системы сертификации могут функционировать на национальном, региональном и международном уровнях.

3.2.17 клиент (испытательной лаборатории) (client [of testing laboratory]): Организация, представляющая реализацию для аттестационного тестирования.

3.2.18 сравнимость (результатов) (comparability [of results]): Характеристика процессов оценки соответствия, реализуемых различными испытательными лабораториями на одинаковых ТС и выдающих одинаковые результаты.

3.2.19 согласованность (conformance): См. 3.2.25.

3.2.20 процесс оценки соответствия (conformance assessment process): Процесс выполнения работ по аттестационному тестированию, необходимых для определения соответствия реализации прикладному протоколу.

3.2.21 журнал соответствия (conformance log): Информационное описание результатов проведения тестовой кампании, достаточное для подготовки и проверки выдаваемых вердиктов.

3.2.22 аттестационное тестирование (conformance testing): Испытание (тестирование) изделия по конкретным характеристикам, установленным в стандарте, для определения степени, в которой изделие соответствует стандарту.

3.2.23 отчет об (аттестационном) тестировании ([conformance] test report): Документ, выдаваемый по результатам оценки соответствия, содержащий сводную информацию о соответствии ТР стандарту, по которому проводилось аттестационное тестирование, и подробное описание проведенного тестирования.

3.2.24 соответствующая реализация (conforming implementation): Реализация, удовлетворяющая требованиям к соответствию, связанным с возможностями, заявленными в ЗСРП.

3.2.25 соответствие, согласованность (conformity, conformance): Выполнение реализацией всех установленных для нее требований.

3.2.26 контрольный совет (control board): Независимый (беспристрастный) орган, обладающий необходимой компетенцией и правами по принятию и сопровождению комплектов тестов, реализуемых в программах тестирования, в котором представлены интересы всех сторон, связанных с испытаниями (тестированиями).

3.2.27 декларация о согласованности (declaration of conformance): См. 3.2.28.

3.2.28 декларация (изготовителя) о соответствии (declaration of conformity [manufacturer's]): Заявка поставщика, объявляющая о его единоличной ответственности за соответствие ТР конкретному стандарту или другому нормативному документу.

Примечания

1 См. термины "аттестация на соответствие" (3.2.7) и "сертификация на соответствие" (3.2.15) для сравнения.

2 Термин "самосертификация (self certification)" применяют во избежание противоречий с концепцией сертификации, предусматривающей участие третьей стороны.

3.2.29 выполняемый контрольный пример (executable test case): Конкретизированные значения абстрактного контрольного примера.

3.2.30 комплект выполняемых тестов (executable test suite): Набор выполняемых контрольных примеров, необходимый для проведения аттестационного тестирования реализации на соответствие стандарту или группе стандартов.

3.2.31 безуспешный (вердикт) (fail [verdict]): Вердикт, присваиваемый по результатам тестирования, не удовлетворяющим цели тестирования или по крайней мере одному из требований к соответствию конкретному(ным) стандарту(ам).

3.2.32 фальсифицированное тестирование (falsification testing): Метод тестирования, разработанный для обнаружения ошибок в реализации. При наличии ошибки по данному методу можно обнаружить несоответствие реализации стандарту; однако отсутствие ошибок не обязательно подтверждает соответствие. Фальсифицированное тестирование только показывает несоответствие.

Примечание - См. термин "проверочное тестирование" (3.2.59) для сравнения.

3.2.33 тестируемая реализация (ТР) (Implementation Under Test [IUT]): Часть изделия, исследуемая при тестировании, которая должна быть реализацией одной или нескольких характеристик конкретного(ных) стандарта(ов) и основана на заданном методе реализации.

3.2.34 неокончательный (вердикт) (inconclusive [verdict]): Вердикт, присваиваемый по результатам тестирования, не соответствующих безуспешному вердикту или вердикту прохождения.

3.2.35 самотестирование (in-house testing): Тестирование, выполняемое клиентом (испытательной лаборатории) с использованием выполняемого комплекта тестов, поставляемого испытательной лабораторией, до проведения официального тестирования.

3.2.36 декларация изготовителя о согласованности (manufacturer's declaration of conformance): См. 3.2.28.

3.2.37 несогласованность (non-conformance): См. 3.2.38.

3.2.38 несоответствие (non-conformity): Невыполнение реализацией одного или нескольких установленных требований.

3.2.39 вердикт прохождения (pass [verdict]): Вердикт, присваиваемый по результатам тестирования, подтверждающим соответствие установленных требований (требований к соответствию), определяющих цель тестирования, конкретному(ным) стандарту(ам) и ЗСРП.

3.2.40 форма ДИРПТ (PIXIT proforma): Документ в форме вопросника, создаваемый и представляемый испытательной лабораторией, который после завершения подготовки к тестированию выступает в качестве ДИРПТ.

3.2.41 постпроцессор (postprocessor): Блок программного средства, преобразующий информацию об изделии из общего формата данных о нем во внутренний формат конкретной вычислительной системы.

3.2.42 препроцессор (preprocessor): Блок программного средства, преобразующий информацию об изделии из внутреннего формата конкретной вычислительной системы в общий формат данных об изделии.

3.2.43 тестирование квалификации (proficiency testing): Характеристика лаборатории, проверяемая путем сравнения различных лабораторий или систем тестирования с соответствующими аккредитованными объектами.

Примечание - Данная деятельность не относится к аттестационному тестированию (см. D.3.5.4).

3.2.44 дополнительная информация о реализации протокола для тестирования (ДИРПТ) (Protocol Implementation eXtra Information for Testing [PIXIT]): Заявка, представляемая клиентом и содержащая (или ссылающаяся на) всю информацию относительно ТР и соответствующей ТС (в дополнение к содержащейся в ЗСРП), позволяющая испытательной лаборатории выполнить соответствующий комплект тестов для ТР.

3.2.45 повторяемость (результатов) (repeatability [of results]): Характеристика абстрактного контрольного примера и соответствующего выполняемого(мых) контрольного(ных) примера(ов), обеспечивающая присвоение одинакового вердикта при повторных тестированиях в одной и той же ТС и при тех же условиях, расширенно трактуемая как общая характеристика комплекта абстрактных тестов и соответствующего комплекта выполняемых тестов.

3.2.46 резолюционные тесты (resolution tests): Тесты (испытания), выполняемые для определения степени соответствия (или несоответствия) реализации установленным требованиям.

3.2.47 комплект избранных абстрактных тестов (selected abstract test suite): Набор абстрактных контрольных примеров, выбранный в конкретной ЗСРП для использования при тестировании.

3.2.48 комплект избранных выполняемых тестов (selected executable test suite): Набор выполняемых контрольных примеров, выбранный в конкретной ЗСРП для использования при тестировании.

3.2.49 тестируемая система (ТС) (System Under Test [SUT]): Технические, программные и сетевые коммуникационные средства вычислительной техники (компьютеров), необходимые для функционирования ТР.

3.2.50 тестовая кампания (text campaign): Процесс реализации комплекта выполняемых тестов для конкретной ТР.

3.2.51 контрольный пример (text case): Нерекомендуемый термин (см. 3.2.1 и 3.2.29).

3.2.52 ошибка контрольного примера (test case error): Сообщение, выдаваемое при обнаружении ошибки в самом абстрактном контрольном примере или в соответствующем выполняемом контрольном примере.

3.2.53 цель тестирования (test purpose): Точное описание цели, которая должна быть достигнута при выполнении абстрактного контрольного примера.

3.2.54 реализатор теста (test realiser): Организация, отвечающая за обеспечение средствами тестирования ТР, независимо от клиентов испытательной лаборатории и их ТР.

3.2.55 отчет о тестировании (test report): См. 3.2.23.

3.2.56 испытательная лаборатория (test laboratory): Организация, реализующая процесс оценки соответствия.

Примечание - Испытательная лаборатория может быть третьей стороной, организацией пользователя, официальной организацией или независимым подразделением организации поставщика.

3.2.57 вердикт (теста) ([test] verdict): Заключение, выдаваемое в формулировках "прошел", "безуспешен" или "неокончателен", характеризующее соответствие ТР по отношению к выполняемому контрольному примеру и соответствующему абстрактному контрольному примеру.

3.2.58 критерий вердикта (verdict criteria): Информация, получаемая в результате выполнения абстрактного контрольного примера, позволяющая испытательной лаборатории выдать соответствующий вердикт.

3.2.59 проверочное тестирование (verification testing): Процесс получения точных сведений о корректности (правильности), совместимости и полноте ТР.

Примечание - См. термин "фальсифицированное тестирование" (3.2.32) для сравнения.

4 Сокращения

В настоящем стандарте использованы следующие сокращения:

АКП (АТС) - абстрактный контрольный пример (Abstract Test Case);

OAT (CTR) - отчет об аттестационном тестировании (Conformance Test Report);

ТР (IUT) - тестируемая реализация (Implementation Under Test);

ЗСРП (PICS) - заявка о соответствии реализации протоколу (Protocol Implementation Conformance Statement);

ДИРПТ (PIXIT) - дополнительная информация о реализации протокола для тестирования (Protocol Implementation eXtra Information for Testing);

TP (IUT) - тестируемая реализация (Implementation Under Test);

ТС (SUT) - тестируемая система (System Under Test).

5 Соответствие

5.1 Смысл соответствия в стандартах серии ГОСТ Р ИСО 10303

В контексте стандартов серии ГОСТ Р ИСО 10303 реализация является соответствующей им, если она удовлетворяет требованиям соответствия, установленным в конкретном(ных) стандарте(ах) данной серии.

Соответствие реализации выражается как соответствие прикладному протоколу в сочетании с методом реализации либо методу описания. Соответствие реализации должно быть определено путем использования комплекта выполняемых тестов, сгенерированного из применяемого стандартного комплекта абстрактных тестов. Каждый комплект абстрактных тестов установлен в стандартах группы 1200 серии ГОСТ Р ИСО 10303, и на него должны быть даны ссылки в соответствующем прикладном протоколе.

5.2 Требования соответствия

Требования соответствия, установленные в конкретном стандарте, могут быть:

a) обязательными, соблюдаемыми во всех случаях;

b) условными, соблюдаемыми при некоторых условиях, определяемых в используемом стандарте;

c) факультативными (необязательными), которым может удовлетворять конкретная реализация, обеспечивая соблюдение любых этих требований.

Примечание - Дополнительная информация по данному вопросу приведена в приложении В.


Кроме того, требования соответствия в стандарте могут быть установлены:

a) положительными - при определении, что должно быть сделано;

b) отрицательными (запрещающими) - при определении, чего не следует делать.

5.3 Заявка о соответствии реализации протоколу

Для определения соответствия конкретной реализации необходимо иметь заявку о потенциально реализуемых возможностях, позволяющую протестировать реализацию на соответствие конкретным требованиям (и только этим требованиям). Данная заявка называется заявкой о соответствии реализации протоколу (ЗСРП). Возможности (варианты, опции), указанные в ЗСРП, должны быть установлены согласно структуре требований в соответствующих стандартах серии ГОСТ Р ИСО 10303. В ЗСРП не могут быть внесены возможности вне рамок данной структуры.

ЗСРП используется испытательной лабораторией для четкого понимания сути ТС, применяемой при оценке соответствия, и помощи в определении границ области тестирования.

Примечание - Для оценки успешности взаимодействия двух или нескольких систем рекомендуется сравнить ЗСРП для данных систем и каждую возможность, заявленную для обеспечения данными системами. Если системами используются различные редакции (версии) одного стандарта и это указано в соответствующих ЗСРП, необходимо указать различия между этими редакциями и учесть их влияние на взаимодействие систем, включая применение комбинации этих стандартов.


ЗСРП создается клиентом с использованием формы ЗСРП. Форма конкретной ЗСРП является стандартизованным документом, описанным в соответствующем стандарте серии ГОСТ Р ИСО 10303. Данный документ составлен в виде вопросника и используется клиентом для документирования возможностей ТС, необходимых для проведения аттестационного тестирования.

ЗСРП, необходимая для конкретного стандарта серии ГОСТ Р ИСО 10303, представляется в форме соответствующей ЗСРП, реализуемой в системе.

5.4 Аттестованная (соответствующая) система

Аттестованной системой или реализацией является та, которая удовлетворяет требованиям соответствия из реализуемого стандарта серии ГОСТ Р ИСО 10303, указанным в конкретной ЗСРП. Подобная реализация должна пройти все испытания (тесты), образующие область тестирования и охватывающие все факультативные (необязательные) требования, включенные в конкретные ЗСРП.

Применение термина "соответствие" является неопределенным (неоднозначным) при его одновременном использовании для метода реализации, прикладного протокола и класса соответствия (при необходимости).

6 Аттестационное тестирование

6.1 Введение

В данном разделе описаны два метода, используемые в процессе оценки соответствия: различные типы применяемых аттестационных тестов и конкретная ДИРПТ. В разделе также описаны фазы и свойства процесса оценки соответствия.

6.2 Типы аттестационных тестов

В принципе целью аттестационного тестирования является установление факта соответствия реализации, прошедшей тестирование, требованиям, установленным в конкретном прикладном протоколе. В рассматриваемой группе стандартов серии ГОСТ Р ИСО 10303 различают два типа тестов, связанных со степенью обеспечения ими указанного соответствия:

a) основные (базовые) тесты, обеспечивающие предварительное подтверждение соответствия ТР. Данные тесты не обязательно устанавливаются в комплекте абстрактных тестов; однако, если комплект абстрактных тестов определяет тесты, используемые в качестве основных, они должны быть реализованы в начале оценки соответствия. Подобные тесты являются стандартизованными;

b) тесты возможности, проверяющие соблюдение характеристики (возможности) ТР в соответствии с возможностями, заявленными в ЗСРП. Данные тесты дают возможность провести полное тестирование по всему диапазону требований соответствия, установленных в конкретном стандарте. Подобные тесты являются стандартизованными.

Примечание - Резолюционные тесты проверяют степень (глубину) соответствия ТР конкретному требованию, дают положительный или отрицательный ответ и диагностическую информацию по конкретным вопросам. Данные тесты не являются стандартизованными. Более подробная информация приведена в приложении С.


Стандартный комплект абстрактных тестов должен включать в себя перечень тестов возможностей, используемый в качестве основных тестов (при их наличии). Этот комплект не содержит любые основные тесты, дополняющие набор тестов возможностей.

6.2.1 Основные тесты

Основные тесты обеспечивают ограниченное тестирование ТР, определяющее ее пригодность для дальнейшего тестирования. Данное тестирование может быть проведено с использованием абстрактных или выполняемых комплектов, а его результаты могут быть достаточны для определения соответствия реализации без проведения дальнейшего тестирования. Эти результаты также могут быть учтены при подготовке к проведению дальнейшего тестирования реализации. Данные тесты являются первоочередными при проведении тестовой компании. Основные тесты не имеют существенных отличий от тестов возможностей, они просто менее сложны.

Основные тесты пригодны:

a) для обнаружения явных случаев несоответствия реализации.

Пример 1 - Ошибка программного средства;

b) в качестве первоначального шага для решения о необходимости дальнейшего использования (или неиспользования) тестов возможностей;

c) для применения пользователями реализации, определения пригодности данной реализации к взаимодействию с другими соответствующими реализациями.

Пример 2 - Предварительное определение возможностей обмена данными.

Основные тесты (без использования тестов возможностей) не пригодны для:

a) определения соответствия реализаций;

b) достоверного определения случаев ошибочного взаимодействия реализаций.

6.2.2 Тесты возможности

Тесты возможности(ей) (в виде абстрактных или выполняемых комплектов) применяются к реализации для тщательной практической проверки удовлетворения ею всего диапазона требований соответствия, установленных в конкретном стандарте. Данные тесты используют для проверки всех обязательных возможностей (характеристик) и тех необязательных (факультативных) возможностей, которые установлены в ЗСРП как обеспечиваемые данной ТР (см. приложение В).

Тесты возможности(ей) пригодны для:

a) проверки возможностей (характеристик) ТР, связанных с требованиями соответствия;

b) определения соответствия реализации;

c) исследования случаев ошибочного взаимодействия реализаций.

Тесты возможности(ей) не пригодны для:

a) тестирования подробного поведения каждой реализуемой возможности (характеристики);

b) гарантирования взаимодействия реализаций.

Абстрактные тесты возможности(ей) стандартизованы в комплекте абстрактных тестов.

6.3 Дополнительная информация о реализации протокола для тестирования

Для тестирования конкретной реализации испытательной лаборатории необходима информация относительно самой ТР, дополняющая ЗСРП, и среды, в которой она должна быть протестирована. Эта ДИРПТ должна быть предоставлена клиентом, предъявляющим реализацию для тестирования, в результате ответа на вопросы, указанные в форме ЗСРП.

ДИРПТ может содержать информацию о:

a) ТР, необходимую испытательной лаборатории, реализующей соответствующий комплект выполняемых тестов для ТР и анализирующей результаты его выполнения;

b) ссылках на соответствующую ЗСРП и дополнительные административные сведения.

Более подробные сведения о содержании ДИРПТ приведены в ГОСТ Р ИСО 10303-32.

Конкретная ДИРПТ не должна противоречить соответствующей ЗСРП; проверка их непротиворечивости должна проводиться на этапе подготовки к тестированию в целях устранения любых обнаруженных несоответствий. ЗСРП представляет испытательной лаборатории информацию, определяющую область тестирования, а ДИРПТ - информацию, как проводить тестирование. В частности, ДИРПТ определяет принципы организации и архивирования ТС, способы доступа к ТР и ее изменения. ДИРПТ также описывает алгоритмы преобразования принципов ТР к конкретному стандарту. Для каждой оценки соответствия должна быть оформлена одна ЗСРП.

Примечание - Более подробная информация о взаимодействии двух систем может быть получена при детализации ЗСРП (см. 5.3), включая соответствующие отчеты о тестировании и другие ЗСРП.

6.4 Обзор процесса оценки соответствия

Процесс оценки соответствия включает все работы по аттестационному тестированию, необходимые для определения соответствия реализации конкретным стандартам серии ГОСТ Р ИСО 10303.

Процесс оценки соответствия состоит из следующих фаз (стадий):

a) подготовка к тестированию;

b) тестовая кампания;

c) анализ результатов;

d) отчет об аттестационном тестировании.

Примечание - Общий вид оценки соответствия показан на рисунке 2.

Рисунок 2 - Общий вид оценки соответствия

Рисунок 2 - Общий вид оценки соответствия

Требования, которым должна удовлетворять испытательная лаборатория и ее клиенты при реализации процесса оценки соответствия, установлены в ГОСТ Р ИСО 10303-32.

6.5 Подготовка к тестированию

Фаза (стадия) подготовки к тестированию охватывает следующие этапы:

a) подготовка соответствующей административной (управленческой) информации;

b) разработка соответствующих ЗСРП и ДИРПТ;

c) определение метода абстрактного тестирования (для метода реализации ТР) и соответствующего комплекта абстрактных тестов;

d) рассмотрение конкретной ЗСРП, связанное с анализом данной ЗСРП относительно установленных в ней требований соответствия;

e) рассмотрение конкретной ДИРПТ, охватывающее ее проверку на согласованность с конкретной ЗСРП;

f) начальный выбор абстрактного контрольного примера и его параметризация (внесение в него значений соответствующих параметров) на основе конкретных ЗСРП и ДИРПТ;

g) подготовка ТС.

Примечание 1 - Подготовку ТС выполняет клиент путем прогона выполняемых контрольных примеров на ТР до ее представления для проведения тестовой кампании;

h) окончательный выбор абстрактного контрольного примера и его параметризация на основе конкретных ЗСРП и ДИРПТ.

Комплект выполняемых тестов создается в результате выбора и параметризации абстрактного контрольного примера (см. выше этапы f и h); данный комплект включает основные тесты (при необходимости) и тесты возможностей.

На основе данного комплекта фиксируются ТР и область применения процесса оценки соответствия, которые в дальнейшем не могут быть изменены. Это должно проводиться по согласованию между клиентом и испытательной лабораторией.

Примечание 2 - Более подробная информация по данному вопросу приведена в ГОСТ Р ИСО 10303-32.

6.6 Тестовая кампания

Тестовая кампания является процессом, охватывающим реализацию комплекта выполняемых тестов и описания в журнале соответствия результатов тестирования и любой связанной с ними информации. В журнале соответствия также должны быть описаны исходные данные для ТР и результаты тестирования, полученные после выполнения каждого контрольного примера. Описание и сохранение всей информации, полученной для ТР в ходе тестовой кампании, необходимо для анализа результатов и последующего аудита.

6.7 Анализ результатов

Анализ результатов проводят путем оценки полученных результатов тестирования на соответствие критериям вердикта, установленным абстрактным контрольным примером. Несмотря на наличие четких отличий между стадиями тестовой кампании и анализа результатов они могут перекрываться по времени.

Примечание - Средства проведения подобной оценки в настоящем стандарте не определены, но описаны в ИСО 10303-34.


Вердикт теста определяет прохождение, безуспешность или неокончательность выполнения данного теста. Прохождение и безуспешность являются основными вердиктами, но в исключительных случаях может быть выдан неокончательный вердикт. Должно быть приведено обоснование каждого безуспешного или неокончательного вердикта, а также для них может быть приведена дополнительная информация.

a) Прохождение означает, что полученные результаты тестирования дают явное подтверждение соответствия реализации требованиям соответствия, определенным в цели тестирования, и являются правильными по отношению к конкретному стандарту и ЗСРП.

b) Безуспешность означает, что полученные результаты тестирования демонстрируют неудовлетворение цели тестирования или по крайней мере одному требованию соответствия из конкретного(ных) стандарта(ов).

Пример 3 - Аварийное прерывание, если по какой-либо причине преждевременно прервана работа выполняемого контрольного примера.

c) Неокончательность означает, что на основании полученных результатов тестирования не может быть выдан вердикт прохождения или безуспешный вердикт. Неокончательный вердикт должен присваиваться только в исключительных случаях.

Пример 4 - Ошибка контрольного примера.

Вердикт должен присваиваться по результату конкретного теста на основании критерия вердикта, связанного с конкретным абстрактным контрольным примером.

Присвоенные вердикты далее должны быть обобщены в итоговых результатах тестирования ТР.

6.8 Отчет об аттестационном тестировании

Результаты аттестационного тестирования должны быть документально оформлены в виде отчета. Отчет должен состоять из двух частей: итоговой и подробной. Формы каждой части определены в ГОСТ Р ИСО 10303-32.

Первая часть отчета должна описывать общие итоговые результаты о степени соответствия ТР. Здесь должны быть обобщены все вердикты, присвоенные при оценке соответствия результатов выполнения контрольных примеров. Во второй части отчета должны быть описаны результаты выполняемых контрольных примеров, приведены ссылки на журнал соответствия, содержащий результаты тестирования. В этой части также должны быть приведены ссылки на документы, необходимые для оценки соответствия заданному стандарту.

Примечание - В ГОСТ Р ИСО 10303-32 приведены рекомендуемые формулировки вносимых в отчеты предупредительных ограничений по аттестационному тестированию в отношении взаимодействия соответствующих объектов.

6.9 Внутренние свойства процесса оценки соответствия

Процесс оценки соответствия должен гарантировать, что полученные результаты повторяемы, сравнимы и проверяемы.

6.9.1 Повторяемость результатов

Для обеспечения достоверного аттестационного тестирования необходимо, чтобы результаты выполняемого контрольного примера для заданной ТС были одинаковыми при повторном выполнении. Подобная идентичность должна быть обеспечена в случае реализации полного комплекта выполняемых тестов и для полученных при этом результатов тестирования.

6.9.2 Сравнимость результатов

Для обеспечения объективности аттестационного тестирования общий результат констатации соответствия ТР не должен зависеть от испытательной лаборатории, проводившей тестирование. Другими словами, стандартизация процедур аттестационного тестирования должна обеспечить получение сравниваемых общих результатов тестирования ТР, независимо от того, проводил ли тестирование поставщик (первая сторона), пользователь (вторая сторона) или любая испытательная лаборатория (третья сторона).

Примечание - Различные типы испытательных лабораторий определены в Руководстве ИСО/МЭК 2 [1].


При сравнимости результатов должны быть учтены следующие важные факторы:

а) детальное проектирование и однозначное установление требований к абстрактным контрольным примерам, отражающие (с необходимой степенью адаптации к реальным условиям) подлежащие удовлетворению требования соответствия и процедуры присвоения вердиктов;

b) детальное определение процедур, используемых испытательными лабораториями при необходимости повторного выполнения контрольного примера;

c) форма отчета об аттестационном тестировании;

d) детальное определение процедур оформления отчета об аттестационном тестировании.

6.9.3 Проверяемость результатов

Данное свойство может быть необходимо при проверке (обзоре) результатов тестирования, полученных при выполнении комплекта тестов, для гарантирования правильности реализации всех процедур. Независимо от того, проводится ли анализ результатов автоматически или вручную, все исходные и выходные данные (результаты) для каждого контрольного примера должны быть описаны в журнале соответствия. Ведение этого журнала является обязанностью испытательной лаборатории для каждой тестовой кампании, обеспечивающей возможность ссылки на него при последующих работах.

7 Методы абстрактного тестирования

В реализациях прикладных протоколов могут быть выбраны любые методы из установленных в стандартах серии ГОСТ Р ИСО 10303, представляющие требования, определенные в конкретном протоколе. Требования к каждому методу реализации установлены в соответствующих стандартах группы "методы реализации" (группа 20) из серии ГОСТ Р ИСО 10303. Данные стандарты различаются средствами контроля и мониторинга при оценке соответствия. Метод абстрактного тестирования необходим для каждого метода реализации. На практике некоторые аспекты методов абстрактного тестирования являются общими для всех методов реализации.

8 Комплекты абстрактных и выполняемых тестов

8.1 Структура

Комплекты абстрактных тестов имеют иерархическую структуру, нижним уровнем которой является абстрактный контрольный пример.

Примечание - Данная структура показана на рисунке 3.

Рисунок 3 - Пример структуры комплекта абстрактных текстов

Рисунок 3 - Пример структуры комплекта абстрактных текстов

Каждый абстрактный контрольный пример должен реализовывать по крайней мере одну цель тестирования из установленных в соответствующем стандарте.

В комплекте могут быть определены вложенные группы абстрактных тестов, применяемые для упорядочения абстрактных контрольных примеров. Группы абстрактных тестов могут быть вложены на любую глубину рассматриваемой структуры. Данные группы могут быть использованы при планировании, разработке или согласовании комплекта абстрактных тестов. Каждая группа абстрактных тестов может быть скомпонована из пустого (нулевого), одинарного или множественного набора абстрактных контрольных примеров.

Комплект выполняемых тестов является набором выполняемых контрольных примеров.

8.2 Цели тестирования

Все цели тестирования, указанные в комплекте абстрактных тестов, должны соответствовать прикладному протоколу. Каждая из этих целей должна точно описывать требование, для проверки которого создается абстрактный контрольный пример.

Пример 5 - "Протестировать генерацию кривой как составной с произвольными (незаданными) характеристиками".

8.3 Абстрактные контрольные примеры

Абстрактный контрольный пример должен быть создан для проверки требования(й), определяемого(мых) одной или несколькими целями тестирования, установленными в соответствующих стандартах рассматриваемой группы серии ГОСТ Р ИСО 10303. Абстрактный контрольный пример является основой выполняемого контрольного примера и не зависит от ТР.

Абстрактный контрольный пример должен содержать:

- цель(и) тестирования;

- идентификатор контрольного примера;

- ссылку на конкретный(ные) стандарт(ы) серии ГОСТ Р ИСО 10303;

- критерий вердикта.

Абстрактный контрольный пример может содержать:

- определения формального языка для модели реализации цели(ей) тестирования;

- формулировки, отражающие структурную последовательность модели.

8.4 Выполняемые контрольные примеры

Выполняемый контрольный пример должен содержать:

- цель(и) тестирования;

- идентификатор контрольного примера;

- ссылку на конкретные разделы стандартов серии ГОСТ Р ИСО 10303;

- критерий вердикта;

- параметризированную модель, необходимую для реализации цели(ей) тестирования.

Данный пример может содержать:

- структуру обмена;

- иллюстративное представление модели.

8.5 Взаимосвязь между абстрактными и выполняемыми контрольными примерами

Выполняемый контрольный пример выделяется из абстрактного контрольного примера и представляется в виде, допускающем его выполнение ТР. Формирование выполняемого контрольного примера состоит из параметризации абстрактного контрольного примера, содержащего множество значений, и соответствующих инструкций.

Основу выполняемого контрольного примера образуют результаты параметризации (значений) абстрактного контрольного примера. Данная параметризация зависит от реализации или формата.

Выполняемый контрольный пример не может быть стандартизован вследствие его зависимости от ТС и присвоенных ему параметризированных значений.

Процедура выделения выполняемого контрольного примера из абстрактного контрольного примера описана в соответствующих стандартах рассматриваемой группы серии ГОСТ Р ИСО 10303.

ПРИЛОЖЕНИЕ А (обязательное). Регистрация информационного объекта

ПРИЛОЖЕНИЕ А
(обязательное)

Для обеспечения однозначного обозначения информационного объекта в открытой системе настоящему стандарту присвоен следующий идентификатор объекта:

{iso standard 10303 part(31) version(1)}

Смысл данного обозначения установлен в ГОСТ Р ИСО/МЭК 8824-1 и описан в ГОСТ Р ИСО 10303-1.

ПРИЛОЖЕНИЕ В (справочное). Необязательные требования соответствия

ПРИЛОЖЕНИЕ В
(справочное)

В настоящем приложении приведены примеры типов необязательных (факультативных) требований соответствия (см. 5.2).

Вариантами (опциями) являются выбираемые реализатором элементы соответствующего стандарта, требованиям которых должна удовлетворять данная реализация.

Такой выбор не всегда произволен. Например, могут быть требования, определяющие условия реализации данного варианта и ограничивающие возможности его выбора.

В свою очередь, в стандарте могут быть установлены обязательные или условные требования (или запреты), влияющие на выбор или комбинацию ранее выбранных вариантов.

Ниже приведены примеры вариантов и соответствующих им требований из стандартов (данный список не является исчерпывающим):

a) "Булевские" варианты: вариант - "да или нет"; требование - "если да, то делать как указано";

b) взаимоисключающие варианты: вариант - выполнить одно из действий; требование - выполнить одно из указанных действий;

c) выбираемые варианты: вариант - выполнить из действий; требование - выполнить по крайней мере одно из действий (1 и 2).

ПРИЛОЖЕНИЕ С (справочное). Резолюционные тесты

ПРИЛОЖЕНИЕ С
(справочное)

Резолюционные тесты содержат наиболее оптимальные вопросы, при ответе на которые может быть принято решение об удовлетворении реализацией конкретных требований. Так как неисчерпаемость данных проблем отмечена в введении и 6.2 настоящего стандарта, соответствующие диагностические вопросы, как правило, формулируются на основе опыта проведения ограниченного тестирования в конкретной области. Данные тесты не входят в тестовую кампанию и, следовательно, не отражаются в отчете об аттестационном тестировании.

Резолюционные тесты не стандартизуются.

Обычно конкретный метод тестирования выбирается в соответствии с конкретными проверяемыми требованиями и не обязательно применим к другим требованиям. Существуют методы тестирования, неприемлемые для стандартных комплектов абстрактных тестов, например, методы, зависящие от конкретной реализации, использующие диагностические и отладочные средства конкретной системы.

В частности, резолюционные тесты могут включать средства конкретной ТС для проверки положений конкретного стандарта, не охваченных областью применения стандартных аттестационных тестов.

Резолюционные тесты пригодны:

a) для получения положительного или отрицательного ответа (результата) в строго ограниченной, заранее определенной ситуации (например, при разработке реализации, для проверки правильности реализации конкретного свойства или при эксплуатации, для исследования возникших проблем);

b) как средства определения недостатков в конкретном комплекте аттестационных тестов и выдачи резолюций в этих ситуациях.

Изолированно использованные резолюционные тесты не пригодны для четкого определения соответствия реализации.

Резолюционные тесты наиболее пригодны для определения:

a) выполнения процесса оценки соответствия при более подробной диагностике проблем, возникших при его реализации;

b) ответов на вопросы, связанные с конкретной комбинацией вариантов, интересующих пользователя.

ПРИЛОЖЕНИЕ D (справочное). Дополнительные организации

ПРИЛОЖЕНИЕ D
(справочное)

D.1 Введение

D.1.1 Назначение

Настоящее приложение предназначено для описания организационных аспектов объединения национальных программ аттестационного тестирования на соответствие стандартам серии ГОСТ Р ИСО 10303 и обеспечения их международной гармонизации; тем самым расширяется состав нормативных документов по аттестационному тестированию путем включения в него:

- руководства для создания национальных организаций по аттестационному тестированию;

- рекомендаций по координации деятельности национальных организаций, их ролей и обязанностей;

- процедур аккредитации испытательных лабораторий;

- организационных процедур по оказанию услуги аттестационного тестирования, которая может завершаться выдачей сертификата соответствия.

Настоящее приложение содержит практические рекомендации по определению полномочий соответствующих организаций и установлению услуги аттестационного тестирования. В нем также описаны практические рекомендации по процедуре выдачи сертификата соответствия аттестованных изделий на основе отчета об аттестационном тестировании.

В приложении также указаны отдельные разделы основной части настоящего стандарта, к которым относятся некоторые аспекты описываемых процедур. При наличии разночтений между данным приложением и основной (нормативной) частью настоящего стандарта приоритет отдается основной части.

D.1.2 Область применения

Настоящее приложение распространяется на все услуги аттестационного тестирования, связанные с конкретными стандартами, относящимися к компетенции ИСО ТК 184/ПК 4.

D.1.3 Аудитория пользователей

Настоящее приложение адресовано национальным и международным органам по стандартизации, заинтересованным в гармонизации между услугами аттестационного тестирования и конкретным стандартом:

- органам по сертификации;

- органам по аккредитации;

- испытательным лабораториям;

- пользователям данных услуг.

D.1.4 Предпосылка

В настоящем приложении описаны процедуры выработки общей стратегии сертификации для обеспечения кооперации между национальными и международными органами по сертификации и стандартизации; данные процедуры должны обеспечить общее признание результатов тестирования и сертификатов соответствия для реализаций, удовлетворяющих стандартам серии ГОСТ Р ИСО 10303. Область деятельности по гармонизации простирается от двустороннего признания испытательных лабораторий, связанных с услугами по аттестационному тестированию (например, в виде меморандума о взаимодействии), до принятия стандартизованных процедур тестирования соответствующими органами по стандартизации*.
_______________
* Существует международный Меморандум о взаимодействии между Францией, Германией, Великобританией и Швецией по разработке гармонизированных комплектов абстрактных тестов и инструментальных средств тестирования. Конечной его целью является создание гармонизированной услуги аттестационного тестирования для Европейского сообщества, соответствующей Меморандуму СЕН/СЕНЕЛЕК M-IT-03 по специфицированию продукции информационных технологий (СЕН/СЕНЕЛЕК, март 1998 г.).

D.1.5 Общие принципы аттестационного тестирования

Национальные и международные стандарты необходимы для сохранения открытой конкуренции на международном рынке и обеспечения разработки и представления этих услуг по минимальной цене. Посредством этих стандартов пользователям представляются рыночные технические и программные средства и коммуникационные процедуры для компьютеров и соответствующих телекоммуникационных систем. Аттестационное тестирование данных изделий на соответствие стандартам уменьшает риски и неопределенности для поставщиков и пользователей. Для проведения аттестационного тестирования должны быть использованы унифицированные процедуры.

D.2 Ответственные полномочия

На рисунке D.1 показана общая номенклатура различных полномочий национальных и международных организаций, вовлеченных в аттестационное тестирование. Сертификат соответствия может быть выдан органом по сертификации после проведения процесса оценки соответствия.

Рисунок D.1 - Инфраструктура аттестационного тестирования

Рисунок D.1 - Инфраструктура аттестационного тестирования

Одна организация может выполнять несколько функций, например, обязанности органов по сертификации и аккредитации могут выполняться одним предприятием.

D.2.1 Контрольный совет

D.2.1.1 Общие рекомендации

Должен быть создан контрольный совет в целях:

a) разрешения конфликтов, возникающих при использовании конкретного комплекта тестов для аттестационного тестирования;

b) управления очередностью использования конкретных комплектов тестов;

c) соответствующего решения технических проблем, указанных в конкретных стандартах;

d) арбитражного разрешения споров между испытательными лабораториями и их клиентами.

Возникшие проблемы и принятые по ним решения должны быть направлены в ИСО ТК 184/ПК 4. В контрольный совет должны входить по одному представителю от каждой испытательной лаборатории и не менее двух представителей от ИСО ТК 184/ПК 4. В контрольный совет может входить один представитель от каждого органа по сертификации. Представители должны обеспечивать проведение комплексной технической экспертизы соответствующих стандартов и обладать легитимными полномочиями по принятию решений от своих организаций. Контрольный совет должен быть не зависим от ИСО ТК 184/ПК 4.

Должен быть создан секретариат контрольного совета. В секретариате должны храниться все запросы и постановления совета.

Постановления контрольного совета должны строго выполняться органами по сертификации и их представителями в совете.

D.2.1.2 Обязанности

Контрольный совет должен:

- помогать испытательным лабораториям в интерпретации необходимого технического содержания стандартного комплекта абстрактных тестов;

- устанавливать процедуры голосования при определении несоответствий абстрактного контрольного примера или комплекта абстрактных тестов данной редакции (версии) конкретного стандарта;

- информировать испытательные лаборатории об отмене ошибочных абстрактных контрольных примеров или комплектов абстрактных тестов, или о внесенных в них изменениях. Отмена абстрактного контрольного примера означает только его изъятие из текущей версии конкретного комплекта абстрактных тестов. Данный пример может быть откорректирован и включен в последующую версию этого комплекта. Список отмененных абстрактных примеров должен сохраняться (архивироваться) и включаться в каждый отчет о тестировании;

- разрешать спорные вопросы с клиентом, возникающие при трактовке результатов тестирования, выданных испытательной лабораторией. Запросы клиента должны быть направлены конкретной испытательной лабораторией в секретариат контрольного совета, который затем должен представить эти запросы всем членам данного совета. Контрольный совет должен установить процедуру направления конкретного запроса в секретариат, определяющую, кто представляет запрос от испытательной лаборатории и затем информирует клиента о результатах рассмотрения запроса. Во всех случаях клиент должен получить решение по своему запросу в возможно кратчайшие сроки после поступления запроса в секретариат;

- принимать решения совместно с ИСО ТК 184/ПК 4 по спорным вопросам, связанным с трактовкой конкретного стандарта;

- устанавливать и поддерживать связь с ИСО ТК 184/ПК 4;

- вести документирование решений контрольного совета, связанных с конкретным стандартом и опубликованными результатами тестирования.

D.2.2 Орган по аккредитации

D.2.2.1 Общие рекомендации

Орган по аккредитации должен:

- подчиняться правилам признанных национальных и международных систем по аккредитации лабораторий, обеспечивающим международное признание отчетов о тестировании;

- обеспечивать услугами по аккредитации лабораторий, предоставившим заявку на аккредитацию;

- определять признание компетентности лабораторий на национальном уровне;

- обеспечивать управление лабораториями в части проверки качества услуг, предоставляемых этими лабораториями.

D.2.2.2 Обязанности

Орган по аккредитации должен:

- определять критерии аккредитации испытательных лабораторий; требования к аккредитации этих лабораторий должны быть установлены при участии экспертного совета в рассматриваемой области, так как технические требования к аккредитации лаборатории зависят от конкретного стандарта;

- определять и подтверждать компетентность лабораторий;

- обеспечивать лаборатории рекомендациями (руководствами) от компетентных технических экспертов по выдаче результатов деятельности лабораторий на высшем уровне описания технической информации и информации о тестируемом изделии;

- документировать (архивировать) сведения о всех испытательных лабораториях, признанных компетентными в проведении аттестационного тестирования, для которых установлен перечень используемых стандартов (нормативных документов);

- уведомлять конкретную испытательную лабораторию, контрольный совет и орган по сертификации о лишении данной лаборатории аккредитации.

Орган по аккредитации может полностью или частично делегировать свои полномочия по оценке испытательной лаборатории другому компетентному органу. В случае подобного делегирования оно может быть реализовано в виде решения о расширенном признании компетентности испытательных лабораторий при обеспечении эквивалентности их оценки требованиям органа по аккредитации и принятии данным органом на себя всей ответственности за эту аккредитацию.

D.2.3 Испытательная лаборатория

D.2.3.1 Общие требования

Общие требования к испытательной лаборатории установлены в ГОСТ Р ИСО 10303-32.

D.2.3.2 Обязанности

Испытательная лаборатория должна:

- проводить аттестационное тестирование и представлять клиенту отчеты о тестировании. Дополнительно, по требованию клиента, представлять отчеты о тестировании в орган по сертификации;

- разрабатывать и сопровождать заключения по договорам по поручению органа по аккредитации;

- разрабатывать и сопровождать заключения по договорам по поручению любого органа по сертификации (факультативно);

- обеспечивать конфиденциальность всех результатов тестирования и соответствующих документов, за исключением общедоступных (отчетов об аттестационном тестировании);

- подчиняться всем требованиям по аккредитации;

- соответствовать действующему законодательству. Аккредитация не должна снижать требования к лаборатории в части контроля и соблюдения ею национальных, государственных и местных законов, постановлений или других актов, применимых в ее деятельности, включая законы по защите поставщика и антитрестовское законодательство;

- обеспечивать статус аккредитованной лаборатории в рамках ограничений, определенных ее областью аккредитации. Основное ограничение должно предусматривать проведение сертификации данной продукции органом по сертификации или правительственным органом. Испытательная лаборатория должна предоставлять соответствующие услуги и указывать период действия аккредитации. (Лаборатории и их клиенты могут приводить ссылки о состоянии своей аккредитации в документации заказа, рекламе или маркировке изделия, на таре или упаковке; данные ссылки должны быть датированы).

D.2.4 Орган по сертификации

D.2.4.1 Общие требования

Орган по сертификации должен:

- подчиняться правилам признанных национальных и международных систем по аккредитации лабораторий, обеспечивающим всеобщее признание сертификатов;

- гарантировать, что предоставляемые им услуги независимы от его ведомственной подчиненности (принадлежности), а членство в данном органе не связано с чрезмерными финансовыми обязательствами;

- неявно управлять процедурами работы органа.

Каждый полномочный член ИСО ТК 184/ПК 4 должен указать о своей принадлежности к соответствующему национальному(ным) органу(ам) по сертификации.

D.2.4.2 Обязанности

Орган по сертификации должен:

- установить четкие критерии выдачи сертификата, включая ограничения по своей ответственности за сертификат;

- выбрать испытательные лаборатории;

- определить лаборатории для клиентов, представляющих заявки для тестирования на соответствие указанному(ным) стандарту(ам);

- сотрудничать с испытательной лабораторией(ями) при подготовке договора на предоставление услуг аттестационного тестирования в целях учета национальных особенностей, уточняющих соответствующие права и обязанности;

- выдавать сертификаты на основе отчета о тестировании;

- представлять на национальном уровне сведения о новых услугах, связанных с техническими требованиями и методами тестирования для конкретного стандарта. Минимально в данных сведениях должна быть представлена информация:

a) по применению конкретной программы работ;

b) поясняющая процедуру запроса данных услуг.

D.3 Управление и сертификация

D.3.1 Указания о роли органа по сертификации

Орган по сертификации выдает сертификаты на основе четко определенных критериев. Данные критерии должны удовлетворять конкретным требованиям, установленным в заданном прикладном протоколе, например, по полноте его представления. В каждой стране, реализующей услуги аттестационного тестирования, должен(ны) быть создан(ы) орган(ы) по сертификации на соответствие каждому (всем) стандарту(ам). Общее признание результатов тестирования должно обеспечиваться на основе принятия всеми органами по сертификации единых критериев.

D.3.2 Обеспечение программы аккредитации лаборатории

Орган по аккредитации должен:

- гарантировать доступность испытательной лаборатории для всех клиентов, включая иностранных;

- устанавливать соответствующие национальные критерии, необходимые для оценки компетентности лабораторий по проведению тестирования (данная информация должна быть отражена в развернутом плане оценки). Сама оценка может быть проведена органом по аккредитации;

- подтверждать квалификацию технических экспертов и оценщиков, участвующих в аккредитации испытательной лаборатории;

- обеспечивать наличие процедур представления лаборатории на аккредитацию или отказа от ее аккредитации. Данные процедуры должны быть основаны на рассмотрении результатов оценки и других документов, определяющих выполнение лабораторией соответствующих технических, финансовых и административных обязательств.

D.3.3 Условия аккредитации испытательной лаборатории

Условия для лаборатории, претендующей на аккредитацию, и самой ее аккредитации зависят от конкретных требований к тестированию. Аккредитация может потребоваться испытательной лаборатории для:

- ее первоначальной и периодической оценки и проверки;

- демонстрации (при необходимости), что она в состоянии выборочно провести испытания (выполнить тесты) из тех, на проведение которых она аккредитуется;

- подтверждения ее способности выполнять испытания (тесты), на проведение которых она была аккредитована в соответствии с конкретной версией метода тестирования;

- проведения выборочных контрольных испытаний; данные испытания могут являться составной частью периодической оценки (проверки) конкретной испытательной лаборатории;

- выплаты соответствующих вознаграждений (гонораров);

- указания границ области ее аккредитации только для испытаний или услуг, на которые она аккредитована;

- указания степени (статуса) ее аккредитации на соответствующих бланках, брошюрах, отчетах о тестировании и в других изданиях (публикациях), связанных с профессиональными, техническими, коммерческими и другими услугами, оказываемыми данной лабораторией;

- уведомления клиентов, что аккредитация лаборатории или любые ее отчеты о тестировании не подтверждают и не обеспечивают данной лабораторией соответствия изделия (стандартам или требованиям), подтверждения данного соответствия или его утверждения на подходящем уровне;

- архивации документов по всей ее деятельности в процессах тестовых кампаний по крайней мере за один год (практически при аккредитации испытательной лаборатории на национальном уровне данный период может быть продлен);

- обеспечения независимой взаимосвязи между лабораторией, ее клиентами, филиалами лабораторий и другими организациями, позволяющей лаборатории выдавать объективные отчеты о тестировании;

- отчета перед органом по аккредитации в месячный срок со дня внесения любых изменений в структуру лаборатории (изменение адреса, собственника, полномочного представителя, утверждающих подписей или средств).

D.3.4 Критерии аккредитации испытательных лабораторий

При аккредитации испытательной лаборатории должны быть учтены критерии, связанные с системой качества лаборатории, ее штатом (персоналом), средствами или оборудованием, методами и процедурами тестирования, документацией и отчетами по тестированию (правила документирования которых установлены в Руководстве ИСО/МЭК 25 [2]).

D.3.5 Оценка испытательной лаборатории

D.3.5.1 Заявка (на аккредитацию) испытательной лаборатории

Образец заявки на аккредитацию испытательной лаборатории в месте ее размещения приведен в Руководстве ИСО/МЭК 38 [3].

При получении заявки от иностранной лаборатории должна быть учтена государственная политика по признанию результатов тестирования от испытательных лабораторий, аккредитованных в других регионах, или по иностранным системам аккредитации.

D.3.5.2 Оценка лаборатории на месте ее размещения

Перед первоначальной аккредитацией лаборатории и периодически после ее проведения должна проводиться оценка каждой лаборатории на месте ее размещения для определения ее соответствия заданным критериям. Эксперты, проводящие оценку, должны использовать стандартизованные таблицы контрольных проверок для беспристрастной оценки каждой лаборатории по отношению к другим. Однако эксперты имеют определенную свободу при установлении соответствия лаборатории конкретным критериям, учитывающим специфику каждой лаборатории. Эксперты должны быть выбраны и назначены на основе проверки ранее выполненных ими экспертиз. Время проведения оценки может быть различным, но следует стремиться к его минимизации, чтобы не препятствовать нормальной работе конкретной лаборатории. Эксперты:

- встречаются с административным и производственным персоналом, обеспечивающим деятельность аккредитуемой лаборатории, для ознакомления конкретных лиц с процессом оценки и определения плана ее проведения;

- проверяют систему качества, используемую в лаборатории, ее оборудование, аппаратуру и другие средства;

- изучают руководство по качеству данной лаборатории (или эквивалентную документацию), проверяют отчеты, связанные с образцами (эталонами), обозначением контрольных образцов и процедур, определяют соблюдение необходимых условий и проверяют копии отчетов о тестировании;

- рассматривают отчеты периодических внутренних аудиторских проверок;

- выборочно (репрезентативно) рассматривают отчеты по оценке компетентности всего персонала испытательной лаборатории;

- рассматривают наглядные примеры методов испытаний (тестирования) и обсуждают их с техническим персоналом для оценки его компетентности в проведении данных процедур. По возможности проверяют предысторию (архивы) одного или нескольких образцов (эталонов) на основе законченных отчетов о тестировании.

В конце оценки проводят краткое совещание с администрацией лаборатории для обсуждения решений по оценке и определения не выявленных ранее недостатков. Окончательное обнаружение недостатков должно проводиться лабораторией. Формализованные результаты оценки и итоговый отчет должны представляться в орган по аккредитации для дальнейшего рассмотрения. Лаборатория в месячный срок с даты проведения совещания должна ответить на поставленные вопросы и представить соответствующую документацию или доказательства проведения соответствующих корректировок (или выполнения принятых на совещании решений). Любая лаборатория, претендующая на первоначальную аккредитацию, может попросить отсрочки при ответе на поставленные вопросы.

Если обнаружены недостатки в деятельности аккредитованной лаборатории, эта лаборатория должна откорректировать их в месячный срок после проведения совещания, или она столкнется с проблемами приостановки, отмены или окончания ее аккредитации. При обнаружении недостатков в работе систем тестирования они не должны использоваться до полного проведения в них соответствующих корректировок. Любые недостатки, подлежащие корректировке, должны быть рассмотрены при последующих оценках лаборатории.

D.3.5.3 Инспекционный контроль

Помимо регулярных плановых проверок (оценок) деятельности лаборатории в период действия ее аттестата аккредитации может быть проведен инспекционный контроль (инспекционные проверки). Инспекционный контроль необходим для проверки формальных изменений, внесенных в состав персонала лаборатории, используемых ею средств и ее деятельности или для обследования причин неудовлетворительного проведения ею тестирования. Область инспекционного контроля может простираться от проверки некоторых отдельных пунктов деятельности лаборатории до полной ее проверки. Отсутствие взаимопонимания между лабораторией и экспертами, проводящими инспекционный контроль, или их представителями может служить основанием для приостановки или отмены аккредитации.

D.3.5.4 Тестирование квалификации

Тестирование квалификации лаборатории является неотъемлемой частью процесса ее аккредитации. При наличии средств, оборудования и персонала, удовлетворяющих критериям, указанным в общих характеристиках лаборатории, обеспечивающих проведение ею тестирования, также необходим анализ фактических результатов тестирования при использовании ряда методов тестирования для определения степени реального влияния общих характеристик лаборатории на получение желаемых результатов. Отрицательные результаты проведения тестирования квалификации лаборатории являются основанием для отказа в проведении ее аккредитации.

D.3.5.5 Общая оценка

Общая оценка лаборатории проводится техническими экспертами, назначенными органом по аккредитации, которые должны проверить отчеты заявленной лаборатории и аргументировать свои решения на основании:

- информации, приведенной в заявке лаборатории на аккредитацию;

- отчетов по оценке лабораторий на месте ее размещения;

- действий, предпринятых лабораторией для корректировки выявленных недостатков;

- результатов тестирования квалификации лаборатории;

- информации, полученной в результате инспекционных проверок лаборатории.

Если при проведении общей оценки были обнаружены дополнительные недостатки, сообщения о них должны быть доведены до лаборатории. Лаборатория в месячный срок должна ответить на данные сообщения и представить соответствующую документацию о корректировке конкретных недостатков. При этом может потребоваться разъяснение отдельных вопросов. Все недостатки должны быть устранены до первоначальной аккредитации лаборатории или ее пролонгации.

D.3.5.6 Деятельность по аккредитации

Необходимо разработать программу аккредитации лаборатории, охватывающую вопросы:

- рекомендаций по аккредитации: в случае положительного решения данные рекомендации являются основой для выдачи аттестата аккредитации;

- отказа в аккредитации: в случае рекомендуемого отказа в аккредитации лаборатория должна быть извещена об этом и ей должны быть представлены мотивированные обоснования данного решения;

- апелляции: при отказе в аккредитации лаборатория может потребовать рассмотрения данного решения в органе по аккредитации; если апелляция лаборатории не была удовлетворена данным органом, лаборатория может направить апелляцию в контрольный совет;

- возобновления (продления) аккредитации: аккредитация гарантируется на заданный временной период с возможностью ее продления на тот же срок (обычно рекомендуется аккредитация на два года);

- отказа от аккредитации: сама лаборатория может в любое время объявить об отказе от своей аккредитации, направив соответствующее официальное заявление;

- приостановки аккредитации: если в деятельности аккредитованной лаборатории обнаружены проблемы или недостатки, носящие временный характер, ее аккредитация может быть приостановлена на время их устранения;

- отмены аккредитации: в случае обнаружения нарушения лабораторией условий аккредитации ее аккредитация может быть отменена. Одновременно лаборатории может быть дано право добровольного отказа от аккредитации.

D.4 Процесс сертификации

D.4.1 Первоначальный контакт

Клиент для получения соответствующих услуг аттестационного тестирования может самостоятельно выбрать способ взаимосвязи с испытательной лабораторией: либо непосредственно с самой лабораторией, либо через орган по сертификации. Если аттестационное тестирование изделия проводится с целью получения сертификата соответствия, то клиенту рекомендуется изначально контактировать с органом по сертификации.

D.4.2 Содержание и представление сертификата соответствия

Образец сертификата соответствия приведен на рисунке D.2. Вид сертификата соответствия зависит от набора упомянутых в нем конкретных стандартов и времени его действия, форма данного сертификата не обязательно унифицирована для всех органов по сертификации. В дополнение к сертификату соответствия для ТР на заданной ТС клиент может заявить (см. рисунок D.3) о соответствии данной ТР при ее эксплуатации на других ТС. Данные заявки клиента не охватываются конкретным сертификатом соответствия.

ОБРАЗЕЦ
	наименование органа по сертификации и (или) логотип
Сертификат соответствия
		(срок действия)

Настоящий сертификат выдан на основе результатов тестирования, подробно описанных в отчете об аттестационном тестировании (OAТ), обозначение которого указано ниже. Процессор прошел аттестационное тестирование на соответствие конкретным стандартам согласно указанной ниже системе (схеме) сертификации; следует более подробно изучить данный ОАТ для уточнения всех характеристик (возможностей) данной реализации.

	Владелец сертификата
		наименование клиента
	Обозначение процессора
		наименование и версия процессора
	Тестируемая система
	Технические средства
		перечень любых необходимых технических средств
	Варианты технических средств
	Операционная система
		наименование и версия операционной системы
	Прочие программные средства
		список дополнительных программных средств
	Действие сертификата
		срок действия
	Ссылочный стандарт
		обозначение и наименование
	Тестируемая реализация
		наименование и версия процессора
	ОАТ N
		номер отчета (обозначение)
	Пересматриваемый стандарт
		Да или нет (см. ОАТ)
	Испытательная лаборатория
		наименование испытательной лаборатории
	Реквизиты
		подпись, орган по сертификации, знак соответствия
	Сертификат N

Рисунок D.2 - Образец сертификата соответствия

ОБРАЗЕЦ

Дополнительная(ые) тестируемая(ые) система(ы) (ТС)

Поставщик процессора формулирует и представляет декларацию, устанавливающую, что в ряде сред эксплуатации процессора получаются результаты, аналогичные выдаваемым в среде, указанной в сертификате соответствия. Данные заявления клиента не охватываются сертификатом соответствия.

	Владелец сертификата
		наименование клиента
	Обозначение процессора