ГОСТ Р ИСО 5479-2002 - Статистические методы. Проверка отклонения распределения вероятностей от нормального распределения

ГОСТ Р ИСО 5479-2002

Группа Т59

ОКС 03.120.30
ОКСТУ 0011

Дата введения 2002-07-01

1 РАЗРАБОТАН И ВНЕСЕН Техническим комитетом по стандартизации ТК 125 "Статистические методы в управлении качеством продукции";

Акционерным обществом "Научно-исследовательский центр контроля и диагностики технических систем" (АО НИЦ КД)

2 ПРИНЯТ И ВВЕДЕН В ДЕЙСТВИЕ Постановлением Госстандарта России от 22 января 2002 г. N 25-ст

3 Настоящий стандарт представляет собой аутентичный текст международного стандарта ИСО 5479-97 "Статистическое представление данных. Проверка отклонения распределения вероятностей от нормального распределения"

4 ВВЕДЕН ВПЕРВЫЕ

Введение

Настоящий стандарт устанавливает критерии, с помощью которых можно проверить, подчиняется ли генеральная совокупность данных нормальному закону распределения. Это следующие виды критериев: графический метод, направленный критерий, многонаправленный критерий, многосторонний критерий, совместный критерий для нескольких независимых выборок.

Целью настоящего стандарта является - привести критерии, удобные для использования специалистами в промышленности для проверки на нормальность различных данных в ходе проведения измерений, контроля и испытаний.

В настоящем стандарте рассматриваются способы построения статистик и правила принятия решений для критериев проверки на нормальность.

1 Область применения

1.1 Настоящий стандарт устанавливает методы и критерии для проверки отклонения распределения вероятностей от нормального распределения при независимых наблюдениях.

1.2 Применение критерия на отклонение от нормального распределения необходимо во всех случаях, когда есть сомнение, нормально ли распределены наблюдения. В случае робастных методов (то есть таких, что результаты наблюдений незначительно изменяются, когда реальное распределение вероятностей наблюдений ненормально) критерий на отклонение от нормального распределения не применяют. Например случай, когда выборочное среднее арифметическое единственной случайной выборки, полученной в результате наблюдений, необходимо сопоставить с данным теоретическим значением с использованием -критерия.

1.3 Необязательно использовать такой критерий при каждом обращении к статистическим методам, основанным на гипотезе нормальности. Существуют случаи, когда в нормальности распределения наблюдений нет сомнения: есть теоретические (например физические) обоснования, подтверждающие гипотезу, или гипотезу считают приемлемой согласно априорной информации.

1.4 Критерии на отклонение от нормального распределения, установленные в настоящем стандарте, в основном рассчитаны на полные, несгруппированные данные.

2 Нормативные ссылки

В настоящем стандарте использована ссылка на следующий стандарт:

ГОСТ Р 50779.10-2000 (ИСО 3534.1-93) Статистические методы. Вероятность и основы статистики. Термины и определения

3 Определения и обозначения

3.1 Определения

В настоящем стандарте применяются термины с соответствующими определениями по ГОСТ Р 50779.10.

3.2 Обозначения

В настоящем стандарте использованы следующие обозначения:

	- коэффициент критерия Шапиро-Уилка;
;	- вспомогательные величины для критерия Эппса-Палли;
	- эмпирическая кривизна;
	- эмпирическая асимметрия;
	- математическое ожидание;
	- вспомогательная величина для совместного критерия, использующего несколько независимых выборок;
	- число последовательных выборок;
	- нулевая гипотеза;
	- альтернативная гипотеза;
	- порядковый номер значений в выборке, упорядоченной в порядке неубывания;
	- выборочный центральный момент порядка ;
	- объем выборки;
	- вероятность, связанная с -квантилью распределения вероятностей;
	- вероятность;
	- вероятность, связанная с ;
	- вспомогательная величина для критерия Шапиро-Уилка;
	- статистика критерия;
	- статистика критерия Эппса-Палли;
	- -квантиль стандартного нормального распределения;
	- вспомогательная величина для совместного критерия, использующего несколько независимых выборок;
	- статистика критерия Шапиро-Уилка;
	- вспомогательная величина для совместного критерия, использующего несколько независимых выборок;
	- случайная переменная;
	- значение случайной переменной ;
	- -е значение в выборке, упорядоченной в порядке неубывания;
	- -e значение в выборке, упорядоченной в порядке неубывания;
	- среднее арифметическое;
	- уровень значимости;
	- вероятность ошибки второго рода;
	- кривизна совокупности;
	- эксцесс совокупности;
	- асимметрия совокупности;
; ;	- вспомогательные величины для совместного критерия, использующего несколько независимых выборок;
; ;	- коэффициенты совместного критерия, использующего несколько независимых выборок;
	- математическое ожидание (центральный момент первого порядка);
	- дисперсия совокупности (центральный момент второго порядка);
	- центральный момент совокупности третьего порядка;
	- центральный момент совокупности четвертого порядка;
	- стандартное отклонение совокупности ().

4 Общие положения

4.1 Существуют различные критерии на отклонение от нормальности. В настоящем стандарте установлены графические методы, моментные критерии, регрессионные критерии и критерии характеристических функций. Критерии хи-квадрат подходят только для сгруппированных данных, и так как группирование приводит к потере информации, в данном стандарте они не рассмотрены.

4.2 Если о выборке нет дополнительной информации, рекомендуется сначала построить нормальный вероятностный график, то есть построить кумулятивную функцию распределения значений, полученных в результате наблюдений, на бумаге для нормальных вероятностных графиков с осями координат, в которых кумулятивная функция нормального распределения представлена прямой линией.

Этот метод, установленный в разделе 5, позволяет сразу видеть, близко ли полученное распределение к нормальному. Используя данную дополнительную информацию, необходимо решить, какой критерий можно применить: направленный, регрессионный, критерий характеристической функции или никакой. Такое графическое представление нельзя рассматривать как строгий критерий, но даваемая им суммарная информация является существенным дополнением к любому критерию на отклонение от нормального распределения. В случае отклонения нулевой гипотезы эта информация дает возможность определить тип альтернативной гипотезы, которая могла бы быть применима.

4.3 Критерий на отклонение от нормального распределения имеет нулевую гипотезу, состоящую в том, что выборка содержит значений независимых наблюдений, подчиняющихся одному и тому же нормальному распределению. Он заключается в вычислении функции от этих значений, называемой статистикой критерия. Нулевую гипотезу о нормальности распределения принимают или отклоняют в зависимости от того, лежит ли статистика в области ожидаемых значений, соответствующих нормальному распределению.

4.4 Критическая область критерия - это совокупность значений , ведущих к отклонению нулевой гипотезы. Уровень значимости критерия - это вероятность получения значения в критической области, когда нулевая гипотеза верна. Этот уровень дает вероятность ошибочного отклонения нулевой гипотезы (вероятность ошибки первого рода).

Граница критической области (или в случае двустороннего критерия - границы критической области) - это критическое значение(ния) статистики критерия.

4.5 Мощность критерия - это вероятность отклонения нулевой гипотезы, когда она неверна. Высокая мощность соответствует низкой вероятности ошибочного применения нулевой гипотезы (вероятности ошибки второго рода).

Мощность критерия (то есть для данной ситуации вероятность, что нулевая гипотеза о нормальности распределения будет отклонена, если она неверна) возрастает с ростом числа наблюдений. Например, отклонение от нормального распределения, которое могло быть очевидным при использовании критерия с большой выборкой, можно не обнаружить при том же значении критерия с меньшей выборкой.

4.6 Существуют два вида критериев на отклонение от нормального распределения: направленный критерий - когда форму этого отклонения устанавливают в альтернативной гипотезе и многосторонний критерий - когда форму отклонения в ней не устанавливают.

В направленном критерии критическую область определяют так, чтобы мощность критерия достигала максимального значения. В многостороннем критерии необходимо отделить критическую область так, чтобы она состояла из значений статистики критерия, лежащих далеко от ожидаемого значения.

Если имеются предположения о форме отклонения от нормального распределения, то есть рассматривается распределение, у которого асимметрия или кривизна отличны от свойственных нормальному распределению, то следует применить направленный критерий, так как его мощность больше, чем у многостороннего.

4.7 Направленный критерий является односторонним. В случае асимметрии он сдвигается к положительной или отрицательной асимметрии. Если совместно рассматривают несколько альтернативных гипотез - это критерий многонаправленный. Такие критерии используют при совместном рассмотрении ненулевых асимметрии и кривизны, отличных от свойственных нормальному распределению.

4.8 Таблицы 8-14 и рисунок 9 позволяют применять критерии для наиболее распространенных уровней значимости , то есть =0,05 и =0,01. До использования критерия следует установить уровень значимости. Критерий может привести к отклонению нулевой гипотезы при уровне значимости 0,05 и не отклонению той же гипотезы при уровне значимости 0,01.

4.9 При вычислении статистики критерия необходимо использовать не менее шести значащих цифр. Значения подсовокупностей, промежуточных результатов и вспомогательных величин следует округлять не менее чем до шести значащих цифр.

5 Графический метод

5.1 Кумулятивную функцию распределения наблюденных значений строят на бумаге для нормальных вероятностных графиков. Вертикальная ось имеет нелинейную шкалу, соответствующую площади под стандартной функцией нормального распределения и размечена значениями кумулятивной относительной частоты. Другая ось имеет линейную шкалу для упорядоченных значений . Если кумулятивная функция распределения переменной приближается к прямой линии, то распределение переменной будет нормальным.

Иногда эти оси меняют местами. Если выполнено нормирование переменной , линейную шкалу можно заменить логарифмической, квадратичной, обратной или другой шкалой.

На рисунке 1 приведен пример бумаги для нормальных вероятностных графиков. По вертикальной оси значения кумулятивной относительной частоты даны в процентах, а по горизонтальной - произвольная линейная шкала.

Рисунок 1 - Бумага для нормальных вероятностных графиков

ГОСТ Р ИСО 5479-2002 Статистические методы. Проверка отклонения распределения вероятностей от нормального распределения

Рисунок 1 - Бумага для нормальных вероятностных графиков

Чистый бланк бумаги для нормальных вероятностных графиков приведен в приложении А.

Если график на этой бумаге представлен набором точек, которые рассеянны около прямой линии, то это дает первое подтверждение утверждению, что генеральная совокупность, из которой взята выборка, подчиняется нормальному закону распределения.

Этот подход важен тем, что дает наглядную информацию по типу отклонения от нормального распределения.

Если график показывает, что данные подчинены другому распределению, не имеющему отношения к нормальному (например график кумулятивной функции распределения такой, как на рисунке 5 или 6), то в некоторых случаях к нормальному распределению можно перейти с помощью специального преобразования.

Если график показывает, что данные не подчиняются простому однородному распределению, а скорее всего принадлежат смеси двух или нескольких однородных подсовокупностей (например, если график кумулятивной функции распределения такой, как на рисунке 7), то рекомендуется выявить подсовокупности и анализ каждой из них проводить отдельно.

Этот графический метод не является критерием на отклонение от нормального распределения в строгом смысле. Например, в случае малых выборок с его помощью можно получить выраженные кривые нормальных распределений, но для больших выборок кривые могут представлять ненормальные распределения.

5.2 Графическая процедура состоит в расположении наблюденных значений () в неубывающем порядке и затем в нанесении значений вероятности , рассчитанных по формуле

, (1)

на бумагу для нормальных вероятностных графиков (где - порядковый номер ; ).

Примечание 1 - Часто вместо формулы (1) применяют следующие формулы: и . Применение данных формул не рекомендуется, так как они дают плохую аппроксимацию нормальной функции распределения ожидаемой порядковой статистики .

5.3 Пример использования бумаги для нормальных вероятностных графиков показан на рисунке 2.

Рисунок 2 - График серии наблюдений на бумаге для нормальных вероятностных графиков

В таблице 1 приведены значения в порядке неубывания как результат серии из 15 независимых наблюдений при испытаниях на усталость вращающегося соединения.

Таблица 1 - Значения серии из 15 независимых наблюдений и соответствующие им значения


1	0,041	0,200	0,301
2	0,107	0,330	0,519
3	0,172	0,445	0,648
4	0,238	0,490	0,690
5	0,303	0,780	0,892
6	0,369	0,920	0,964
7	0,343	0,950	0,978
8	0,500	0,970	0,987
9	0,566	1,040	1,017
10	0,631	1,710	1,233
11	0,697	2,220	1,346
12	0,762	2,275	1,357
13	0,828	3,650	1,562
14	0,893	7,000	1,845
15	0,959	8,800	1,944

Примечание 2 - В таблице 1 и последующих примерах единицы величин опущены, так как это несущественно для рассматриваемых критериев в данном стандарте.

Серию точек, показанную на рисунке 2а) получают на основе значений вероятностей и . Из графика видно, что эти точки не образуют прямой линии. Если заменить на , то новый график на рисунке 2b) близок к прямой линии. Из этого следует, что гипотеза нормального распределения для логарифма наблюдений адекватна.

5.4 Рассеяние полученных экстремальных значений больше, чем у средних арифметических значений, поэтому шкала кумулятивной относительной частоты расширяется к краям. Наличие небольшого числа значений на любом конце графика функции кумулятивного распределения, которые заметно отклоняются от прямой линии, определяемой средними арифметическими значениями, нельзя рассматривать как показатель отклонения от нормального распределения.

Чем больше объем выборки, тем более надежны заключения, которые можно вывести из вида графика функции распределения.

Если график кумулятивной функции распределения наблюдаемых значений таков, что большие значения находятся ниже прямой линии, образуемой другими значениями, то такое преобразование как или приведет к графику, более соответствующему прямой линии [см. рисунки 2b) и 5].

На рисунках 3-7 верхние графики представляют собой кумулятивные функции распределения; для сравнения нижние графики представляют соответствующие функции плотности распределения.

Рисунок 3 - Кумулятивная функция распределения и функция плотности распределения с меньшей кривизной

Рисунок 3 - Кумулятивная функция распределения (вверху) и функция плотности распределения
с меньшей кривизной (внизу)

Рисунок 4 - Кумулятивная функция распределения и функция плотности распределения с большой кривизной

Рисунок 4 - Кумулятивная функция распределения (вверху) и функция плотности распределения
с большой кривизной (внизу)

Рисунок 5 - Кумулятивная функция распределения и функция плотности распределения с положительной асимметрией

Рисунок 5 - Кумулятивная функция распределения (вверху) и функция плотности распределения
с положительной асимметрией (внизу)

Рисунок 6 - Кумулятивная функция распределения и функция плотности распределения с отрицательной асимметрией

Рисунок 6 - Кумулятивная функция распределения (вверху) и функция плотности распределения
с отрицательной асимметрией (внизу)

Рисунок 7 - Функции, полученные наложением двух различных кумулятивных функций распределения и функций плотности распределения

Рисунок 7 - Функции, полученные наложением двух различных кумулятивных функций распределения (вверху)
и функций плотности распределения (внизу)

Если график кумулятивной функции распределения полученных значений подобен графикам на рисунках 3 или 4, то соответствующее частотное распределение имеет меньшую кривизну (график более плоский) или большую кривизну (график более выпуклый) соответственно.

Графики кумулятивных функций распределения на рисунках 5 и 6 относятся к функциям плотности распределения с положительной и отрицательной асимметрией.

На рисунке 7 представлены кумулятивная функция распределения и функция плотности распределения, полученные от наложения двух различных функций плотности.

6 Направленные критерии

6.1 Общие положения

6.1.1 Направленные критерии относятся к характеристикам асимметрии или эксцесса распределения вероятностей наблюдений. Они основаны на фактах, что в случае нормальной случайной переменной со средним :

центральный момент третьего порядка равен

; (2)

нормированный центральный момент третьего порядка (асимметрия совокупности) равен

ГОСТ Р ИСО 5479-2002 Статистические методы. Проверка отклонения распределения вероятностей от нормального распределения ; (3)

нормированный центральный момент четвертого порядка (кривизна совокупности) равен

, (4)

где

- момент второго порядка; (5)

- момент четвертого порядка; (6)

- асимметрия совокупности, которая может быть большей, равной или меньшей чем нуль;

- кривизна совокупности (всегда положительная);

- эксцесс совокупности.

При этом всегда выполняется неравенство .

6.1.2 В критерии на асимметричность альтернативную гипотезу можно задать в виде

, что эквивалентно [положительная асимметрия, (см. рисунок 5)] или

, что эквивалентно [отрицательная асимметрия, (см. рисунок 6)].

Распределение вероятностей с положительной асимметрией имеет повышенное рассеяние больших, а не малых значений переменных. Обратное верно для случая с отрицательной асимметрией.

6.1.3 В критерии на эксцесс совокупности альтернативную гипотезу можно задать в виде:

, что означает большую кривизну [функция плотности распределения более выпуклая (см. рисунок 4)] или

, что означает меньшую кривизну [функция плотности распределения более плоская (см. рисунок 3)].

По сравнению с нормальным распределением в распределении с большей кривизной преобладают значения переменной, близкие к среднему и к обоим краям. Обратное верно для меньшей кривизны.

6.1.4 Направленный критерий применяют только при наличии конкретной информации о том, как распределение может отличаться от нормального. Эта информация может исходить из физической природы данных или вида возмущения, которое может повлиять на процесс, генерирующий совокупность данных.

Например тот факт, что переменная неотрицательна со средним арифметическим, близким к нулю, в сравнении со значением стандартного отклонения, может быть основанием для положительной асимметрии реального распределения вероятностей. Аналогично, любое возмущение в генерирующем совокупность данных процессе, которое создает смесь нормальных совокупностей с одним средним, но разными дисперсиями, приводит к распределению вероятностей, отличному от нормального с .

6.1.5 Выбор направленного критерия следует основывать на общих соображениях о природе наблюдений или процесса, генерирующего эти наблюдения, а не на конкретной форме распределения вероятностей наблюдаемых значений. В последнем случае могут считаться объективными только результаты многостороннего критерия.

6.1.6 Если - значения случайной переменной серии из наблюдений, то среднее арифметическое или момент первого порядка рассчитывают по формуле

; (7)

моменты второго, третьего и четвертого порядков соответственно (=2, 3, 4) рассчитывают по формуле

. (8)

Статистики критерия на асимметричность и кривизну представлены в следующем виде соответственно:

(9)

. (10)

6.2 Направленный критерий проверки на асимметрию, использующий статистику

Этот критерий применим при (из практических соображений таблица 8 ограничена значением ).

Если альтернативная гипотеза заключается в наличии положительной асимметрии, критерий следует выполнять только при условии . Если альтернативная гипотеза заключается в наличии отрицательной асимметрии, критерий следует выполнять только при условии .

В обоих случаях решение принимают в пользу отклонения нулевой гипотезы при уровне значимости , когда статистика превышает -квантиль для .

В таблице 8 приведены значения статистики для =0,95, =0,99 и объема выборки .

Пример 1

Пример относится к применению направленного критерия с альтернативной гипотезой с использованием статистики . В таблице 2 приведена серия из 50 независимых измерений толщины заболони* деревьев, предназначенных для использования в качестве телеграфных столбов. Поскольку эта толщина неотрицательна и близка к нулю, можно предположить положительную асимметрию. Поэтому необходимо применить соответствующий направленный критерий с альтернативной гипотезой ().
_________________
* Заболонь - наружный молодой, менее плотный слой древесины, лежащий непосредственно под корой.

Таблица 2 - Значения толщины заболони для =50

Толщина заболони
1,25	2,05	2,60	3,10	4,00
1,35	2,10	2,60	3,15	4,00
1,40	2,15	2,70	3,15	4,05
1,50	2,15	2,75	3,20	4,05
1,55	2,15	2,75	3,30	4,10
1,60	2,20	2,80	3,45	4,20
1,75	2,25	2,95	3,50	4,45
1,75	2,35	2,95	3,50	4,50
1,85	2,40	3,00	3,80	4,70
1,95	2,55	3,05	3,90	5,10
Примечание - Значения толщины заболони расположены в порядке неубывания.

Из полученных в ходе наблюдений значений, приведенных в таблице 2, вычислены следующие параметры:

;

;

,

где - среднее арифметическое;

, - моменты второго и третьего порядков соответственно.

Следовательно асимметрия совокупности равна .

При уровне значимости =0,05, то есть , и объеме выборки критическое значение статистики критерия (значение -квантили) равно 0,53 (см. таблицу 8). Это значение более, чем вычисленное значение . Значит нулевая гипотеза нормального распределения не отклоняется при выбранном уровне значимос

6.3 Направленный критерий проверки на кривизну с использованием статистики

Этот критерий применим при ; из практических соображений таблица 9 ограничена значением .

В критерии на большую кривизну альтернативная гипотеза представлена в следующем виде: . Если вычисленное значение превышает критическое значение статистики критерия (значение -квантили) при или и объеме выборки , то нулевая гипотеза должна быть отклонена при определенном уровне значимости, например =0,05 или =0,01.

В критерии на меньшую кривизну альтернативная гипотеза представлена в следующем виде: . Если вычисленное значение менее критического значения статистики критерия (значение -квантили) при =0,05 или =0,01 и объеме выборки , то нулевая гипотеза должна быть отклонена при определенном уровне значимости, например =0,05 или 0,01.

В таблице 9 приведены критические значения статистики критерия (значение -квантили) для =0,01, 0,05, 0,95 и 0,99 и объема выборки .

Пример 2

Пример относится к применению направленного критерия на кривизну с использованием статистики . В таблице 3 приведена серия из 50 независимых измерений. В измерительном приборе существует дефект. Некоторые из измерений могли подвергнуться влиянию этого дефекта, приводящего к вариации рассеяния этих измерений.

Из-за упомянутого дефекта можно предположить, что для распределения наблюдений необходимо использовать статистику , соответствующий направленный критерий и альтернативную гипотезу .

Таблица 3 - Серия из 50 измерений

Значения измерений
9,5	5,1	5,7	16,6	12,9
14,4	5,8	10,8	20,9	13,3
10,2	9,2	22,5	21,5	8,5
4,2	12,9	5,5	9,1	3,3
17,1	6,3	8,6	11,9	1,4
4,4	3,1	7,4	12,9	12,9
4,5	12,9	6,9	26,6	16,3
8,5	11,9	7,9	7,5	15,6
9,9	11,4	3,6	5,4	11,4