35589645

РОССИЙСКАЯ КОРРУПЦИЯ: УРОВЕНЬ, СТРУКТУРА, ДИНАМИКА. ОПЫТ СОЦИОЛОГИЧЕСКОГО АНАЛИЗА

существуют и в иных формах. Например, можно все клетки таблицы поделить на число 1151, и тогда новая таблица будет содержать относительные частоты (или просто — частоты). Если числа в этой таблице можно умножить на 100, то получим таблицу сопряженности, содержащую частоты в процентах. Могут быть и другие формы, которые будут рассмотрены ниже.

Теперь рассмотрим общую запись стандартной таблицы сопряженности. Она приведена в следующей таблице.

Таблица 1.2.4. Общий вид таблицы сопряженности (абсолютные частоты) в стандартной форме (заголовки строк и столбцов отсутствуют)

n11	n12	· · ·	n1c	n1·
n21	n22	· · ·	n2c	n2·
·	·		·	·
·	·		·	·
·	·		·	·
nr1	nr2	· · ·	nrc	nr•
n•1	n•2	· · ·	n•c	n

Здесь r — число строк в таблице и c — число столбцов, n — общее число наблюдений, ni• — сумма чисел в i-й строке, n•j — сумма чисел в j-м столбце; и, наконец, nij — число наблюдений в клетке таблицы на пересечении i-й строки

и j-го столбца. Будем говорить, что (внутренние) строки таблицы соответству-

ют простым событиям-строкам (например, отдельным вариантам ответа на один вопрос), а столбцы таблицы соответствуют простым событиям-столбцам (например, вариантам ответа на другой вопрос). Тогда ni•/n — частота i-го события-строки, которая является оценкой вероятности этого события; nj•/n — частота j-го события-столбца, которая является оценкой вероятности этого события; а nij/n — частота произведения двух указанных событий, которая является оценкой соответствующей вероятности. Тогда четыре числа — n, nij, ni•, и n•j — могут использоваться для изучения независимости или зависимости между двумя соответствующими событиями.

Рассмотрим сначала следующую величину:

eij = ni•n•j/n = (ni•/n) · (n•j/n) · n.

Величина eij/n — не что иное, как произведение частот двух событий, т.е. оценка вероятности произведения двух событий. Если обратиться к формуле (1.2.4) и заменить там вероятности частотами, то мы получим:

nij/n – eij/n = 0 или nij – eij = 0.

100

ГЛАВА 1. МЕТОДЫ ИССЛЕДОВАНИЯ

Величину nij – eij называют остатком. Если остаток по абсолютной величине близок к нулю, то это должно свидетельствовать в пользу гипотезы о независимости между двумя простыми событиями. Если остаток по абсолютной величине существенно отличается от нуля, то это должно свидетельствовать в пользу гипотезы о зависимости. Вопрос только в том, какие значения остатка можно считать существенным отличием. Для ответа на него перейдем от остатка к некоторой новой величине с помощью нормировки.

Поскольку в предположении независимости nij является статистикой со своим, вполне вычисляемым распределением, то можно вычислить и ее стандартное отклонение, которое определяется формулой:

S(nij) =	ni· n·j(n – ni·)(n – n·j)	(1.2.6)
	n2(n – 1)

Теперь мы можем ввести новую стандартизированную величину следующего вида:

	ARij	=	nij	– eij	(1.2.7)
			S(nij)

которая называется приведенным стандартизированным остатком, или приведенным остатком.

Величина ARij распределена асимптотически нормально N(0,1), т.е. при

гипотезе о независимости она имеет нулевое математическое ожидание, единичную дисперсию, и вероятность неравенства Р{ARij < x} при больших n сближается со значением функции нормального распределения Ф(х).

Величина ARij является индикатором локальной независимости в каждой клетке таблицы сопряженности. Ее асимптотическое распределение позволяет проводить проверку гипотезы о независимости в отдельной клетке таблицы. Для этого достаточно сравнить значение приведенного стандартизированного остатка с критическим значением, определяемым по стандартному нормальному распределению или принять решение на основании значения доверительной вероятности, выданное статистической программой1.

Ниже приведена таблица приведенных остатков для реальных данных, использовавшихся выше для иллюстрации в таблице 1.2.3.

1Интересующиеся более подробной и точной информацией могут обратиться, к примеру, к книге: Кендалл М.Дж., Стюарт. А. Статистические выводы м связи. М.: Наука, 1973.

101

РОССИЙСКАЯ КОРРУПЦИЯ: УРОВЕНЬ, СТРУКТУРА, ДИНАМИКА. ОПЫТ СОЦИОЛОГИЧЕСКОГО АНАЛИЗА

Таблица 1.2.5. Пример таблицы сопряженности, содержащей приведенные стандартизированные остатки

Q1. Что бы вы могли сказать о своем настроении в последние недели?

			Q5. В целом, как вы считаете, дела в стране движутся
			в правильном или в неправильном направлении?
			1. В правильном	2. В неправильном	3. Затрудняюсь
			направлении	направлении	ответить
	1. Настроение хорошее, уверенное		5.1	–2.7	–2.8
	2.	Есть заботы, но в целом настроение	1.7	–4.0	2.1
		ровное, спокойное
	3.	Испытываю беспокойство, раздра-	–4.6	4.7	0.4
		жение
	4.	Испытываю тревогу, страх	–1.8	4.2	–2.1
	5.	Затрудняюсь ответить	–2.2	0.6	1.8

Если число наблюдений в некоторой клетке достаточно велико (более 30), то можно воспользоваться нормальной аппроксимацией стандартизированных остатков. Тогда для определения пороговых значений можно воспользоваться таблицей нормального распределения. Фрагмент такой таблицы приведен ниже.

Таблица 1.2.6. Доверительные вероятности (α) и критические значения (xα)

α	0,050	0,010	0,001
xα	1,960	2,576	3,291

В таблице 1.2.5 затенены клетки, в которых приведенные остатки не достигают порогового значения, соответствующего доверительной вероятности 0,01. В остальных клетках отклонения достаточно велики, что позволяет выдвигать предположения о зависимости между парами простых событий. Поскольку мы анализируем вероятностные явления, то и наши суждения должны иметь вероятностный характер. Это позволяет сделать доверительная вероятность. Например, в клетке на пересечении первой строки и второго столбца мы видим приведенный остаток, равный −2,7. По абсолютной величине этот остаток больше порогового значения из таблицы 1.2.4, соответствующий доверительной вероятности 0,01. Это дает право на следующее утверждение: мы можем отвергнуть гипотезу о независимости между простыми

событиями «выбор ответа 1 на вопрос Q1» и «выбор ответа 2 на вопрос

Q5» с доверительной вероятностью 0,01. Иными словами: если статистической зависимости нет, то наше утверждение о том, что между этими двумя событиями есть статистическая зависимость, может возникать не чаще, чем с вероятностью, меньшей 0,01. В несколько утилитарном варианте можно гово-

102

ГЛАВА 1. МЕТОДЫ ИССЛЕДОВАНИЯ

рить о том, что наше утверждение о зависимости ошибочно с вероятностью не более 0,01.

До настоящего момента мы рассматривали взаимосвязь между парами простых событий, образующих в совокупности таблицу сопряженности. Мы можем говорить о том, что до сих пор мы анализировали локальные взаимосвязи в таблице сопряженности. Между тем, таблицы сопряженности описывают обычно взаимосвязь между двумя классификационными переменными, принимающими несколько значений. Поэтому естественно ставить вопрос о наличии зависимости между этими переменными в целом. Логика построения критерия, с помощью которого можно судить о зависимости или независимости двух классификационных переменных, вполне естественна. Если остатки характеризуют локальную взаимосвязь в клетке таблицы, то можно просуммировать некоторую функцию остатков по всем клеткам, что даст нам индикатор суммарной локальной взаимосвязи по всем клеткам таблицы. Именно так построен знаменитый критерий хи-квадрат, описанный ниже. Он определяется статистикой

r c	(n	ij	– e )2
χ2k =			ij	,	(1.2.8)
			eij
i=1 j=1

где p = (r− 1)(c − 1) — число степеней свободы. Этот критерий называют часто

статистикой «хи-квадрат с p степенями свободы», поскольку она имеет распределение «хи-квадрат» с p степенями свободы (χ2p).

Распределение χ2p обладает одним приятным свойством: оно зависит толь-

ко от одного параметра, от своего математического ожидания, которое равно в точности p. Это значит, что грубая проверка зависимости-независи- мости в таблице сопряженности может проводиться сравнением статистики χ2p , вычисленной по формуле (5), с числом степеней свободы p. Если χ2p ненамного превышает p или меньше его, то нет оснований отвергать гипотезу о независимости.

Более точная проверка гипотезы о независимости двух классификационных переменных в целом проводится по распределению χ2p. Ниже приведен фрагмент таблицы этого распределения для двух значений p и нескольких значений доверительной вероятности.

Таблица 1.2.7. Доверительные вероятности и критические значения распределения хи-квадрат при двух значениях степеней свободы

	Доверительная		0,050	0,025	0,010	0,005	0,001
	вероятность
	Критические	p = 1	3,84	5,02	6,63	7,88	10,83
	значения	p = 8	15,51	17,54	20,09	22,96	26,13

103

РОССИЙСКАЯ КОРРУПЦИЯ: УРОВЕНЬ, СТРУКТУРА, ДИНАМИКА. ОПЫТ СОЦИОЛОГИЧЕСКОГО АНАЛИЗА

В случае таблицы сопряженности, приведенной выше в таблице 1.2.3, значение критерия χ2p = 73,58; число степеней свободы p равно 8. Мы видим, что значение критерия намного больше числа степеней свободы, что заставляет подозревать о наличии зависимости. Сравнивая значение критерия с табличными значениями, мы видим, что оно существенно превышает значение, соответствующее доверительной вероятности 0,001. Значит, мы можем говорить, что для двух анализируемых вопросов может быть отвергнута гипотеза о независимости с доверительной вероятностью, не превосходящей 0,001. Обычно мы опираемся на значения доверительных вероятностей, которые имеются на выходе программ анализа таблиц сопряженности SPSS.

Пользоваться проверкой статистических гипотез, опираясь на распределение хи-квадрат, допустимо, когда все клетки таблицы сопряженности имеют достаточное наполнение (количество наблюдений внутри каждой клетки). Если это условие не выполняется (программа SPSS обычно информирует об этом), то пользоваться аппроксимацией хи-квадрат некорректно. В этом случае SPSS предоставляет возможность прибегнуть к проверке гипотез с помощью метода Монте-Карло (статистического моделирования).

Поскольку коэффициент χ2p не имеет верхней границы при возрастании n, то на его основе строятся коэффициенты, которые всегда находятся в пределах интервала от 0 до 1, что позволяет использовать их при сравнении степени зависимости в разных задачах.

Первый из них предложен известным математиком Карлом Пирсоном. Он получил название коэффициент сопряженности и применяется чаще всего:

χ2 ϕ = np .

Другой распространенный коэффициент, предложенный Пирсоном, называется коэффициент контингенции:

χ2

P = n +pχ2p .

Последний из коэффициентов, используемых SPSS, предложен Крамером:

V =	χ2p	.
	n(min{r, c} – 1)

Все эти коэффициенты вводятся для того, чтобы учесть разнообразное влияние на значение подобных коэффициентов объема выборки и размеров таблицы сопряженности. Однако идеального коэффициента так и не придумано. Идеальным измерителем степени зависимости между классификационными переменными остается доверительная вероятность. Именно ее мы и используем для описания взаимосвязи между переменными. Коэффициенты, подобные приведенным выше, используются только в отдельных случаях.

104

ГЛАВА 1. МЕТОДЫ ИССЛЕДОВАНИЯ

Часто для анализа структуры взаимосвязи используют таблицы сопряженности в форме условных частот. Ниже такие таблицы приведены для используемого здесь примера.

Таблица 1.2.8. Таблица сопряженности в форме условных частот; а) частота ответа (в процентах) на вопрос Q5 (столбцы) внутри групп респондентов, выбравших тот или иной ответ на вопрос Q1 (строки); б) частота ответа (в процентах) на вопрос Q1 (строки) внутри групп респондентов, выбравших тот или иной ответ на вопрос Q5 (столбцы)

а)

				Q5. В целом, как вы считаете, дела в стране движут-
				ся в правильном или в неправильном направлении?			Вся
				1. В правильном	2. В неправильном	3. Затрудняюсь	выборка
				направлении	направлении	ответить
могливыбыЧтоQ1. сказать о	настроениисвоемв последние	недели?	5. Затрудняюсь ответить	16,7	33,3	50,0	100
			1. Настроение хорошее, уве-	61,0	18,2	20,8	100
			ренное
			2. Есть заботы, но в целом
			настроение ровное, спо-	44,4	22,9	32,7	100
			койное
			3. Испытываю беспокойство,	29,3	39,3	31,4	100
			раздражение
			4. Испытываю тревогу, страх	31,1	58	18,0	100
			Вся выборка	42,3	27,4	33,0	100
б)
				Q5. В целом, как вы считаете, дела в стране движут-
				ся в правильном или в неправильном направлении?			Вся
				1. В правильном	2. В неправильном	3. Затрудняюсь	выборка
				направлении	направлении	ответить
могливыбыЧтоQ1. сказать о	настроениисвоемв последние	недели?	5. Затрудняюсь ответить	0,6	1,9	2,6	1,6
			1. Настроение хорошее, уве-	19,3	8,9	9,2	13,4
			ренное
			2. Есть заботы, но в целом
			настроение ровное, спо-	61,6	49,2	63,3	58,7
			койное
			3. Испытываю беспокойство,	14,6	30,2	21,8	21,0
			раздражение
			4. Испытываю тревогу, страх	3,9	9,8	3,2	5,3
			Вся выборка	100	100	100	100

105

РОССИЙСКАЯ КОРРУПЦИЯ: УРОВЕНЬ, СТРУКТУРА, ДИНАМИКА. ОПЫТ СОЦИОЛОГИЧЕСКОГО АНАЛИЗА

Из приведенных таблиц условных частот видно, что значит наличие зависимости. Если бы ответы на два анализируемых вопроса были независимы, то в таблице а) числа в одном столбце были бы примерно равны и слегка отличались бы от частоты выбора ответа на вопрос Q5, соответствующего столбцу. Так, в первом столбце все частоты были бы примерно равны 0,423, во втором — 0,274 и т.п. При этом все столбцы были бы пропорциональны: один от другого отличались бы умножением на коэффициент. Независимость в таблице б) проявлялась бы в том, что числа в одной строке были бы примерно равны и слегка отличались от частоты выбора ответа на вопрос Q1, соответствующего строке. Так, в первой строке все частоты были бы примерно равны 0,134, во второй — 0,587 и т.п. При этом все строки были бы пропорциональны: одна от другой отличались бы умножением на коэффициент. Мы же видим совсем другую картину: в таблице а) существенно не пропорциональны столбцы, в таблице б) — строки.

Эта особенность структуры зависимости между номинальными переменными может быть представлена в графической форме, пример которой можно найти на следующем рисунке. Диаграмма на рисунке организована так, что каждый горизонтальный брусок соответствует одному ответу на вопрос Q1. Далее каждый брусок (его «длина» — 100 %) разбит на сегменты, соответствующие ответам на вопрос Q5. Длина каждого сегмента пропорциональна частоте ответа на вопрос Q5 внутри группы респондентов, выбравших данный ответ на вопрос Q1. На этом рисунке отчетливо видно, что бруски разбиты неодинаково, непропорционально, что соответствует непропорциональности столбцов таблицы а) и отражает наличие зависимости. Мы видим, что те, у кого настроение хорошее, уверенное, чаще всего

	5. Затрудняюсь ответить			16,7		33,3					50,0
	4. Испытываю тревогу, страх			24,0				58,0							18,0
3. Испытываю беспокойство, раздражение				29,3				39,3				31,4
	2. Есть заботы, но в целом настроение
				44,4					22,9			32,7
	ровное, спокойное
	1. Настроение хорошее, уверенное					61,0					18,2			20,8
		0%									100%
	1. В правильном направлении		2. В неправильном направлении										3. Затрудняюсь

Рис. 1.2.1. Диаграмма условных частот (в процентах) ответа на вопрос Q5 внутри групп респондентов, выбравших тот или иной ответ на вопрос Q1

106

ГЛАВА 1. МЕТОДЫ ИССЛЕДОВАНИЯ

(61%) полагают, что дела в стране идут в правильном направлении. А среди тех, кто испытывает тревогу, страх, большинство (58%) считают, что дела идут в неправильном направлении.

СВЯЗЬ МЕЖДУ КЛАССИФИКАЦИЯМИ И ЧИСЛОВЫМИ ПЕРЕМЕННЫМИ

Представим себе следующую стандартную исследовательскую ситуацию. Имеется числовой вектор данных x = (x1, x2, …., xn). Пусть, для примера и интриги, это будут размеры взяток, названные гражданами при описании своего последнего коррупционного опыта. Предположим, что нас интересует, зависят ли расходы на взятки от достатка респондентов. Для изучения этого вопроса мы можем использовать ответы респондентов на следующий вопрос (вопрос 77 в анкете опроса «Граждане-2001»):

Как бы вы оценили ваш уровень жизни по сравнению с большинством ваших знакомых,

коллег, соседей?
1. Выше среднего уровня	2. На среднем уровне	3. Ниже среднего уровня

Ответы на этот вопрос разбивают всю выборку на три класса. Эта классификация разбивает элементы вектора x на три числовых вектора разной длины. Мы можем предполагать, например, что люди с меньшим достатком платят и

взятки поменьше. Это значит, что числа в трех получившихся векторах в сред-

нем будут различаться: в одном они будут в целом побольше, в других — поменьше. Это можно проверить, вычислив в каждом векторе средние и дисперсииисопоставивих.Такойподходназываетсявстатистикеоднофакторным дисперсионным анализом1 (в статистических пакетах и некоторых учебниках он фигурирует под названием ANOVA).

В общем виде такую задачу можно описать следующим формальным образом. Будем представлять исходные данные в виде следующей таблицы:

1Тюрин Ю.Н., Макаров А.А. Статистический анализ данных на компьютере / Под ред. В.Э.Фигурнова — М.: ИНФРА-М, 1998. Стр. 204.

107

РОССИЙСКАЯ КОРРУПЦИЯ: УРОВЕНЬ, СТРУКТУРА, ДИНАМИКА. ОПЫТ СОЦИОЛОГИЧЕСКОГО АНАЛИЗА

Таблица данных

			номера классов
		1	2	…	k
	(наблюдения)	…	.	…	…
		X11	x12	…	x1k
		X21	x22	…	x2k
	измерений
		…	xn22	…	…
	Результаты	…	…	…	xnkk
		xn12	…	…	…
		…	…	…	…

Мы можем считать, что эта таблица содержит k векторов-столбцов длины n1, n2, …, nk соответственно. Мы хотим сравнить числа в этих различных векторах. Мы будем считать, что числа в целом различны, если общая дисперсия всех данных существенно больше, чем дисперсия внутри векторов. Это проверяется с помощью статистики, которая обычно называется F-отношением. Введем следующие обозначения: x — общее среднее всех данных в таблице, xj —

среднее наблюдений внутри каждого столбца в нашей таблице, N — общее

число всех наблюдений в нашей таблице. Тогда F-отношение можно задать следующей формулой:

1

k

2

(xj –x)

F =

k–1 j=1

.

(1.2.9)

1

n

k k

(xij –

x

j)2

N–k j=1 i=1

В этой формуле в числителе стоит величина, характеризующая различие средних значений в столбцах нашей таблицы (дисперсия средних), а в знаменателе — величина, характеризующая среднее разнообразие данных внутри векторов. Чем больше величина F, тем в большей степени различие между столбцами превосходит различие данных внутри столбцов. В нашем примере, с которого мы начали, большие значения F будут работать в пользу гипотезы о том, что люди разного достатка платят взятки разной величины. Остается ответить на вопрос, что значит большие значения. Если числа nj достаточно велики, а выборочные распределения близки к нормальным, то величина F имеет известную функцию распределения, поэтому статистические программы под-

108

ГЛАВА 1. МЕТОДЫ ИССЛЕДОВАНИЯ

считывают доверительную вероятность P {F > F*}, где F* — значение, вычисленное по формуле (1.2.9) по конкретным экспериментальным данным. (Мы говорим, что F* велико, если вероятность превзойти его весьма мала.)

Что касается нашего примера, приведенного выше, то, как показывают наши исследования, выборочные распределения размера взяток довольно точно описываются логнормальным распределением. Это значит, что если вычислить натуральный логарифм размера взяток, то полученные числа будут распределены нормально. Применение описанного метода к данным опроса «Граждане-2001» дало следующие результаты: F = 0,71; P = 0,546. Из этого мы заключаем, что F невелико, и мы не можем признать достоверными различия между размерами взяток в трех группах респондентов. Чтобы убедиться в этом, можно ознакомиться с содержимым следующей таблицы. Мы видим, что различия между средними логарифмами взяток действительно невелики, особенно, если их сопоставить со стандартными отклонениями.

Таблица 1.2.9. Сопоставление средних размеров взяток в группах респондентов, выбравших различные ответы на вопрос «Как бы вы оценили ваш уровень жизни по сравнению с большинством ваших знакомых, коллег, соседей?». Вычисления проводились для логарифмов размеров взяток

	Число	Среднее	Стандартное
	наблюдений	значение	отклонение
Выше среднего уровня	25	6,600	1,731
На среднем уровне	352	6,372	1,637
Ниже среднего уровня	157	6,214	1,555

Надо сказать, что далеко не всегда даже преобразованные значения наблюдений описываются нормальным распределением, да и размера выборки часто может не хватать для проверки гипотезы о нормальности. Поэтому нередко применяют методы, не зависящие от предположений о распределениях. Как правило, такие методы основаны на работе не с самими числами, а с их рангами. Один из таких методов применялся в нашем исследовании. Это метод, основанный на использовании критерия Краскала-Уоллиса. Вернемся к нашей таблице данных и преобразуем ее следующим образом. Сначала соберем все столбцы вместе в один числовой вектор и пересортируем этот вектор по возрастанию. Затем самому маленькому значению припишем ранг 1, следующему — ранг 2 и т.д. Теперь заменим в таблице числа xij их рангами rij. Теперь вычислим средний ранг наблюдений внутри каждого столбца и обозначим его через rj. Идея критерия Краскала-Уоллиса основана на следующих соображениях. Если наблюдения в столбцах нашей таблицы данных перемешаны случайным образом и не существует значимых систематических различий между столбцами, то внутри каждого столбца средний ранг наблюдений будет при-

109