6.2. Достоверность эпидемиологических исследований

Эффективность решения задач эпидемиологических исследований определяется, во-первых, достоверностью полученных результатов; во-вторых, возможностью выявления реально существующих причинных зависимостей; в-третьих, наименьшими затратами времени и минимальной стоимостью полученных результатов.

При планировании эпидемиологических исследований особое внимание уделяется проблеме достоверности полученных результатов. На правильность результатов научных исследований в биологии, медицине, физике, химии и других науках, могут оказывать влияние ошибки, под которыми понимают разницу между действительным значением изучаемого признака и полученным результатом исследования этой характеристики. Чем больше полученный в исследовании результат отражает действительное значение исследуемой характеристики, тем он точнее.

Возникновение ошибок в эпидемиологических исследованиях чаще всего связано с тем, что эпидемиологические исследования проводятся не на общей популяции (генеральная совокупность) всех лиц с изучаемым состоянием, так называемое сплошное статистическое исследование, а на выборках из популяции (выборочная совокупность), т.е. несплошное статистическое исследование [39]. Например, при изучении здоровья населения города при сплошном исследовании изучается здоровье всех жителей, при несплошном – отбирается лишь определенное количество горожан.

Генеральная совокупностьсостоит из всех единиц наблюдения, которые могут быть к ней отнесены в соответствии с целью исследования.Выборочная совокупность(выборка) – это часть генеральной совокупности, полученная путем отбора, по свойствам которой судят или должны будут судить о генеральной совокупности[38,39,46].

Распространить результаты, полученные на части единиц наблюдения (выборке) на всю совокупность можно только в случае если выборка репрезентативна, т.е. она должна репрезентировать (представлять) всю совокупность единиц наблюдения и быть достаточной по числу наблюдений (объему), чтобы более точно выразить особенности генеральной совокупности (врезка 6.3). Таким образом,репрезентативность– это соответствие данных выборочной и всей (генеральной) совокупности [38].

О

Врезка 6.3. Определение необходимого числа наблюдений

Репрезентативность выборочной совокупности обеспечивается расчетом необходимого числа наблюдений по формуле (в случае известного объема генеральной совокупности) (Кохрен, 1976):

или , где

n – необходимое число наблюдений;

t – доверительный коэффициент, гарантирующий, что допущенная ошибка не будет более ; для вероятности безошибочного прогноза р=0,95 t=1,96;

 – среднеквадратическое (стандартное) отклонение;

p – изучаемый альтернативный (относительный) показатель; q – величина, обратная р;

 – максимальная ошибка наблюдения;

N – размер генеральной совокупности.

Если объем генеральной совокупности (N) – неизвестен, то формула приобретает вид:

или

шибки репрезентативности бывают двух типов – случайные и систематические[20,38,39,46,48].

Случайные ошибки– это отклонение результата (отдельного наблюдения) в выборке от истинного значения в популяции, обусловленное исключительно случайностью.

Например, все знакомы со случайностью, когда подброшенная 100 раз монета падает "орлом" не более 50 раз. При измерении артериального давления могут возникнуть случайные ошибки, связанные с:

а) неправильно подобранной шириной манжетки;

б) неаккуратным ее закреплением;

в) с загрязнением и невертикальным положением тонометра;

г) способностью исследователя улавливать тоны сжимаемой артерии и т.д.

Случайная ошибка может иметь место на любом этапе исследования, ее никогда нельзя исключить полностью и следует обязательно учитывать при оценке результатов исследования. Случайные ошибки выявляются путем повторения измерения (наблюдения). Применение статистики помогает минимизировать случайную ошибку путем выбора оптимальных методов исследования и анализа данных. Если случайные ошибки невелики, то они в очень незначительной степени искажают (смещают) результаты исследования.

О систематической ошибке говорят, когда результаты исследования устойчиво воспроизводятся при повторении, но дают неправильное представление об изучаемом явлении. Систематической ошибкойили смещением (bias) – называется устойчивое отклонение результатов исследования от истинных показателей, связанное с несовершенством методики исследования на любой его стадии. Систематическая ошибка тенденциозно искажает характеристики (параметры) изучаемого признака в выборке в сторону уменьшения или увеличения.

Отличие систематической ошибки от случайной заключается в том, что ее причины коренятся в самой методике исследования, тогда как причина случайной ошибки заключается в вероятностном разбросе данных. Если случайная ошибка понижает способность исследования выявить имеющийся эффект, то систематическая ошибка может привести к однонаправленному искажению результата и принципиально неверному выводу [48] (рис.6.1).

Например, в клиническом исследовании получен результат: препарат А более эффективен, чем препарат Б. Полученный результат может быть неверным вследствие следующих систематических ошибок, допущенных при проведении исследования:

а) препарат А мог быть назначен пациентам с легким течением заболевания, тогда результат будет обусловлен не разной эффективностью исследуемых лекарственных препаратов, а существенным различием в состоянии пациентов двух групп;

б) препарат А – новое, очень популярное, а препарат В – старое средство, поэтому исследователи и больные склонны думать, что новый препарат действует лучше;

в) препарат А приятнее на вкус, чем препарат В, поэтому пациенты строже соблюдали схему лечения.

Рис. 6.1. Типы ошибок в эпидемиологических исследованиях

Таким образом, достоверность результатов, получаемых в эпидемиологическом исследовании, определяется главным образом отсутствием в них систематической ошибки. Принято различать две стороны этого понятия: внутренняя достоверность (internal validity) означает правильность результатов конкретно проведенного исследования; внешняя (validity) – характеристика, показывающая, в какой мере результат измерения соответствует истинной величине из генеральной совокупности и его можно перенести на другие аналогичные ситуации.

Когда заключения относительно популяции делаются на основании наблюдений в выборке, возникает два фундаментальных вопроса. Во-первых, справедливы (достоверны) ли полученные выводы для всех элементов выборки? Во-вторых, отражает ли выборка интересующую нас популяцию, т.е. можно ли обобщать результаты (рис. 6.2)? [48].

Существуют десятки разновидностей систематических ошибок (врезка 6.4.). Большинство из них можно отнести к одной из трех основных категорий:

1) систематическая ошибка, обусловленная отбором;

2) систематическая ошибка, обусловленная вмешивающимися факторами;

3) систематическая ошибка, обусловленная измерением.

Систематические ошибки отбора (selection bias) – ошибки, обусловленные тем, что в изучаемую группу не включены лица, относящиеся к ней, но не вошедшие в нее по различным причинам [46]. В результате этого сравниваемые группы исследуемых различаются не только по главным изучаемым признакам, но и по другим факторам, влияющим на результат исследования.

Рис. 6.2. Достоверность и обобщаемость результатов исследований [48]

Врезка 6.4. Перечень часто встречающихся систематических ошибок

Ошибочная рабочая гипотеза – ошибки, обусловленные неверным логическими посылками и исходными предложениями, лежащими в основе проводимого исследования.

Систематические ошибки ответа – ошибки, обусловленные различиями между теми, кто был отобран или добровольно вызвался для участия в эксперименте, и людьми, не участвующими в нем.

Систематические ошибки отбора – ошибки, обусловленные тем, что в изучаемую группу не включены лица, относящиеся к ней, но не вошедшие в нее по различным причинам (умершие ранее или выздоровевшие без лечения, или не захотевшие участвовать в исследовании).

Ошибки выборки – не обеспечена репрезентативность, т.е. возможность для любого представителя популяции иметь одинаковый с другими шанс быть выбранным в исследуемую группу.

Ошибки наблюдателя – ошибки, обусловленные различиями восприятия одного объекта разными наблюдателями или одного наблюдателя при повторяющихся измерениях.

Систематические ошибки распознания – ошибки, обусловленные ошибочными методами постановки диагноза или распознания определенных заболеваний при выборочном обследовании, наблюдении и исследованиях.

Методические систематические ошибки – ошибки, обусловленные использованием неадекватной методики или ошибочной общей концепцией проведения эксперимента.

Информационные ошибки – ошибки, обусловленные упущениями при количественном анализе явлений (измерения выдержки воздействия фактора и результата) или при сравнительной обработке полученных данных.

Измерительные (инструментальные) систематические ошибки – ошибки, обусловленные применением неправильно или неточно калиброванных измерительных приборов, реагентов недостаточной степени чистоты или неадекватной концентрации.

Продолжение врезки 6.4.

Ошибки интервьюера – ошибки, обусловленные сознательной или подсознательной субъективностью при сборе или отборе данных.

Ошибки при составлении отчета – селективное сокрытие или преувеличение значения отдельных объективных данных, например, венерических заболеваний в анамнезе.

Систематические ошибки публикации – редакторы предпочитают публиковать позитивные результаты, вследствие чего возможны искажения в подаче отдельных материалов.

Систематические ошибки упущения – ошибки, обусловленные произвольным выпадением из сферы внимания исследователя отдельных случаев в изучаемой группе (наблюдаемый не является для лечения или обследования).

Систематические ошибки предвзятости – ошибки, обусловленные типом пациентов, отобранных для обследования под влиянием культурных и традиционных стереотипов или индивидуальных предрассудков исследователя.

Источник: [46].

Например, при проведении клинического испытания по оценке эффективности нового фармакологического препарата сформирована опытная группа, пациенты которой получают исследуемый препарат, и контрольная группа, в которой применяется либо плацебо, либо традиционное лечение. Пациенты этих двух групп, во-первых, отличаются по интересующему нас признаку - метод лечения (новый препарат), но они также могут отличаться по многим другим признакам: полу, возрасту, тяжести заболевания, наличию сопутствующих заболеваний, по предпочтению в методах лечения и т.п. Все эти признаки могут влиять на исход исследования. В итоге результат сравнения получится смещенным (искаженным), что не позволит сделать правильный вывод об эффективности интересующего нас препарата (признака).

Преимущества и недостатки различных типов исследований, проводимых путем наблюдений представлены во врезке 6.5.

Систематические ошибки, возникающие при отборе можно устранить (табл. 6.1).

Избежать систематической ошибки можно на этапе планирования исследования, при выборе метода формирования групп наблюдения. Выборочное наблюдение может быть проведено как случайное, непреднамеренное (стохастическое) и направленное, преднамеренное.

Непреднамеренный выборочный отборосновывается на следующем основном принципе. Каждому случаю в генеральной совокупности должен быть обеспечен равный, одинаковый с другими шанс быть отобранным для наблюдения. Другими словами, наблюдение или исключение из наблюдений каждого из случаев генеральной совокупности не должно зависеть от субъективного мнения исследователя. Строгое соблюдение непреднамеренного отбора при формировании выборки обеспечивает репрезентативность[16,26,39].

С

Врезка 6.5. Характеристика разных типов эпидемиологических исследований с точки зрения вероятности возникновения различного рода ошибок

	Экологические	Поперечные	Случай-контроль	Когортные
Вероятность смещения оценок в результате отбора	Н/О^**	Средняя	Высокая	Низкая
Вероятность смещения оценок вследствие неточности ретроспективных данных	Н/О	Высокая	Высокая	Низкая
Вероятность выхода из-под наблюдения	Н/О*	Н/О	Низкая	Высокая
Вероятность действия мешающих факторов	Высокая	Средняя	Средняя	Низкая
Требуемое время	Малое	Среднее	Среднее	Большое
Затраты	Низкие	Средние	Средние	Высокие

* Н/О – нет сведений

лучайный отбор может осуществляться: лотерейным отбором (жребием), по таблицам случайных чисел, используя первую букву фамилии, механическим отбором (например, отбирая каждый пятый случай; используя номера медицинских и других документов), методом заклеенных конвертов и т.п. Оптимальным вариантом проведения случайного отбора при формировании выборки является рандомизация (см. раздел 2.2), которая позволяет минимизировать систематические ошибки, возникающие при отборе.

Метод направленного отборапредполагает специальный направленный подбор единиц наблюдения из генеральной совокупности [38]. При направленном (преднамеренном) отборе объекты, подвергнутые наблюдению, отбираются сознательно, учитывая их типичность и принадлежность к отдельным подразделениям изучаемого явления [39]. Например, при проведении исследований в выборку включают лиц, обследование которых легко провести (добровольные доноры крови) или представителей групп повышенной степени риска (при изучении онкологической заболеваемости), выделяют районы, почва которых содержит значительное количество канцерогенов. Систематические ошибки в этом случае связаны с нерепрезентативностью выборки, обусловленной влиянием процессов внутреннего самоотбора.

Выводы, сделанные на основании подобных исследований, можно применить к изучаемой группе населения, однако их экстраполяция на население в целом или другую группу может быть оправдана только в том случае, если был произведен качественный анализ применявшихся методов исследования и рассчитаны систематические ошибки оценки.

Таблица 6.1

Методы устранения систематических ошибок, возникающих при отборе [48]

Метод	Описание	Этапы исследования
		плани-рование	ана-лиз
1	2	3	4
Рандомизация	Распределить пациентов по группам таким образом, чтобы каждый пациент имел равные шансы попасть в ту или иную группу	+
Введение ограничений	Ограничить диапазон характеристик пациентов, включаемых в исследование	+
Подбор соответствующих пар	Каждому пациенту в одной группе подобрать одного или более пациентов с такими же характеристиками (кроме изучаемой) для группы сравнения	+
Стратификация	Сравнить влияние изучаемого фактора на частоту исходов внутри подгрупп, имеющих одинаковый исходный риск		+
Стандартизация простая	Математически скорректировать исходное значение какой-либо одной характеристики таким образом, чтобы уравнять подгруппы по исходному риску		+
Множественная стандартизация	Скорректировать различия по многим влияющим на исход факторам методом математического моделирования		+
Анализ “наилуч-ший вариант - наихудший вариант”	Описать результаты, которые могут получиться, если исходить из предложения о максимальной выраженности систематической ошибки при отборе		+

Систематическая ошибка, обусловленная вмешивающимися факторами.Вмешивающийся фактор (confoundingbias) – неучтенный фактор, связанный с известным исследуемым фактором и некоторым образом влияющий на результат (исход) [46]. Исследуемый фактор и вмешивающиеся факторы достаточно тесно связаны, они как бы “ходят парой” и, если вмешивающиеся факторы не контролируются исследователями, то полученный результат будет искажен(врезка 6.6).

С

Врезка 6.6. Примеры вмешивающихся факторов.

1. В результате исследования обнаружено, что риск развития рака легких выше у лиц с высоким уровнем потребления спиртных напитков, чем у лиц непьющих. Установленная зависимость между употреблением спиртных напитков и раком легкого объясняется наличием мешающего фактора – курения (рис.). Злоупотребляющие спиртными напитками, как правило, много курят.

2. Известно, что мужчины чаще, чем женщины, болеют ишемической болезнью сердца. Однако, это может быть связано не с исследуемым фактором (пол), а например, с большим распространением факторов риска и неправильным образом жизни у мужчин.

Рис. Связь между употреблением алкоголя и раком легких

Источник: А. Альбом, С. Норелл [1].

Рис. Связь между употреблением алкоголя и раком легких

истематические ошибки при воздействии вмешивающихся факторов и систематические ошибки, возникающие при отборе, не исключают друг друга, но относятся к разным этапам исследования. Систематическая ошибка при отборе возникает при формировании групп наблюдения на этапе планирования исследования. Ошибки из-за вмешивающихся факторов должны учитываться при анализе данных по окончании исследования.

Систематическая ошибка, обусловленная измерением (measurement bias),возникает, когда в сравниваемых группах пациентов применяются неодинаковые методы измерения [48] Например, различия в методах диагностики и классификации изучаемых состояний. Эти ошибки можно уменьшить, используя следующие приемы: критерии диагностики изучаемых исходов должны быть унифицированы, стандартны в исследуемых группах; исследователи должны с одинаковой тщательностью и точностью выявлять исходы во всех группах и они не должны быть информированными к какой группе принадлежит каждый пациент.

Контрольные вопросы

1. Назовите основные этапы проведения эпидемиологического исследования.

2. Что понимается под целью исследования?

3. Чем (какими факторами) определяется выбор схемы (метода) исследования?

4. Назовите типы измерительных шкал признаков. Какие требования предъявляются к выбору измерительных шкал?

5. Что представляет собой этап определения критериев отнесения наблюдаемых к «экспонированным» и «больным»?

6. Что понимается под «генеральной совокупностью?

7. Что представляет собой выборочная совокупность (выборка)?

8. Что такое репрезентативность выборки?

9. Назовите основные типы ошибок, встречающиеся при проведении выборочного исследования.

10. Какие факторы влияют на достоверность результатов эпидемиологических исследований?

11. Перечислите наиболее распространенные типы систематических ошибок.

12. Какие методы позволяют устранить систематические ошибки, возникающие на этапе отбора наблюдений?

Вопросы для обсуждения

Известно, что на результат экспериментальных исследований влияет знание участниками эксперимента, кто какое вмешательство получает. Какие существуют способы, позволяющие уменьшить влияние этой систематической ошибки?

Простые тесты

1. Гипотеза эпидемиологического исследования это:

A. Основная задача исследования

B. Сформулированная в форме предположения основная идея исследования, которая будет проверяться в ходе исследования

C. Схема проведения эпидемиологического исследования

D. Цель эпидемиологического исследования

2. Выберите правильное полное определение "систематическая ошибка".

А. Систематическая ошибка – это отклонение результата наблюдения в выборке от истинного значения в популяции, обусловленное исключительно случайностью

B. Систематическая ошибка – это "систематическое (однонаправленное)" отклонение результатов от истинных значений, связанное с несовершенством методики исследования на любой его стадии

C. Это ошибки, встречающиеся на любом этапе исследования, которые необходимо учитывать

D. Систематическая ошибка – это ошибка, возникающая при проведении исследований с использованием нестандартных методов

3. Что понимают под "случайными ошибками"?

А. Отклонение результата (отдельного) наблюдения в выборке от истинного значения в популяции, обусловленное исключительно случайностью

B. Ошибки, которые возникают при повторном проведении исследований

C. Систематическое отклонение результатов исследований от истинных значений

D. Ошибки, которые возникают при неправильном формировании контрольной и опытной группы

Ответы:

1. – B; 2. – B; 3. – A