Приемы качественно- количественного анализа документов.

    Основная трудность при работе с доступными (т.е. нецелевыми) документами-умение читать данные на языке гипотез исследования. Ведь документ был составлен вовсе не для того, чтобы проверить гипотезы социолога. Поэтому, прежде чем анализировать документальные материалы по существу, социолог вынужден проделать утомительную работу поиска в документе индикаторов (признаков) ключевых понятий исследования.      Количественный подход может содействовать выявлению устойчивых тенденций в стратегии пропаганды, определению в ней наиболее важных тем, направлений, задач. Однако здесь возникает опасность просмотреть определенные сдвиги в ее стратегии, которые могут быть выражены в незначительных на первый взгляд высказываниях.      Поэтому количественный анализ должен постоянно дополняться качественным. На основании последнего могут быть изложены определенные уточнения и усовершенствованы способы количественного анализа.      Качественный анализ документов-необходимое условие для всех количественных операций. Но прежде следует заметить, что квантификация текстов далеко не всегда целесообразна.      

В каких случаях не следует прибегать к количественному анализу?

    Видимо, это неразумно, если мы имеем дело с уникальными документами, где главная цель изучения-всесторонняя содержательная интерпретация материала. Не следует обращаться к количественному анализу, если перед нами описания весьма сложных явлений, если документальных данных недостаточно для обработки или они неполные (нерепрезентативны).      

Когда количественный анализ текстов уместен?

    Прежде всего, отмечает один из основателей этого метода Б.Берельсон, если требуется высокая степень точности при сопоставлении однопорядковых данных. Далее, когда достаточно много материала, чтобы оправдать усилия, связанные с его количественной обработкой, и если этот материал репрезентирует области изучения. Квантификация необходима, когда текстового материала не только достаточно, но столь много, что его нельзя охватить без суммарных оценок. Квантификация возможна при условии, что изучаемые качественные характеристики появляются с достаточной частотой.      Наиболее целесообразно использовать количественный анализ, если квантифицированные тексты сопоставляются с иными, также количественными характеристиками. Например, выраженные в статистических распределения особенности содержания газетных сообщений сопоставляются с численностью подписчиков, их мнениями об этих материалах, тоже выраженными в числах".      Дж.Б.Мангейм пишет: "Возвращаясь к вопросу о трудностях, возникающих при применении количественного контент-анализа, хотелось бы добавить, что исследователю необходимо учитывать, что сообщения публикуются и соответствующим образом составляются не просто так, а с какой-то определенной целью, с целью то ли информирования, то ли описания, то ли призыва, предписания, самозащиты или даже с целью дезинформации! Поэтому при анализе сообщений мы должны стараться интерпретировать их содержание не иначе, как в контексте очевидных целей.      Сходным образом и характер распространения того или иного сообщения может неявно выражать многое в его значении. Предвыборная листовка, распространенная по списку адресов избирателей, является примером сообщений с ограниченной или особой сферой распространения. Даже общедоступная газета может иметь ограниченный или особый круг читателей. Следовательно, если мы должны дать адекватную оценку значимости некоторого сообщения, нам зачастую надо при этом знать, кому оно адресуется и как распространяется. Опираясь на чье-то индивидуальное мнение (например на мнение хорошо осведомленных лиц), то ли на наведение справок, когда мы пытаемся узнать у отправителей сообщения список его получателей, то ли на самоочевидные свидетельства, когда к документу прилагается список всех ознакомившихся с ним лиц, иногда с их личными подписями, то ли на опрос читательской аудитории (типа тех, которые обычно проводят газеты, чтобы документально их обосновать свои претензии по доставке), мы должны постараться измерить или оценить круг распространения сообщения. Эта информация позволит нам судить о значимости и о важности материала.      Мы должны правильно оценить степень доступности интересующих нас сообщений. Обеспечена ли нам возможность свободного отбора материалов для анализа? Доступны ли нам все материалы в неискаженном виде или же нам навязан некий контроль извне? Имеем ли мы доступ, например, только к рассекреченным документам (к газетам, издаваемым в расчете на иностранных читателей; к стенограммам только официальных заседаний правительственных комиссий)? Здесь мы имеем дело с проблемой обобщенности результатов: вопрос в том на сколько репрезентативна исследуемая совокупность сообщений, не говоря уже о выборке из нее.      Если совокупность непредставительна, то исследователь, при отсутствии у него должной бдительности, может быть, самое малое, введен в заблуждение, а то и хуже может стать объектом сознательной манипуляции.      В каждом из этих случаев основная сложность заключается в том, что информация, необходимая для адекватной оценки, может быть нам просто недоступна. Мы можем не знать и не иметь возможности уточнить цели сообщений, сферу их распространения и реальную степень своего доступа к ним. За этим скрывается весьма многообразные опасности, и контент-анализ должен быть наготове, чтобы вовремя с ними справиться. Нельзя строить свои оценки на первом впечатлении,- напротив, надо сохранять здоровый скептицизм в отношении имеющихся данных, до тех пор, пока не будут получены ответы на все обсуждавшиеся явления выше вопросы.      Сказанное, конечное, не означает, что в условиях неопределенности проведение контент-анализа исключается; оно значит только, что, приступив к анализу, исследователь не должен забывать об этой неопределенности. Наконец, следует сказать несколько слов о надежности интеркодирования. За исключением полностью компьютеризованных контент-аналитических процедур (существует целый ряд программ, специально разработанных в расчете на составление словарей ключевых слов, а так же на поиск в тексте и числовую обработку последних), контент-анализ целиком опирается на суждение совершенно определенного человека о содержании сообщения. В конце концов, информация сама себя не анализирует. Она изучается, обрабатывается, обсчитывается и классифицируется человеком, в лице конкретного исследователя. При этом разные исследователи могут расходиться между собой в понимании данного сообщения. Однако измерения могут считаться достаточно надежными лишь тогда, когда относительно их содержания между исследователями достигнут определенный уровень консенсуса. Надежность интеркодирования-термин, используемый в политологии для описания степени такого консенсуса. Чем она выше, тем лучше.      Повысить надежность интеркодирования, а вместе с тем и надежность информации получаемой контент-анализом можно следующими способами:

• К операционализации любой переменной подходить следует с осторожностью и тщательностью. Удостоверьтесь в том, что все значения сформулированы ясно и по возможности недвусмысленно. На деле такая мера поможет формированию общих критериев оценки, которую можно последовательно использовать при классификации и измерении содержания.

• Обоснование полноты объема выделяемых смысловых единиц осуществлять методом "снежного кома". Это делается следующим способом. Первоначально выделяются все смысловые единицы из первого анализируемого текста, далее из второго текста-те же плюс дополнительные, ранее не встречающиеся, из третьего документа-те же, что уже встречались в двух предыдущих, плюс дополнительные и т.д. После изучения 3-5 текстов, в которых уже не попадается ни одной новой единицы, ранее фиксированной в предыдущих документах, можно полагать что "поле" смысловых единиц из изучаемого массива исчерпано.

• Контроль на обоснованность содержания смысловых единиц необходимо проводить с помощью судей. Специалисты в этой области обсуждают, насколько предложенные качественные единицы соответствуют поставленным задачам.

• Обоснованность проверять по независимому критерию. Например, данные контент-анализа дневников или сочинений учащихся с целью выявить их профессиональную склонность выборочно проверяются путем опросов, или по данным наблюдений, или тестом по известной группе

• Используйте услуги как можно большего числа наблюдателей кодировщиков. Чем больше людей участвует в достижении консенсуса, тем он более значим. Конечно, это может привести к сильному увеличению объема работы (а в случае если наблюдатели плохо подготовлены, то и к риску увеличения ошибки измерения), но и отдача от этой меры может быть очень велика. Ограничивающим фактором здесь обычно выступает нехватка денежных средств.

• Устойчивость данных определяется при помощи кодирования одного текста разными кодировщиками на основе единой инструкции. Можно использовать стабильную единицу анализа и разные единицы счета (по частотам смысловых единиц и по физической протяженности одновременно)

• Всячески способствуйте тому, чтобы наблюдатели как можно больше взаимодействовали между собой. Проводите совместные практические занятия с обязательным обсуждением всех нюансов в интерпретации данных; это приведет к достижению консенсуса не только в отношении самих данных, но и в отношении истинных значений операциональных определений".

    Таким образом, мы видим, что контент-анализ-это методика с широким спектром применения, с определенными преимуществами в виде дешевизны, небольшого объема выборки доступности данных. Однако, возможно операционализации всех переменных и постоянного мониторинга процесса наблюдения. Благодаря ему можно получить высокоформатиные результаты, которые, однако, должны интерпретироваться лишь в контексте, подчас не достижимом средствами только контент-анализа. По этой причине этот метод используется чаще всего в сочетании с другими методами сбора данных.

Метод экспертных оценок 1. Определение метода экспортных оценок. Метод экспертных оценок, называемый также экспертным опросом, в общем виде представляет собой опрос специалистов, компетентных в какой-либо, нужной исследователю области. Опрос таких лиц называется экспертным, а установленные в его ходе суждения респондентов о свойствах изучаемого явления - экспертными оценками. Экспертная оценка — компетентное мнение, мнение эксперта по какой-либо из проблем, находящихся в сфере его компетенции. Основные отличия экспертного опроса от массового состоят в следующем: - количество респондентов в массовом опросе значительно больше, чем в экспертном; - экспертный опрос не является анонимным; - экспертный опрос отличается более сложным инструментарием; - труд экспертов, в отличие от труда респондентов всегда оплачивается. 2. Отбор экспертов. При определении конкретного состава экспертов надлежит руководствоваться не только и не столько компетентностью экспертов, сколько валидностью их заключений. Как свидетельствует опыт, нередки случаи, когда компетентность эксперта не дает адекватной валидности. Это объясняется многими обстоятельствами, в разной мере зависимыми от исследователя, организующего экспертный опрос и проводящего экспертизу. Ряд этих обстоятельств имеет психологическое свойство. Эксперт с задатками лидера стремится к доминированию своих оценок, настаивая на них даже тогда, когда внутренне сомневается в их истинности. Человек конформистского склада ведет себя прямо противоположным образом, а конфликтогенный - склонен к оспариванию даже тех мнений других людей, с которыми по существу согласен. Большинству людей присуще смещать свои оценки в сторону нейтральной середины, а часть экспертов может быть заинтересована в преднамеренном искажении информации. Все это должно учитываться исследователем. ' Проведение отбора экспертов, как правило, осуществляется методом самооценки и определением коэффициента компетентности. Кандидатам раздаются карточки с тремя позициями оценки: К1 - высокая оценка- 1балл; К2 - средняя оценка - 0,5 балла; КЗ - низкая оценка - 0 баллов. С их помощью, кандидаты оценивают свой уровень теоретических знаний, практический опыт и уровень прогностической компетентности. После ответов кандидатов, вычисляют коэффициент компетентности каждого по формуле К= (К1+К2+КЗ)/3 (образец карточки прилагается). Слабость данного метода состоит в возможной неадекватности оценки. Для подкрепления метода самооценки используют метод коллективной (взаимной) оценки. Однако следует заметить, что данный метод может применяться только в том случае, если эксперты знают друг друга в качестве специалистов. При использовании этого метода кандидатам предлагается список их «конкурентов» и ставится вопрос: «Кого бы Вы выбрали в качестве эксперта из предложенного списка?». Кроме того, в вопросе задается параметр выбора (Укажите ровно 25 человек). На основании полученных данных строится таблица взаимных оценок. В случае, если результатов первой таблицы недостаточно для определения экспертов, необходимо построить уточненную таблицу взаимных оценок, (материал прилагается). На основании метода самооценки и/или метода взаимной оценки отбирается нужное количество экспертов-респондентов, которым и предлагаются анкеты. 3. Интеграция экспертных оценок. Интеграция экспертных оценок есть по сути дела совокупность приемов перевода количественного анализа этих оценок в качественный. Поэтому он, с одной стороны, невозможен без предварительного выявления количественных признаков мнений экспертов, с другой - принципиально отличен от их традиционно количественной интерпретации. Интегрирование (согласование, комплексирование) экспертных оценок необходимо тогда, когда нужно:  1) выработать научно обоснованное управленческое решение;  2) сформулировать миниконцепцию, объясняющую новые явления и процессы, происходящие в изучаемом микросоциуме, и дающую основание для последующего теоретизирования. Реализация интегрирования предполагает выполнение ряда исследовательских операций в следующей последовательности: 1. Установление мнений экспертов по исследуемой проблеме в заочной форме, то есть путем анкетирования, заполнения экспертами специальных документов (карт, бланков), изучение монитором (исследователем) докладных записок и иных материалов экспертного характера. 2. Шкалирование выявленных мнений экспертов, т.е. сопоставление показателей их отношения к предмету экспертизы либо по ранговой, либо по номинальной, либо метрической шкалам, или по некоторой совокупности этих шкал. 3. Согласование мнений экспертов по технике Делъфи, предусматривающей трех-шестикратное повторение заочных опросов экспертов и соответствующее число шкалирования их оценок. На каждом новом этапе опроса (интеграции) монитор информирует экспертов о результатах предыдущего опроса, сообщает им о мнении большинства и просит аргументировать свое мнение, т.е. его совпадение или расхождение с тем, которое претендует на господствующую роль. При этом на каждом этапе эксперту предлагается определить место своего мнения в заранее подготовленной шкале. Каждый этап завершается статистической обработкой полученных от экспертов шкал, исчислением средних арифметических показателей, медианы и квартилей, определением показателей разброса мнений, выявлением крайних мнений, т.е. особо отклоняющихся от оценок большинства. Типичных выразителей крайних мнений и господствующей оценки приглашают для участия в последующих процедурах интегрирования экспертных оценок. 4. Очное выяснение отношений экспертов к предмету экспертизы и разным вариантам решения обсуждаемой проблемы в групповой дискуссии. Она может проводиться как методами фокус-группы и «проблемного колеса», так и на основе иных способов активизации творческого мышления в группе - «мозговой штурм, синектика, ИПИД и т.п. 5. Ранжирование предложенных экспертами вариантов решения исследуемой проблемы, их упорядочивание по трем, как минимум, основаниям: 1) степени популярности, т.е. представленности в коллективном мнении экспертов; 2) мере реализуемости, возможности практического выполнения; 3) последствиям их реализации для тех социальных систем (и подсистем), в которых сложилась исследуемая проблема. Эта исследовательская операция делается после и по итогам очного сопоставления мнений экспертов. Когда в исследовании применяются не одна, а несколько форм групповых дискуссий, возникает необходимость нескольких туров ранжирования, переплетения этой исследовательской операции с предыдущей. Данное ранжирование необходимо для выработки оптимального решения проблемы и последующего этапа интеграции оценок экспертов. 6. Синтезирование экспертных оценок в форме мини-теории, т.е. непротиворечивого научно доказательного объяснения изученного явления, его причин и тенденций изменения, возможностей влияния на него со стороны различных субъектов социальной жизни. Эта операция требует от исследователя солидной теоретической подготовки (ибо разработка мини-теории предполагает знание теорий более высокого уровня), аналитических навыков и научной достоверности. Она призвана обобщить все оценки экспертов, отразить не только достигнутый уровень их согласия, но и мнения, выпадающие из общей их картины. Разработка такой мини-концепции необходима в двух отношениях:  во-первых, в качестве одного из «кирпичиков», из которых строятся социологические теории «среднего», а затем и «большего» уровней;  во-вторых, для завершения процедуры интегрирования экспертных оценок. 7. Комплексирование экспертных оценок - последняя исследовательская операция по интеграции мнений экспертов. Ее конечный результат -комплексная программа решения изученной проблемы (или несколько вариантов такой программы). Она должна логично вытекать из выше охарактеризованной мини-теории и содержать перечень мер, реализация которых обеспечит решение исследовательского вопроса. Предлагаемые меры дифференцируются: - на стратегические (важные и долговременные) и тактические (детализирующие первые); - по времени исполнения (первоочередные, второочередные и т.п.); - по затратам разнообразных ресурсов; - по ожидаемому эффекту от этих затрат; - по адресатам (организациям, персонам), могущим реализовать рекомендации; - по другим основаниям, зависящим от характера проблемы и способов ее решения. Как правило, экспертный опрос нацелен на уточнение гипотез, разработку прогноза и пополнение интерпретации определенных социальных явлений и процессов. В таких опросах доминируют открытые формулировки, а закрытые вопросы предназначены лишь для оценки уровня уверенности, меры согласия или несогласия с уже высказанными позициями других специалистов. Выявление экспертных оценок необходимо при анализе наиболее существенных аспектов исследуемой проблемы, особенно в ситуациях дискуссионности их трактовок или фактического отсутствия определенности в их осмыслении наукой. В таких случаях метод экспертных оценок выступает в роли основного метода исследования, программа его проведения отражается в общей программе исследования. Если же данный метод играет вспомогательную роль, добавляя информацию к полученной иными методами, то исследователи обязаны составить особую (самостоятельную) программу его реализации. Главными ее компонентами будут формулировки, четко фиксирующие: а) проблемную ситуацию; б) терминологию экспертных оценок (путем операционализации общих понятий); в) гипотезы, выносимые на экспертизу; г) комплекс требований, на основе которых будет производиться подбор экспертов (критерии их компетентности); д) индикаторы, позволяющие измерять суждения экспертов; е) инструментарий этих замеров и первичной обработки данных; ж) правила проведения и сценарий экспертизы, т.е. процедуры согласования и интегрирования оценок экспертов.