Практикум по анализу данных в социологии в программе SPSS

Практикум по анализу данных в социологии в программе SPSS
Наталья Сергеевна Воронина
Учебное пособие «Практикум по анализу данных в социологии в программе SPSS» Н. С. Ворониной, старшего научного сотрудника ИС ФНИСЦ РАН, представляет собой тщательно разработанное руководство по освоению анализа данных. Каждая из двенадцати глав посвящена определенному аспекту анализа данных, от базовых навыков до регрессионного и дискриминантного анализа, начинается с краткого введения, за которым следует пошаговая демонстрация соответствующих методов и процедур. Подробные объяснения в сочетании с практическими примерами позволяют читателям понять основные концепции и эффективно применять их в своих исследованиях.


Наталья Сергеевна Воронина
Практикум по анализу данных в социологии в программе SPSS
Посвящаю своей маме
Ворониной Елене Владимировне

Федеральное государственное бюджетное образовательное учреждение высшего образования «Государственный Академический Университет Гуманитарных Наук»
Рецензенты:
Григорьев Дмитрий Сергеевич – кандидат психологических наук,
научный сотрудник НИУ ВШЭ;
Кученкова Анна Владимировна – кандидат социологических наук,
старший научный сотрудник Института социологии ФНИСЦ РАН,
доцент РГГУ и ГАУГН;
Стрельникова Анна Владимировна – кандидат социологических наук,
доцент НИУ ВШЭ,
старший научный сотрудник Института социологии ФНИСЦ РАН,
доцент ГАУГН

© Воронина Н. С., 2024
© Рачко Г. Н., иллюстрации. 2024

Введение
В данном пособии читатель найдет краткий и простой в использовании курс по применению социологами статистических методов для анализа данных.
Акцент в учебном пособии сделан на практическом использовании навыка анализа данных и интерпретации полученных результатов. При описании назначения методов мы пытались сделать материал максимально понятным. Изучив приведенные примеры гайдов по выполнению статистических операций в SPSS и примеры интерпретации данных для конкретных социологических задач, читатель сможет применять полученные знания к своим исследованиям.
Очень часто в рабочем процессе автор данного учебного пособия сталкивался со студентами и коллегами, «убежденными качественниками», которые считали, что для анализа данных необходимо обладать неординарными математическими способностями и им никогда не овладеть таким навыком. Мы написали практическое руководство так, чтобы человек, даже без специальной математической подготовки, понял, что анализ данных можно освоить и успешно применять в исследовательской практике.
Книга адресована студентам бакалавриата и магистратуры, исследователям и специалистам, а также может быть полезна для преподавателей дисциплин по анализу данных, SPSS, так как содержит большое количество практических заданий и тестов.
Учебное пособие состоит из 12 глав. Каждая из глав о методах анализа данных включает в себя разделы:
1) для чего нужен метод,
2) требования и ограничения / условия применения метода,
3) как выполнить анализ в SPSS, а также интерпретацию полученных результатов.
Каждая из глав содержит вопросы для самопроверки, практические задания, список рекомендуемой литературы по теме и список примеров работ, где можно посмотреть, как другие авторы проводили аналогичный анализ.
Глава 1 посвящена объяснению того, как практически применять навыки анализа данных в научных работах, отчетах, дипломах, где предполагается применение количественной методологии. Для того чтобы показать место анализа данных в структуре научной работы, автор приводит описание каждого из пунктов структуры. На примерах показано, как приступить к анализу литературы, как написать введение, что должно быть описано в актуальности, как найти аргументы в пользу актуальности изучаемой темы, что позволяет выявить проблему исследования, как сформулировать цель и задачи исследования, как нащупать гипотезы исследования, описать данные и методы исследования и, наконец, интерпретировать результаты, привести основные выводы и обсудить полученные результаты. Также глава содержит описание наиболее распространенных ошибок при составлении анкеты для социологического исследования. После прочтения этой главы читатель поймет, что анализ данных не может существовать без проработки всех пунктов, описанной структуры и должен обязательно служить решением поставленной научной проблемы.
Главы 2-12 посвящены технологическим аспектам применения SPSS для анализа данных в социологических исследованиях.
Глава 2 знакомит читателя с программой SPSS, позволяет овладеть навыком ввода и загрузки данных. Автор показывает на конкретных примерах, как определять уровень измерения шкал в социологических исследованиях и правильно их применять в соответствии с той или иной задачей. Компьютерная программа производит анализ данных по тем данным, которые мы вводим, соответственно, задача исследователя в том, чтобы все виды анализа осуществлялись для тех шкал, для которых каждый из них предназначается. Автор показывает, как вводить данные по вопросам с множественными ответами, а также как вводить данные по «табличным вопросам». Большое количество практических примеров позволяет понять данную тему и не сомневаться в выборе шкал, что очень важно для исследователя.
Глава 3. Прежде чем выполнять расчеты, часто необходимо подготовить данные. Поэтому эта глава посвящена преобразованию данных и отбору по условиям. Глава включает разделы о взвешивании данных, создании фильтров (когда необходимо анализировать лишь часть выборки), описывает процедуру расщепления файла, функцию объединения данных, перекодировку в те же и другие переменные, освещает процедуру ранжирования наблюдений, вычисления новой переменной с примером расчета социологического индекса и описывает процедуру проверки индекса на надежность.
Глава 4 посвящена одномерному анализу данных, без которого не обходится ни одно количественное исследование. Данный вид анализа, в частности, позволяет получить представление о распределении частоты ответов респондентов на интересующий исследователя вопрос. В этой главе рассматривается выполнение частотного анализа, описательных статистик, расчет мер центральной тенденции, разброса, а также анализ множественных ответов. Читатель знакомится с выполнением расчета средних значений. Методы сравнения средних значений рассматриваются в главах 5 и 6.
Глава 5 посвящена сравнению средних значений для параметрических данных. Глава включает в себя рассмотрение одновыборочного T-критерия, T-критерия для независимых выборок, Т-критерия для парных выборок, а также однофакторный дисперсионный анализ (ANOVA).
Глава 6 рассматривает процедуры сравнения средних значений, но для непараметрических данных. Глава включает в себя рассмотрение критерия Манна – Уитни, критерия Краскела – Уоллиса, критерия Вилкоксона, критерия Фридмана.
Глава 7 описывает методику двумерного анализа данных. Из главы читатель узнает, как анализировать таблицы сопряженности, а также как правильно применять коэффициенты связи для разных шкал. Для определения связи между номинальными данными в главе подробно рассматривается критерий Хи-квадрат, для количественных шкал – коэффициент корреляции Пирсона, для порядковых – коэффициенты корреляции Спирмена и Кендалла. А также глава содержит раздел о частных корреляциях.
Глава 8 рассматривает регрессионный анализ, который позволяет выявить связь между одной зависимой и одной или несколькими независимыми переменными. В отличие от коэффициентов корреляции регрессионный анализ позволяет выявить влияние независимых переменных на зависимую переменную.
В главе рассматриваются разные виды регрессионного анализа в зависимости от уровня измерения шкалы: простая и множественная регрессия (когда и независимые переменные, и зависимая переменная измерены в количественной шкале); линейная регрессия с фиктивными переменными для случаев, когда игрек количественный, а в качестве иксов есть необходимость ввести номинальные переменные; линейная регрессия с эффектами взаимодействия, когда исследователь предполагает, что характер связи переменных может быть неоднороден в зависимости от подгрупп; бинарная логистическая регрессия для ситуации, когда игрек может принимать только два значения, а иксы могут быть измерены по любой шкале; мультиномиальная регрессия – частный случай бинарной логистической регрессии, – когда игрек принимает три значения и более, а иксы измерены по любой шкале; порядковая регрессия, когда зависимая переменная (игрек) измерена в порядковой шкале, а иксы могут быть любыми.
Глава 9 посвящена обсуждению факторного анализа (ФА) и метода главных компонент (МГК). Приводится обсуждение различий метода ФА и МГК. Факторный анализ претендует на выявление некоторых латентных переменных, а метод главных компонент позволяет сократить размерность пространства. Таким образом, он может быть обоснованием создания индекса.
Глава 10 описывает методику проведения кластерного анализа, представляющего метод многомерной классификации данных, позволяющего находить группы похожих объектов в пространстве данных по заданным параметрам классификации. В главе также рассматривается метод классификации к-средних.
Глава 11 рассматривает метод деревьев решений (CHAID), который также относится к методам многомерной классификации. С помощью данного метода можно ответить на вопрос, какие из независимых переменных наиболее сильно связаны с зависимой переменной. В социологии данный метод часто применяется для построения социально-демографического портрета какой-либо из социальных групп. Метод очень нагляден, удобен в интерпретации и в использовании, поскольку позволяет осуществить применение любого вида шкал, а также он устойчив к выбросам, позволяет улавливать не только линейные, но и нелинейные связи.
Глава 12 описывает дискриминантный анализ. Данный метод многомерной классификации предполагает предсказание попадания объектов в определенный класс. Задача метода – узнать, отличаются ли друг от друга классы по заданным параметрам.
Перед прочтением данного учебного пособия рекомендуем повторить[1 - Например, по литературе: Пашкевич А. В. Теория вероятности и математическая статистика для социологов и менеджеров: Учебник для вузов / Под. ред. А. А. Макарова. Новое издание. – М.: МЦНМО, 2020. С 352.] базовые для социолога понятия, которые будут встречаться в тексте, такие как выборка, генеральная совокупность, статистическая гипотеза, доверительный интервал, ошибка первого и второго рода, нулевая и альтернативная гипотезы, статистическая значимость, нормальное распределение, мода, медиана, среднее значение и другие.
Необходимо отметить, что при анализе данных в большинстве случаев мы имеем дело с выборками, а не с генеральной совокупностью. Практически никогда у нас нет в доступе генеральной совокупности. Поэтому за страницами данной книги останутся темы качества выборки, ее репрезентативности, правильного сбора данных, так как это темы для отдельного обсуждения.
Для исследовательских задач редко бывает необходимо получать результаты по конкретной нерепрезентативной выборке, обычно важно переносить результаты выборки на генеральную совокупность. Поэтому в учебном пособии большое внимание уделяется способам переноса данных с исследуемой выборки на генеральную совокупность, для этого осуществляется проверка статистических гипотез. Большинство методов анализа, которые мы будем обсуждать, предполагают генерализацию выводов (то есть статистическую проверку того, что вывод, полученный на выборке, которую мы используем, характерен и для генеральной совокупности).
Автор книги – Наталья Сергеевна Воронина – кандидат социологических наук, старший научный сотрудник Института социологии ФНИСЦ РАН, доцент Государственного университета гуманитарных наук (где преподает дисциплину «Практикум по анализу данных в социологии» с 2017 года), автор более 50 научных публикаций по социологии, участник многочисленных научных грантов РНФ, РФФИ. Наталья Сергеевна Воронина окончила школу с золотой медалью, с 2005 по 2010 год обучалась в ГАУГН (получен диплом с отличием, специальность «социолог, преподаватель социологии»), затем продолжила освоение количественных методов в социологии с помощью ряда курсов повышения квалификации (2017 год – «Количественный анализ социальных данных на основе SPSS и R» НИУ ВШЭ, 2017 год – «Методы многомерной классификации» НИУ ВШЭ, 2019 год – «Математические методы в психологии» СПбГУ, 2019 год – «Эксперт IBM SPSS Statistics» МГТУ имени Баумана).
Автор хотел бы поблагодарить своих преподавателей количественных методов Г. Г. Татарову, Ю. Н. Толстову, А. В. Стрельникову, А. Ю. Кропачева, Ю. Б. Епихину, М. Ф. Черныша, которые оказали неоценимую поддержку автору на этапе приобретения исследовательских навыков, призывали аккуратно относиться к анализу данных, познакомили с количественными методами и привили любовь к аналитической деятельности. Автор благодарит рецензентов Д. С. Григорьева, А. В. Стрельникову и А. В. Кученкову, а также Практикум по анализу данных в социологии в программе SPSS А. В. Жаворонкова за ценные комментарии и научную редактуру, которые были учтены при доработке текста. Благодарю А. В. Андреенкову за возможность анализировать российские данные Европейского Социального Исслледования, Ю. А. Зубок за небезразличное отношение к проблемам молодых ученых, коллег из ИСФНИСЦ РАН, которые всегда помогали советом и вдохновляли личным примером. Благодарю Д. Колодинского за качественную верстку данного учебного пособия. А также благодарю всю свою семью за поддержку.
Автор отдельно хотел бы поблагодарить преподавателя курсов повышения квалификации в НИУ ВШЭ Воронину Наталью Дмитриевну, чьи лекции были полезными для освоения навыка анализа данных. Знания, полученные на этих курсах, были использованы автором в собственной преподавательской деятельности и при составлении данного учебного пособия.
Автор благодарит талантливую молодую художницу Галину Рачко, придумавшую и создавшую иллюстрации к этой книге, с помощью которых мир анализа данных, мы надеемся, станет еще увлекательнее.

Глава 1. Практическое применение навыка анализа данных

Перед начинающим исследователем часто стоит вопрос: как в действительности применить навыки использования анализа данных?
В практике руководства студенческими работами автор часто сталкивается с тем, что студенты, освоив некоторый набор методов анализа данных и включив в текст некоторую аналитику данных, ошибочно полагают, что они тем самым подготовили научную работу. Поэтому мы считаем необходимым начать обсуждение с того, какое место занимает анализ данных в структуре научной работы.
В методической литературе существует большое количество описаний того, как строится научная деятельность и как написать научную работу. Этот процесс всегда содержит творческий элемент, видение автора, однако работать в некоторой структуре всегда легче, чем без нее. В самом упрощенном виде логику написания научной работы можно представить таким образом:

1.1. Примерный план научной работы
• Введение (актуальность, проблема, цель, задачи).
• Глава 1. Основные теоретические подходы к вашей теме.
• 1.1. Обоснование выбора теоретического подхода, используемого в работе.
• 1.2. Обзор зарубежных исследований о вашей теме.
• 1.3. Обзор российских исследований о вашей теме.
• Гипотезы.
• Глава 2. Данные и метод.
• 2.2. Результаты.
• 2.3. Обсуждение.
• Используемая литература.
Разберем подробнее каждый из пунктов.
Прежде всего стоит сказать несколько слов о выборе области исследования для научной работы. Для лучшей мотивации к работе над текстом стоит выбирать область, которая вас действительно интересует и увлекает.
Чтобы определить область исследования, необходимо сначала немало прочитать и записать много вариантов того, как может звучать ваша тема исследования. Советуем записывать варианты и затем обсуждать их с научным руководителем. Чтобы корректно и лучшим образом сформулировать тему исследования, посмотрите названия научных статей, диссертаций на выбранную вами тематику. Нужно помнить: то, что допускается для названия научной статьи, не всегда допускается для студенческих / аспирантских работ. Название для ВКР / диссертации должно быть сформулировано таким образом, чтобы оно не просто включало в себя описательный характер (например, «Особенности студенческой молодежи города Москвы»), а содержало в себе проблемную составляющую (например, «Влияние экономических и культурных ресурсов на успеваемость школьников из многодетных семей»[2 - Епихина Ю. Б. Влияние экономических и культурных ресурсов на успеваемость школьников из многодетных семей: Автореф. дисс. к. соц.н. // Официальный сайт ИC РАН. 2011. URL: http://www.isras.ru/publ.html?id=2216.]). Чаще всего тема, содержащая слово «особенности», сформулирована по принципу «это просто интересно посмотреть», не содержит научной новизны и как таковой исследовательской проблемы. Иначе говоря, выявление особенностей какой-либо социальной группы не является проблемой исследования, а сам термин «особенности» даже не является научным, но о формулировке проблемы исследования поговорим чуть позже.
Еще одна рекомендация при выборе темы: не стоит делать название очень громоздким, оно должно быть четким, ясным и предполагать конкретный ответ и внятный результат.
Во-первых, в название работы не стоит включать «сомнительные» термины. Например, если вы внесете в название «ментальные программы», к вам сразу же возникнет множество вопросов и критики от преподавателей вашего вуза. Что означает данный термин? Кто его разработал? Как эмпирически изучать «ментальные программы»? Таким образом, лучше не включать в работу термины, которые считаются околонаучными или недостаточно теоретически проработанными в социологии.
Во-вторых, следует избегать таких названий, которые похожи скорее на заголовок журналистской статьи, нежели научной работы, например: «Что, уже уходите? Как россияне относятся к отставке правительства?».
Написание научного текста – это не волшебный процесс. Написать научный текст без предварительного погружения в проблему исследования, без чтения множества литературных источников невозможно. Начинать нащупывать проблему можно, читая новости из социальной сферы, где вы можете остановить свое внимание на какой-то проблеме, которая вас заинтересует. Затем можно обратиться к порталам социологических исследований и поискать по основным тэгам на выбранную тематику, затем ознакомиться с основными социологическими журналами и там собрать литературу, относящуюся к вашей проблематике. Проблему своего исследования можно сформулировать исходя из результатов исследователей, отраженных в научных статьях схожей тематики. Знакомясь с их выводами, можно понять направление дальнейших научных разработок. Мы рекомендуем сделать подборку литературы из статей / монографий не только на русском, но и на английском языке (при знании других языков, нужно задействовать и это умение). Чтобы вам было понятнее, покажем на примере поиска исследовательской проблемы.
Например, нас интересует тема интеграции и адаптации иммигрантов. Этот интерес может выразиться в конкретных вопросах: каковы установки россиян к иммигрантам? с чем связаны негативные установки россиян к иммигрантам? что влияет на установки принимающего население к иммигрантам?
После осознания вопросов нужно читать подборку новостей на эту тематику, подмечая резонансные случаи, освещаемые в СМИ. Можно обратить внимание на то, что в СМИ практически отсутствуют статьи / репортажи о положительной роли иммигрантов, а превалируют новости о периодически возникающих драках, потасовках, где подчеркивается иная национальность нападавших. Уже тогда можно предположить, что СМИ являются фактором, увеличивающим негативные установки к иммигрантам, но это предположение требует эмпирической проверки.
Рекомендуем создать папку на рабочем столе, куда будут собираться все статьи, монографии на русском / английском языках, которые содержат теги: «установки по отношению к иммигрантам», «факторы, влияющие на установки по отношению к иммигрантам» и т. д.
Не стоит читать все сразу и подробно, на первом этапе просто достаточно просмотреть и скачать материалы, создавая свою электронную библиотеку по выбранной области. Кроме того, полезно просматривать список литературы в работах авторов, которые являются неоспоримыми специалистами в данной проблематике. Чтобы узнать, кто является таким специалистом, достаточно зайти на сайты известных научных институтов и просмотреть персональные страницы исследователей, занимающихся близкой темой к вашей проблематике. Следует избегать так называемых «мусорных журналов», которые публикуют любой текст за деньги без процедуры рецензирования, а также некачественных статей, где нет или практически нет ссылок на используемую литературу. Также следует понимать, что в мировой научной литературе тоже накоплен опыт изучения выбранной вами тематики и получены значимые результаты, поэтому не стоит ограничиваться только российскими исследователями.
После создания собственной библиотеки можно приступать к чтению литературы с целью выявить, что остается не изученным в данной области исследования. Можно сразу делать себе пометки, формулировать тезисы о том, что уже было сделано до вас в этой области. После этого следует приступить к формулировке проблемы исследования.

1.2. Проблема исследования
Существуют различные подходы к определению проблемы исследования, очень много методических рекомендаций о том, как ее сформулировать. Тем не менее считается, что сформулировать проблему – задача творческая, и крайне сложно давать какие-либо рекомендации, все очень индивидуально в каждом исследовании. Посещая семинары журнала «Социс» о том, как написать статью, можно сделать вывод, что нет никакого готового шаблона, по которому можно было бы со стопроцентной уверенностью точно сформулировать проблему исследования, однако если зайти в графу лучших публикаций[3 - Лучшие публикации. Социс // URL: https://www.socis.isras.ru/index.php?page_id=518 (дата обращения: 20.10.2023).] журнала[4 - Следует учитывать, что существуют разные требования к написанию научного текста в зависимости от журнала или в зависимости от университета, если речь идет о ВКР. Например, в одних журналах может быть принято делать основательный обзор предыдущих исследований, а в других принято посвящать этому разделу несколько абзацев, поэтому, прежде чем писать текст, необходимо ознакомиться с требованиями к оформлению рукописи.] и почитать, как различные исследователи формулируют проблему, то можно обнаружить, что проблема исследования представляет собой некое противоречие. Это может быть противоречие в понимании социального явления, противоречие в интерпретации, противоречие в эмпирических результатах различных исследований. В. А. Ядов писал, что «предметная сторона проблемы социологического исследования – это некое социальное противоречие, требующее организации целенаправленных действий для его устранения или выбора одной из возможных альтернатив социального развития»[5 - Ядов В. А. Социологическое исследование: методология, программа, методы. 2-е изд. – М.: Наука, 1987.]. Как справедливо отмечает В. В. Радаев, необходимо различать социальную проблему от исследовательской[6 - Радаев В. В. Как написать академический текст // Вопросы образования. 2011. С. 277.]. Автор приводит пример, что само по себе наличие безработицы относится к социальной проблеме, но не является исследовательской. Также не следует подменять проблему исследования отсутствием знания о чем-либо. Тот факт, что то или иное явление, на ваш взгляд, недостаточно изучено, не делает его исследовательской проблемой: «подменяя предмет (проблему) ссылкой на объект исследования (пусть даже он весь представляет сплошное белое пятно), мы облегчаем себе жизнь, но не продвигаемся к смыслу. И каждый раз нам придется отвечать на неумолимый и жесткий вопрос: белых пятен много, зачем нам изучать именно это?»[7 - Радаев В. В. Как написать академический текст // Вопросы образования. 2011. С. 278.].
Итак, пункт «Проблема исследования» является самым важным и трудоемким при написании научной работы. Если не получается сформулировать проблему исследования, не получится и построить общую логику исследования. Для того чтобы сформулировать проблему исследования, необходимо ознакомиться с большим количеством достоверных источников по выбранной теме. Это чтение должно содержать цель – поиск проблемы, то есть поиск противоречия между реальным положением дел и желаемой ситуацией для общества. Приведем пример формулировки проблемы из исследования цифрового неравенства[8 - Подробнее о проекте «Новые социальные неравенства в эпоху цифровизации» см. http://new-inequalities.tilda.ws/.]. Когда только создавалось такое технологическое средство, как Интернет, его потенциал положительно оценивался в плане расширения возможностей для традиционно подчиненных групп, однако современные исследования констатируют, что женщины оказываются в невыгодном положении. Мужчины по всему миру имеют больше доступа к Интернету. Возникает противоречие между ожидаемыми и реальными последствиями цифровизации.
Приведем еще один пример. Изучая установки по отношению к иммигрантам в России, мы выяснили, что большинство россиян (более 60 %) негативно оценивают изменения, которые иммигранты привносят в жизнь нашей страны (это реальное положение дел). Однако в нашей стране убыль населения превышает рождаемость, возникает проблема нехватки рабочей силы, эту проблемы государство, в частности, решает за счет привлечения иммигрантов. То есть государство заинтересовано в том, чтобы иммигранты приезжали на работу в Россию (это желаемая ситуация для общества). Противоречие в том, что при таких установках по отношению к иммигрантам население может быть против въезда иммигрантов в Россию, что может приводить к росту социальной напряженности, конфликтным ситуациям между принимающим населением и приезжими, следовательно, необходимо изучать факторы, которые влияют на установки по отношению к иммигрантам у россиян в динамике.
Для того чтобы было легче сформулировать проблему исследования на первых этапах научной деятельности, можно использовать технологию «рыбного скелета»[9 - См., например, http://borinternat.ru/uploads/file/2.DIAGRAMMA-ISIKAVI.pdf.] («Фишбоун»). Она состоит из четырех логически связанных частей (рисунок 1).


Рисунок 1. Схема «Фишбоун» для определения проблемы исследования

Голова рыбы – это проблема (что не так?). В нашем примере это негативное отношение большинства россиян к изменениям, которые привносят иммигранты в жизнь страны. Откуда взять информацию о проблеме? Она формируется из чтения литературы по теме исследования, а также статистических данных.
Верхние кости – это возможные причины. В нашем примере это может быть ощущение конкуренции с иммигрантами за экономические ресурсы. После изучения существующих теорий мы выяснили, что у принимающего населения могут быть негативные установки по отношению к иммигрантам либо из-за реальной конкуренции, например, за рабочие места, либо из-за воображаемой угрозы (например, принимающее население может бояться, что иммигранты повлияют на принятые в обществе культурные нормы, нарушая их своими традиционными для их этноса обычаями).
Нижние кости – это факты, подтверждающие возможные причины. Например, мы бы нашли статистику, которая подтверждает наличие высокой конкуренции за рабочие места среди россиян и иммигрантов. А также нашли бы, например, данные опроса о том, что нарушение иммигрантами культурных норм, принятых в нашей стране, является самым нежелательным последствием от въезда иммигрантов для россиян.
Хвост – это выводы, которые вытекают из данной проблемы. То есть необходимо статистически проверить, оказывают ли найденные нами причины влияние на установки по отношению к иммигрантам у россиян, и выработать рекомендации по консолидации российского общества для уменьшения негативного отношения к иммигрантам. Следовательно, наша цель – это выявление факторов, влияющих на установки россиян по отношению к иммигрантам. В зависимости от цели мы формулируем тему нашего исследования, которая может звучать как «Факторы, влияющие на установки по отношению к иммигрантам в России» либо, немного уточнив, «Социально-структурные и социально-культурные факторы, влияющие на установки по отношению к иммигрантам в России», поскольку именно такие группы факторов отражают то, что мы выделили из анализа литературы.
Приведем несколько примеров проблем исследования в студенческих работах из собственной практики научного консультирования.
Пример № 1
Тема: «Особенности восприятия информационного контента социальных сетей студенческой молодежью (на примере Instagram)»[10 - ВКР Гуриной Дарьи, выпускницы ГАУГН.]. Это пример названия темы, которая содержит описательный, не проблемный характер, в связи с чем возникли трудности по формулировке проблемы исследования.
В результате изучения области исследования было отмечено, что погружение молодежи в социальные сети несет и негативные последствия, такие как, например, феномен возникшей в обществе «клиповой культуры», описанный Элвином Тоффлером, который предупреждал о трудностях процесса социализации и становления личности в связи с распространением «клиповой культуры», приводящей к поверхностному восприятию молодыми поколениями классической культуры, неразвитости воображения и недостаточной рефлексии. Можно предположить, что влияние «клиповой культуры» может привести к дефициту людей, функционально необходимых обществу, таких как, например, творческий человек, добросовестный работник, активный гражданин.
Проблема: в связи с этим возникает определенное противоречие между функционально необходимыми обществу типажами (творческий человек, добросовестный работник, активный гражданин) и особенностями восприятия, формируемыми контентом социальных сетей, которые провоцируют в сознании молодежи «клиповое мышление» и могут препятствовать появлению этих типажей.
В связи с этим целью работы являлось выявление особенностей восприятия информационного контента социальной сети Instagram студенческой молодежью.
Разбирая данный пример по технологии «рыбного скелета», мы отнесем негативные последствия от проведения студенческой молодежью большого количества времени в социальных сетях, такие как разобщение, ощущение одиночества, уход от реальности и другие, к проблеме. В качестве возможных причин выступает феномен «клиповой культуры», вызывающий у молодежи особый тип восприятия информации, характеризующийся поверхностностью, недостаточной рефлексией. В качестве фактов приведем результаты психологических экспериментов, которые выявляли особенности восприятия информации у студентов и контрольных групп. В качестве вывода, в результате собственного эмпирического исследования автора об особенностях восприятия информационного контента социальной сети Instagram студенческой молодежью, были предложены возможные пути по преодолению негативных последствий от проведения большого количества времени в социальной сети.
Пример № 2.
Тема: «Влияние образования на уровень жизни россиян и европейцев: сравнительный анализ за 2008–2018 гг.»[11 - ВКР Кобызева Максима, выпускника ГАУГН.].
В результате изучения области исследования было отмечено, что чем выше уровень образования респондента, тем выше его уровень жизни. В сравнении с европейцами, в России число лиц, получивших третичное образование, больше. Анализ работ предшественников показал, что по уровню жизни Россия отстает от европейских стран.
Проблема заключается в том, что, несмотря на высокий процент россиян с третичным образованием, уровень бедности в нашей стране составляет 12,7 % на 2019 год, по данным Росстата, при прожиточном минимуме 11 185 рублей. Это означает, что достаток почти 13 % жителей нашей страны не превышает 12 000 рублей в месяц. Возможной причиной является то, что влияние уровня образования на уровень жизни в европейских странах сильнее, чем в России, то есть в России уровень образования может не являться фактором, влияющим на уровень жизни.
В связи с этим целью работы является сравнение степени влияния уровня образования на уровень жизни россиян и европейцев ESS[12 - Европейское социальное исследование.] за 2008–2018 годы.
Среди подтверждающих фактов можно выделить следующее: исходя из данных Европейского социального исследования за 2018 год, мы можем увидеть, что среди россиян с высшим образованием 35,5 % респондентов считают, что «жить на такой доход довольно трудно», имея в виду их общесемейный доход. Еще 9,7 % указывают, что «жить на такой доход очень трудно». Из полученных данных следует, что практически половина от всех респондентов, имеющих высшее образование в России, испытывают определенные ограничения, связанные с их доходом. Выводом данной работы является то, что гипотеза о влиянии уровня образования на уровень жизни подтверждается. Вместе с тем установлено, что влияние, которое оказывает полученное образование на уровень жизни, не оказывается константной закономерностью и изменяется в зависимости от контекста, года исследования, страны и т. д.
Если в первом примере мы отметили, что тема носит описательный характер и не является проблемной, то во втором примере тема опирается на сформулированную проблему и сформулирована конкретно, что позволяет достичь цели исследования.
Формулировка проблемы, темы, цели исследования, наряду с актуальностью области исследования, составляет введение научной работы. Актуальность исследования описывается в логике – почему именно сейчас необходимо знание о том, о чем вы собираетесь писать? То есть надо показать, как существующие реалии связаны с вашей проблематикой. Например, проблема иммиграции связана с проблемой убыли населения в нашей стране. В нашей стране убыль населения превышает рождаемость, а пандемия только усугубила ситуацию, что приводило к нехватке рабочей силы среди трудоспособного населения. Частично эта проблема решалась за счет привлечения трудовых иммигрантов.
Мы привлекли факты[13 - В научной работе необходимо везде делать ссылки на источники, которые вы приводите.] из статистики по убыли населения, факты из открытых исследовательских фондов, а также ссылки на статьи по теме, чтобы обосновать, почему сейчас необходимо знание по теме[14 - Текст получившейся статьи можно посмотреть здесь: Воронина Н. С. Отношение россиян к иммигрантам в период пандемии COVID-19 (2020–2021 гг.) // Социологическая наука и социальная практика. 2023. Т. 11. № 1. С. 104–123. DOI: https://doi.org/10.19181/snsp.2023.11.1.6. EDN: GIOGQE.]. Теперь перейдем к следующему пункту, а именно как делать обзор исследования.

1.3. Обзор предыдущих исследований и гипотезы исследования
Обзор источников по теме исследования может включать несколько уровней.
Обзор теоретических работ[15 - Полезные сайты для поиска литературы: https://scholar.google.ru/; http://sci-hub.ren/; https://www.researchgate.net/; https://www.academia.ed; https://elibrary.ru/defaultx.aspu/.] (кто изначально занимался вашей проблематикой; что наработано в этой области; на какой теории останавливаетесь вы для объяснения основного явления, изучаемого вами; почему; какие у различных теорий по вашей проблематике есть преимущества и недостатки). В этом пункте надо обязательно читать первоисточники и сразу выделять необходимые вам аргументы. Исходя из цели и задач исследования необходимо выбрать наиболее подходящую теоретическую рамку исследования – то есть основную теорию, на которую вы будете опираться в своем исследовании, чтобы объяснить полученные результаты[16 - См., например, здесь: Воронина Н. С. Изменения, привносимые мигрантами, и их оценка россиянами (по данным Европейского социального исследования) // Общественные науки и современность. 2019. № 2. С. 160–169. DOI: 10.31857/S086904990004341-7.].
Обзор современных отечественных и зарубежных исследований может включать в себя следующие вопросы: что известно из исследований, которые уже применяли / проверяли эмпирически описанные ранее теории? какие значимые результаты и интерпретации они получили? есть ли противоречия в их результатах? от чего зависят эти противоречия? что не учитывали предыдущие авторы? можно ли структурировать материал по темам? Следует всегда помнить, что необходимо критически смотреть на результаты предшественников, ведь исследования и объяснения, которые они приводят, могут не подходить к реалиям страны, которую вы изучаете, или, например, потерять актуальность по прошествии времени. Также следует стараться не повторять то, что уже делали до вас, а выходить на новый уровень рассмотрения проблемы с учетом опыта предшественников.
Этот этап занимает достаточно много времени. Для повышения продуктивности можно сделать таблицу (таблица 1), по которой гораздо легче писать обобщающий аналитический текст с обзором того, что сделано до вас другими авторами. Этот текст можно структурировать, например, в исторической последовательности по году выхождения работ в свет или по темам, если речь идет о выделяемых факторах (такие-то авторы выделили такие-то факторы).

Таблица 1. Пример структурирования литературы для дальнейшего описания обзора


Гипотезы исследования обычно строятся исходя из вашего анализа современных исследований и вашей выбранной теории. Например, вы в обзоре выделяете факторы, которые в теории могут влиять на отношение россиян к иммигрантам (строите гипотезы об их возможном влиянии. Например, чем старше респондент, тем хуже отношение к иммигрантам), затем операционализируете (находите аналог теоретическим показателям в эмпирической базе) выделенные факторы и проверяете эмпирически. Однако следует разделять статистические и исследовательские гипотезы. Статистические гипотезы проверяются на основании имеющихся эмпирических данных, мы имеем дело с взаимоисключающими гипотезами: нулевой и альтернативной. Нулевая гипотеза – это «основное проверяемое предположение, которое обычно формулируется как отсутствие различий, отсутствие влияния фактора, отсутствие эффекта, равенство нулю значений выборочных характеристик и т. п.»[17 - Кулиичев А. П. Методы и средства комплексного анализа данных. ИНФРА-М, 2006. С. 114.]. Противоположное по смыслу (наличие статистически значимых различий, наличие влияния и т. п.) называется альтернативной гипотезой (подробнее см. пункт 4.3). Исследовательская гипотеза[18 - См. формулировки исследовательских гипотез, например, в статье: Черныш М. Ф. Справедливость заработной платы в российском контексте // Социологические исследования. 2014. № 8. С. 78–89. https://www.socis.isras.ru/files/File/2014/2014_8/Chernush.pdf.] – это «научно обоснованное предположение о структуре социальных объектов, о характере элементов и связей, образующих эти объекты, о механизме их функционирования и развития»[19 - Рабочая книга социолога / Под общ. ред. и с предисл. Г. В. Осипова. Изд. 5-е. – М.: Книжный дом «ЛИБРОКОМ», 2009. С. 128.].

1.4. Данные и метод
Цель данного раздела заключается в том, чтобы описать параметры эмпирического исследования, которые вы используете для своей работы. Откуда же нам взять эмпирические данные? Мы можем самостоятельно провести исследование, но как это сделать? Чтобы ответить на эти вопросы, понадобилось бы написать отдельную книгу, так как дать короткие рекомендации было бы недостаточно. На тему того, как самостоятельно провести количественное исследование, написано немало учебников и различной специальной литературы, с которой можно ознакомиться (например, учебное пособие А. В. Кингсбургского[20 - Кингсбургский А. В. Как провести учебное социологическое исследование (пособие для студентов социологических факультетов) // Официальный сайт ИC РАН. 2009. URL: http://www.isras.ru/publ.html?id=1276.] или известная и до сих пор актуальная «Рабочая книга социолога»[21 - Рабочая книга социолога / Под общ. ред. и с предисл. Г. В. Осипова. Изд. 5-е. – М.: Книжный дом «ЛИБРОКОМ», 2009. С. 480. ISBN 978-5-397-00112-0.] и др.). Если вы решите провести авторское исследование, то в статье / диссертации / ВКР необходимо будет указать, что это был массовый опрос, в какой период времени он проводился, подробно описать, как строилась выборка в вашем исследовании.
Если вы выберете использование вторичных данных, необходимо описать базу данных[22 - Пример можно посмотреть: Воронина Н. С. Изменения, привносимые мигрантами, и их оценка россиянами (по данным Европейского социального исследования) // Общественные науки и современность. 2019. № 2. С. 160–169. DOI: 10.31857/S086904990004341-7.], на которых вы собираетесь проводить анализ данных. Существует множество эмпирических баз, которые выложены в открытом доступе и которые можно легко скачать в Интернете после регистрации на сайте. Вы можете использовать их для вторичной концептуализации в рамках своего исследования. К таким базам относятся, например: ESS[23 - European Social Survey. URL: https://www.europeansocialsurvey.org/ (acceded 20.10.2023).], WVS[24 - World Value Survey. URL: https://www.worldvaluessurvey.org/wvs.jsp (acceded 20.10.2023).], RLMS[25 - Российский мониторинг экономического положения и здоровья населения НИУ ВШЭ. URL: https://www.hse.ru/rlms/ (acceded 20.10.2023).], ISSP[26 - The International Social Survey Programme. URL: https://issp.org/ (acceded 20.10.2023).], EVS[27 - European Values Study. URL: https://europeanvaluesstudy.eu/ (acceded 20.10.2023).], PISA[28 - Programme for International Student Assessment. URL: https://www.oecd.org/pisa/data/ (acceded 20.10.2023).], Банк социологических данных Института социологии[29 - Банк социологических данных Института социологии РАН. URL: https://www.isras.ru/Databank.html (дата обращения: 20.10.2023).] и др.
После описания эмпирической базы, которую вы используете, следует прописать методологию исследования: привести формулировки вопросов из анкеты (тех переменных, которые будут задействованы в анализе данных), а также описать методы анализа данных, которые будут нужны, чтобы эмпирически проверить выдвинутые вами гипотезы исследования. Здесь же можно указать ограничения исследования (ошибки выборки, ограничения используемой базы данных).

1.5. Результаты
В данном разделе приводится описание статистических процедур, которые вы провели для проверки гипотез. Например, в рамках исследования вам необходимо изучить, есть ли связь между двумя количественными переменными (количеством времени, проведенном в Интернете, и доходом), вы описываете результаты корреляционного анализа. Следует указать, какие были шкалы, какой коэффициент корреляции был применен и почему, связаны ли переменные на статистически значимом уровне. Также следует указать, чему равен коэффициент корреляции и каково направление связи. Подробнее о каждом из видов анализов будет написано далее. Суть в том, чтобы подробно описать получившийся результат.
Также следует отметить, что не стоит делать расчетов, которые не направлены на решения исследовательских задач. Например, если задача состоит в поиске связи, то необходимо подобрать метод для этой задачи с учетом того, какие шкалы используют, является ли распределение нормальным. Очень часто я сталкиваюсь с высказываниями вроде «Я не знаю всех этих сложных методов, поэтому вероятно, что мою статью не примут, ведь там присутствует только одномерный анализ» и т. п. Мы бы не рекомендовали делить анализы данных на сложные / простые. Следует руководствоваться принципом «бритвы Оккама»: выбирать наиболее простой способ, но главное – подходящий для решения вашей исследовательской задачи. Поэтому не стоит стесняться частотного анализа или таблиц сопряженности – иногда это все, что нужно, чтобы сделать исследование завершенным. Поэтому при формулировке задач так важно понимать, какие из них под силу решить статистическими методами, а какие – нет. И, конечно, вышесказанное не означает, что нужно пользоваться только одномерными или двумерными методами анализа данных, в идеале освоить разные методы, для того чтобы иметь возможность ставить задачи разного порядка. Тогда придет понимание, что анализ данных – это несложно, это лишь инструмент для решения исследовательских задач.
Статистические расчеты могут быть представлены в виде таблиц, графиков, диаграмм в зависимости от выбранного метода визуализации данных[30 - Существует много литературы о том, как представить данные в различных программах, см., например: Мастицкий С. Э., Шитиков В. К. Статистический анализ и визуализация данных с помощью R. – М.: ДМКПресс, 2015. С. 496: цв. ил. ISBN 978-5-97060-301-7; Бурнаева Э. Г. Обработка и представление данных в MS Excel: Учебное пособие / Э. Г. Бурнаева, С. Н. Леора. Электрон. дан. – СПб.: Лань, 2018. С. 156.].
По каждому из анализов необходимо описать полученные закономерности, например процентные соотношения или связи между переменными в зависимости от выбранного метода анализа данных.

1.6. Обсуждение результатов / выводы / заключение
В данном разделе необходимо сформулировать общие выводы по всей научной работе, не повторяя предыдущий текст, а именно ответить на основной вопрос, поставленный в вашей работе. Если исследование называется «Социокультурные и социоструктурные факторы, влияющие на установки россиян по отношению к иммигрантам», то необходимо ответить на вопросы: 1) каковы установки россиян по отношению к иммигрантам согласно вашему исследованию, 2) какие факторы из числа социокультурных и социоструктурных оказывают влияние на установки по отношению к иммигрантам в России (согласно полученным эмпирическим результатам).
Попробуйте проинтерпретировать полученные результаты по каждой гипотезе (ваши результаты повторяют чей-то результат, который был получен ранее? Или противоречат им?). Сошлитесь на авторов, которые получали схожие / не схожие закономерности по похожим вопросам, приведите обсуждение (почему, например, могли получиться различные тенденции с предыдущими исследованиями: различные методологии? Различный контекст проведения исследования, например, в условиях экономического кризиса и т. п.). Что лежит в основе механизма закономерностей, которые вы получили? Постарайтесь связать выводы, полученные вами, с той теоретической рамкой, которую вы выбрали в своем исследовании. Необходимо «подняться» над эмпирикой и произвести рефлексию, осмысление ваших результатов.
Можно также пояснить, что удалось сделать, а что осталось за рамками работы, и указать возможные направления дальнейшей работы.

1.7. Типичные ошибки
При написании научной работы
• Бессодержательная тема / слишком широкая тема (например, социальные взаимодействия в Российском обществе).
• Тема, содержащая ненаучные термины (например, ментальные ценности в социологических исследованиях).
• Несоответствие темы и содержания.
• Не раскрыта тема.
• Утверждение, что нет объясняющей теории / нет литературы по вашей теме (в 99 % случаев литература есть, вы просто ее пока не нашли).
• Частые отклонения от главной темы при написании работы.
• Нечеткая структура, отсутствие логики, несформулированная проблема исследования.
• Описательный характер всего текста без содержательных выводов (столько-то процентов выбрали этот вариант ответа, столько-то – этот).
• Несвязанность частей текста между собой.
• Недостаточное описание процесса анализа данных (иногда возникает иллюзия, что все, что вы описываете подробно, и так будет понятно, в результате чего возникает что-то похожее на сказку про Колобка, когда вместо всей истории вы пишете, что жил Колобок и лиса его съела. Конец. Необходимо подробно и основательно описывать все этапы анализа данных, это применимо и к остальным частям научной работы, все надо описывать максимально понятно).

Конец ознакомительного фрагмента.
Текст предоставлен ООО «Литрес».
Прочитайте эту книгу целиком, купив полную легальную версию (https://www.litres.ru/chitat-onlayn/?art=70732657?lfrom=390579938) на Литрес.
Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.

notes
Примечания

1
Например, по литературе: Пашкевич А. В. Теория вероятности и математическая статистика для социологов и менеджеров: Учебник для вузов / Под. ред. А. А. Макарова. Новое издание. – М.: МЦНМО, 2020. С 352.

2
Епихина Ю. Б. Влияние экономических и культурных ресурсов на успеваемость школьников из многодетных семей: Автореф. дисс. к. соц.н. // Официальный сайт ИC РАН. 2011. URL: http://www.isras.ru/publ.html?id=2216.

3
Лучшие публикации. Социс // URL: https://www.socis.isras.ru/index.php?page_id=518 (дата обращения: 20.10.2023).

4
Следует учитывать, что существуют разные требования к написанию научного текста в зависимости от журнала или в зависимости от университета, если речь идет о ВКР. Например, в одних журналах может быть принято делать основательный обзор предыдущих исследований, а в других принято посвящать этому разделу несколько абзацев, поэтому, прежде чем писать текст, необходимо ознакомиться с требованиями к оформлению рукописи.

5
Ядов В. А. Социологическое исследование: методология, программа, методы. 2-е изд. – М.: Наука, 1987.

6
Радаев В. В. Как написать академический текст // Вопросы образования. 2011. С. 277.

7
Радаев В. В. Как написать академический текст // Вопросы образования. 2011. С. 278.

8
Подробнее о проекте «Новые социальные неравенства в эпоху цифровизации» см. http://new-inequalities.tilda.ws/.

9
См., например, http://borinternat.ru/uploads/file/2.DIAGRAMMA-ISIKAVI.pdf.

10
ВКР Гуриной Дарьи, выпускницы ГАУГН.

11
ВКР Кобызева Максима, выпускника ГАУГН.

12
Европейское социальное исследование.

13
В научной работе необходимо везде делать ссылки на источники, которые вы приводите.

14
Текст получившейся статьи можно посмотреть здесь: Воронина Н. С. Отношение россиян к иммигрантам в период пандемии COVID-19 (2020–2021 гг.) // Социологическая наука и социальная практика. 2023. Т. 11. № 1. С. 104–123. DOI: https://doi.org/10.19181/snsp.2023.11.1.6. EDN: GIOGQE.

15
Полезные сайты для поиска литературы: https://scholar.google.ru/; http://sci-hub.ren/; https://www.researchgate.net/; https://www.academia.ed; https://elibrary.ru/defaultx.aspu/.

16
См., например, здесь: Воронина Н. С. Изменения, привносимые мигрантами, и их оценка россиянами (по данным Европейского социального исследования) // Общественные науки и современность. 2019. № 2. С. 160–169. DOI: 10.31857/S086904990004341-7.

17
Кулиичев А. П. Методы и средства комплексного анализа данных. ИНФРА-М, 2006. С. 114.

18
См. формулировки исследовательских гипотез, например, в статье: Черныш М. Ф. Справедливость заработной платы в российском контексте // Социологические исследования. 2014. № 8. С. 78–89. https://www.socis.isras.ru/files/File/2014/2014_8/Chernush.pdf.

19
Рабочая книга социолога / Под общ. ред. и с предисл. Г. В. Осипова. Изд. 5-е. – М.: Книжный дом «ЛИБРОКОМ», 2009. С. 128.

20
Кингсбургский А. В. Как провести учебное социологическое исследование (пособие для студентов социологических факультетов) // Официальный сайт ИC РАН. 2009. URL: http://www.isras.ru/publ.html?id=1276.

21
Рабочая книга социолога / Под общ. ред. и с предисл. Г. В. Осипова. Изд. 5-е. – М.: Книжный дом «ЛИБРОКОМ», 2009. С. 480. ISBN 978-5-397-00112-0.

22
Пример можно посмотреть: Воронина Н. С. Изменения, привносимые мигрантами, и их оценка россиянами (по данным Европейского социального исследования) // Общественные науки и современность. 2019. № 2. С. 160–169. DOI: 10.31857/S086904990004341-7.

23
European Social Survey. URL: https://www.europeansocialsurvey.org/ (acceded 20.10.2023).

24
World Value Survey. URL: https://www.worldvaluessurvey.org/wvs.jsp (acceded 20.10.2023).

25
Российский мониторинг экономического положения и здоровья населения НИУ ВШЭ. URL: https://www.hse.ru/rlms/ (acceded 20.10.2023).

26
The International Social Survey Programme. URL: https://issp.org/ (acceded 20.10.2023).

27
European Values Study. URL: https://europeanvaluesstudy.eu/ (acceded 20.10.2023).

28
Programme for International Student Assessment. URL: https://www.oecd.org/pisa/data/ (acceded 20.10.2023).

29
Банк социологических данных Института социологии РАН. URL: https://www.isras.ru/Databank.html (дата обращения: 20.10.2023).

30
Существует много литературы о том, как представить данные в различных программах, см., например: Мастицкий С. Э., Шитиков В. К. Статистический анализ и визуализация данных с помощью R. – М.: ДМКПресс, 2015. С. 496: цв. ил. ISBN 978-5-97060-301-7; Бурнаева Э. Г. Обработка и представление данных в MS Excel: Учебное пособие / Э. Г. Бурнаева, С. Н. Леора. Электрон. дан. – СПб.: Лань, 2018. С. 156.
Практикум по анализу данных в социологии в программе SPSS Наталья Воронина
Практикум по анализу данных в социологии в программе SPSS

Наталья Воронина

Тип: электронная книга

Жанр: Учебники и пособия для вузов

Язык: на русском языке

Издательство: ИД «Городец»

Дата публикации: 31.05.2024

Отзывы: Пока нет Добавить отзыв

О книге: Учебное пособие «Практикум по анализу данных в социологии в программе SPSS» Н. С. Ворониной, старшего научного сотрудника ИС ФНИСЦ РАН, представляет собой тщательно разработанное руководство по освоению анализа данных. Каждая из двенадцати глав посвящена определенному аспекту анализа данных, от базовых навыков до регрессионного и дискриминантного анализа, начинается с краткого введения, за которым следует пошаговая демонстрация соответствующих методов и процедур. Подробные объяснения в сочетании с практическими примерами позволяют читателям понять основные концепции и эффективно применять их в своих исследованиях.

  • Добавить отзыв