Methods providing the evidence-based approach to and logical integrity of dissertations in professional education system

Full Text

ВВЕДЕНИЕ

Современная система профессионального образования развивается в условиях одновременного усиления требований к практической результативности и к научной обоснованности предлагаемых педагогических решений. Для исследований, выполняемых по проблематике профессионального образования (подготовка кадров, профессиональные компетенции, практико-ориентированные технологии, оценка результатов обучения), это означает необходимость предъявлять результаты в форме, допускающей проверку, воспроизводимость и экспертную оценку [1]. В отечественной системе аттестации научных кадров данная установка получила нормативное выражение в критериях доказательности диссертационных исследований в сфере наук об образовании, разработанных Российской академией образования и утверждённых в 2023 г. (критерии Российской академии образования и Высшей аттестационной комиссии — критерии РАО–ВАК)¹ [2]. Эти критерии опираются на требования ГОСТ Р 7.0.11–2011², регламентирующего структуру диссертации и автореферата, включая состав введения как методологического «каркаса» исследования.

Публикации, посвящённые внедрению критериев доказательности, подчёркивают их назначение: обеспечить единство экспертных подходов и повысить ответственность исследователя за методологическую корректность и проверяемость результатов [3, 4]. Вместе с тем практика научного руководства и экспертной оценки диссертационных исследований показывает, что значительная часть замечаний к диссертациям возникает не из-за отсутствия эмпирических данных как таковых, а вследствие методологических разрывов: несогласованности темы и предмета, подмены цели перечнем действий, «самостоятельной» гипотезы без задач её проверки, заявления новизны без доказательных результатов. Подобные дефекты описаны в работах отечественных методологов, таких как В.И. Загвязинский, З.К. Меретукова и др., анализирующих типичные ошибки диссертационных исследований [5–7].

В зарубежной методологической традиции близкая проблема обозначается через принцип согласованности (alignment) — требование согласованности исследовательских вопросов, целей, методов и ожидаемых результатов [8]. E. Barroga и G.J. Matanguihan показали, что качество исследовательских вопросов и гипотез определяет дизайн исследования и, в конечном счёте, значимость результатов [9].

В сфере профессионального образования риск методологических разрывов усиливается вследствие прикладной направленности исследований: автор стремится представить «продукт» (программу, технологию, модель, методику), однако не всегда обеспечивает его доказательную верификацию и логическое встраивание в структуру диссертационного замысла [10]. Это приводит к ситуации, когда практическая новизна декларируется, но не подтверждается валидной процедурой проверки или не соотнесена с задачами и положениями, выносимыми на защиту.

В обзоре рассмотрены методологические основания обеспечения доказательности и логической целостности диссертационного исследования в системе профессионального образования, а также предложен алгоритм экспертной проверки сквозной согласованности компонентов диссертации. Поставлены задачи:

• раскрыть нормативно-методологическую рамку доказательности (критерии РАО–ВАК; ГОСТ Р 7.0.11–2011);
• уточнить содержание логической целостности как требования к методологическому аппарату диссертации;
• систематизировать типовые методологические разрывы, препятствующие доказательности;
• представить алгоритм верификации доказательности и логической целостности, адаптированный к исследованиям в профессиональном образовании;
• обозначить возможности применения алгоритма в практике подготовки и экспертизы диссертаций.

ТЕОРЕТИКО-МЕТОДОЛОГИЧЕСКИЕ ОСНОВАНИЯ ДОКАЗАТЕЛЬНОСТИ И ЛОГИЧЕСКОЙ ЦЕЛОСТНОСТИ

Критерии доказательности РАО–ВАК фиксируют, что научная обоснованность педагогического исследования проявляется как в качестве полученных результатов, так и в корректности их получения и представления. Тем самым доказательность включает две взаимосвязанные стороны: (а) методическую — адекватность дизайна исследования, процедур, инструментария, объема эмпирической базы, способов обработки данных; (б) методологическую — непрерывность и непротиворечивость логической цепочки, связывающей замысел и результаты. Вторая сторона нередко недооценивается, хотя именно она обеспечивает прозрачность исследования для внешней экспертизы: эксперт должен видеть, из какой проблемы вытекает цель, какими задачами цель достигается и какие результаты доказательно подтверждают заявленную новизну [11].

ГОСТ Р 7.0.11–2011, задавая обязательные элементы введения, по сути, нормирует состав методологического аппарата диссертации: актуальность, степень разработанности, цель, задачи, гипотеза (при наличии), научная новизна, теоретическая и практическая значимость, методы, положения на защиту, достоверность и апробация результатов [3]. Критерии РАО–ВАК конкретизируют требования к каждому элементу: например, актуальность должна подтверждаться фактами, статистикой, нормативными документами и запросами практики; степень разработанности — конструктивно-критическим анализом отечественных и зарубежных источников с выделением «зазора»; новизна — сопоставлением с известными решениями и корреляцией с положениями на защиту; достоверность — обеспечением воспроизводимости и проверяемости выводов [3–5].

Логическая целостность в нашей работе понимается как системное свойство диссертационного исследования, выражающееся в согласованности и причинно-следственной связанности его компонентов. В практическом плане это означает соблюдение следующей методологической «оси»: тема — проблема — объект — предмет — цель — задачи — гипотеза — новизна — положения на защиту — выводы. Каждый последующий элемент должен: 1) быть содержательно вписан в предыдущий; 2) конкретизировать его; 3) быть структурирован и уточнен в тексте диссертации через методы и результаты. Нарушение любого звена приводит к методологическому разрыву и снижает доказательность независимо от объема проведённой работы.

Отечественные авторы, анализируя качество диссертаций, фактически описывают доказательность «от обратного» — через типовые дефекты. Так, В.И. Загвязинский выделяет работы с нарушением логики исследования, подменой научного анализа декларациями, утратой предмета, неадекватностью методов и «математическим камуфляжем» — внешне сложной статистикой без методического обоснования [6]. З.К. Меретукова указывает на морфолого-конструктивные ошибки: смешение и дублирование элементов методологического аппарата, несоответствие темы, объекта, предмета и гипотезы, несогласованность гипотезы с выводами и новизной [7]. Содержательно эти наблюдения совпадают с логикой критериев РАО–ВАК: исследование утрачивает доказательность, когда нарушена системность его методологического аппарата.

Сопоставим отечественный подход с международной установкой «alignment». В зарубежной методологии подчёркивается, что исследовательские вопросы / проблемное утверждение, цели, методы и анализ данных должны «выравниваться» относительно друг друга, иначе выводы оказываются невалидными. В частности, J.W. Creswell указывает, что формулировка целей задаёт структуру исследовательских вопросов, от которых (в количественных дизайнах) выводятся гипотезы, а затем определяется процедура сбора и анализа данных [8].

Для системы профессионального образования особое значение имеют два аспекта доказательности. Во-первых, результаты чаще имеют прикладную форму (модель подготовки, методика, программа, инструментарий оценки компетенций), поэтому критерий практической значимости приобретает не декларативный, а операциональный характер: должны быть представлены продукты, процедуры внедрения и условия переноса результатов в другие образовательные организации [12]. Во-вторых, доказательность требует соотнесения результатов с нормативным контекстом профессионального образования (включая требования Федерального закона «Об образовании в Российской Федерации»)³, поскольку именно этот контекст задаёт границы применимости и критерии эффективности предлагаемых решений. Эти особенности следует учитывать при построении алгоритма проверки доказательности.

СТРУКТУРНО-ЛОГИЧЕСКАЯ МОДЕЛЬ ДОКАЗАТЕЛЬНОГО ИССЛЕДОВАНИЯ

Опираясь на критерии РАО–ВАК и требования ГОСТ Р 7.0.11–2011, логическую целостность диссертационного исследования целесообразно рассматривать как систему проверяемых соответствий, представленных на рис. 1.

 

Рис. 1. Логическая целостность диссертационного исследования.

Fig. 1. Logical integrity of a dissertation.

 

В соответствии со схемой выделяются четыре ключевых уровня согласованности:

1. «Тема — предмет — цель»: формулировка темы должна содержательно отражать предмет исследования и ориентир на ожидаемый результат; цель конкретизирует тему в виде достижимого научного результата.
2. «Проблема — цель — задачи»: проблема задаётся как исследовательский вопрос (или противоречие), который разрешается через цель; задачи раскрывают способ достижения цели и структурируют основное содержание диссертации. После цели и задач формируется гипотеза как проверяемое предположение, вытекающее из проблемы и уточняющее механизм.
3. «Задачи — методы — данные — результаты»: гипотеза должна быть «покрыта» задачами, каждая задача должна быть обеспечена релевантными методами, описанной процедурой получения данных и фиксируемым результатом; именно этот уровень обеспечивает проверяемость и воспроизводимость исследования.
4. «Результаты — новизна — положения на защиту — выводы»: здесь фиксируется, подтвердилась ли гипотеза; научная новизна выводится из полученных результатов; положения на защиту обобщают ключевые результаты и в совокупности подтверждают достижение цели, что фиксируется в выводах.

Для инструментальной верификации целостности рекомендуется применять «матрицу соответствия», где по каждой задаче соотносятся: методы, тип / источник данных, результат, пункт новизны, положение на защиту и вывод в заключении. Наличие незаполненных элементов в такой матрице выступает признаком методологического разрыва и требует уточнения замысла либо корректировки текста диссертации.

Таким образом, структурно-логическая модель доказательного исследования может быть представлена как сквозной контроль соответствий от замысла до результатов. В следующем разделе эта модель операционализируется в виде пошагового алгоритма экспертной верификации.

АЛГОРИТМ ВЕРИФИКАЦИИ МЕТОДОЛОГИЧЕСКОЙ ЦЕЛОСТНОСТИ И ДОКАЗАТЕЛЬНОСТИ ИССЛЕДОВАНИЯ

Алгоритм верификации методологической целостности и доказательности исследования представляет собой последовательность из 16 шагов, сгруппированных в пять блоков проверки. Он предназначен для применения на стадиях проектирования диссертации, подготовки введения и последующей экспертизы текста. При его разработке учтены нормативные требования к структуре диссертации, критерии РАО–ВАК и типология методологических ошибок, описанная в отечественной литературе [5–7, 13].

Как показано на рис. 2, первичная верификация начинается с того, что устанавливается сама возможность экспертной проверки. В блоке 0 оценивается, представлен ли «пакет доказательств», позволяющий проследить ход исследования от замысла до выводов. Если в тексте отсутствуют ключевые элементы, обеспечивающие проверяемость и воспроизводимость (методологический аппарат во введении, описание методов/этапов, результаты и подтверждающие материалы), это рассматривается как «красный флаг» — индикатор повышенного риска методологического разрыва, когда заявленные положения невозможно подтвердить по тексту и приложениям.

 

Рис. 2. Структурно-логическая модель обеспечения доказательности и целостности диссертационного исследования (блоки 0–1).

Fig. 2. Structural and logical model ensuring the evidence-based approach to and integrity of dissertation (sections 0–1).

 

После этого блок 1 направлен на проверку сквозной согласованности замысла. На шаге 1 анализируется «логическая ось» тема — проблема — предмет/цель: в формулировке темы должны читаться предмет исследования и целевой результат, а в тексте — присутствовать именно научная проблема (исследовательский вопрос / противоречие), а не только обозначение широкой области. Если тема размыта, чрезмерно общая или, напротив, не оставляет пространства для новизны, это выступает «красным флагом», поскольку далее неизбежно нарушается согласованность цели и задач.

Далее логика уточняется через шаг 2, где актуальность должна быть доказана фактами, нормативными основаниями и запросом практики; иначе актуальность превращается в декларацию, что ослабляет обоснование проблемы. На шаге 3 степень разработанности рассматривается не как обзор ради обзора, а как конструктивно-критический анализ, который выводит к научному «зазору». Отсутствие такого вывода — ещё один «красный флаг», поскольку цель и задачи оказываются методологически не мотивированы. Завершает блок шаг 4: противоречия и исследовательский вопрос должны логично вытекать из актуальности и разработанности, формируя основу для цели и задач. Если противоречия вводятся без опоры на предшествующий анализ или проблема не поддаётся операционализации через задачи и методы, это означает риск утраты доказательной цепочки уже на стартовом уровне.

Второй блок алгоритма направлен на уточнение границ исследования, то есть на проверку корректности соотношения объекта и предмета как базовых категорий методологического аппарата (рис. 3).

 

Рис. 3. Структурно-логическая модель обеспечения доказательности и целостности диссертационного исследования (блок 2).

Fig. 3. Structural and logical model ensuring the evidence-based approach to and integrity of dissertation (section 2).

 

На шаге 5 анализируется формулировка объекта исследования. Он должен обозначать широкую педагогическую реальность (процесс, систему, деятельность), внутри которой располагается предмет. Объект задаёт контекст и масштаб исследования, но не может подменяться ожидаемым результатом, технологией или методом. Если объект сформулирован как итог работы либо как частная методика, это является «красным флагом», указывающим на смещение логических уровней и искажение структуры исследования.

На шаге 6 проверяется корректность определения предмета исследования. Предмет представляет собой конкретный аспект объекта, выбранный для детального изучения, и должен сохранять один смысловой фокус. Недопустимо, чтобы предмет выходил за пределы объекта или объединял несколько несвязанных феноменов, поскольку в этом случае размываются границы анализа и теряется управляемость замысла. Подобные ситуации также выступают «красными флагами», сигнализирующими о нарушении методологической целостности уже на уровне базовых понятий.

Таким образом, второй блок обеспечивает строгость рамок исследования: объект задаёт пространство, предмет — фокус внутри него; любое рассогласование между ними ставит под сомнение корректность последующей формулировки цели, задач и результатов.

В блоке «Проверка проектной логики» оценивается корректность проектирования исследования (рис. 4). На шаге 7 проверяется, что цель выведена из проблемы как ожидаемый научный результат, реалистична и не подменяет отдельную задачу. На шаге 8 уточняется, что задачи являются необходимыми и достаточными шагами достижения цели, формулируются через результативные действия («выявить», «обосновать», «разработать», «доказать», «проверить») и соотносятся со структурой глав. На шаге 9 анализируется гипотеза (если она заявлена): она должна быть проверяемым предположением, связанным с целью и задачами, при обязательном наличии задач и методов, обеспечивающих её проверку.

 

Рис. 4. Структурно-логическая модель обеспечения доказательности и целостности диссертационного исследования (блок 3).

Fig. 4. Structural and logical model ensuring the evidence-based approach to and integrity of dissertation (section 3).

 

Четвертый блок направлен на проверку методического обеспечения и воспроизводимости (рис. 5). Он включает в себя шаг 10: этапы исследования (каждый этап связан с задачами, методами и промежуточными результатами); шаг 11: методологические основы (подходы непротиворечивы и раскрыты инструментально; что именно задают для процедур и интерпретации); шаг 12: методы (соответствие задачам; описан дизайн, выборка, процедуры, инструментарий, валидность/надежность, способы обработки данных; при количественных данных — статистические критерии).

 

Рис. 5. Структурно-логическая модель обеспечения доказательности и целостности диссертационного исследования (блок 4).

Fig. 5. Structural and logical model ensuring the evidence-based approach to and integrity of dissertation (section 4).

 

В логике проверки результатов как доказательств, представленной на рис. 5, данный блок фиксирует, может ли исследование быть воспроизведено и проверено на основе описания процедур. Для этого на шаге 10 устанавливается, что этапы исследования не являются формальными, а последовательно обеспечивают решение задач, связывая их с конкретными методами и промежуточными результатами. Далее на шаге 11 оценивается, насколько методологические основы заданы не декларативно, а инструментально: выбранные подходы должны быть непротиворечивыми и определять требования к процедурам, сбору данных и интерпретации. Завершает блок шаг 12, где проверяется методическая проработка: методы должны соответствовать задачам и сопровождаться описанием дизайна, выборки, процедур и инструментария, а также указанием параметров валидности/надёжности и способов обработки данных (в том числе статистических критериев при количественных измерениях).

Структурно-логическая модель алгоритма, представленная на рис. 2–6, в отличие от описательных чек-листов, фиксирует причинно-следственный порядок проверки: от наличия доказательной базы и логики замысла к оценке методического обеспечения и, наконец, к верификации новизны и защищаемых положений.

 

Рис. 6. Структурно-логическая модель обеспечения доказательности и целостности диссертационного исследования (блок 5).

Fig. 6. Structural and logical model ensuring the evidence-based approach to and integrity of dissertation (section 5).

 

ОСОБЕННОСТИ ПРИМЕНЕНИЯ АЛГОРИТМА В СИСТЕМЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

Применение алгоритма в исследованиях профессионального образования целесообразно рассматривать как средство снижения рисков «практико-ориентированной декларативности», когда разработанный продукт (модель, программа, методика) описан, но не доказан. В этом контексте алгоритм позволяет уточнить три критически важных позиции.

Во-первых, на шаге 2 (актуальность) и шаге 4 (проблема) требуется не только описать педагогическую значимость, но и связать исследовательский вопрос с нормативным контекстом подготовки кадров: требованиями федеральных государственных образовательных стандартов, профессиональными стандартами, запросами отрасли и работодателей. Такая связка повышает адресность исследования и делает его результаты сопоставимыми с реальными критериями качества подготовки.

Во-вторых, на шагах 10–12 (этапы, основы, методы) необходимо обеспечивать воспроизводимость процедур в условиях разных организаций профессионального образования. Для этого в диссертации должны быть представлены описание выборки (контингент обучающихся, профиль подготовки), параметры образовательной среды, протоколы внедрения методики, инструментарий оценки (в приложениях), а также правила интерпретации результатов. Именно воспроизводимость выступает ключевым условием переноса практических решений.

В-третьих, на шагах 13–16 алгоритм позволяет разделить «новый продукт» и «новое знание». Для диссертаций в профессиональном образовании характерна ситуация, когда продукт очевиден (например, программа модуля), но не раскрыто, что именно является новым научным результатом: закономерность, модель, условия эффективности, критерии оценивания. «Матрица соответствия» заставляет фиксировать, какие данные подтверждают эффективность продукта, какая задача была решена, какой пункт новизны из этого вытекает и в каком положении это выносится на защиту.

Таким образом, алгоритм может применяться как инструмент самоконтроля исследователя, как «карта» для научного руководителя при сопровождении аспиранта и как унифицированная процедура экспертной оценки методологического аппарата.

ОБСУЖДЕНИЕ

Предложенный подход соотносится с критериями РАО–ВАК как с нормативной рамкой, но при этом расширяет их в инструментальном отношении: критерии задают требования, тогда как алгоритм задаёт порядок их проверочной верификации и позволяет локализовать методологический разрыв. С методологической точки зрения алгоритм реализует принцип сквозной согласованности, близкий международному «alignment», но адаптирует его к структуре отечественной диссертации (объект — предмет — цель — задачи) и к требованиям оформления и аттестации [4–6].

Ограничением алгоритма является его зависимость от полноты представления материалов: при дефиците приложений, описания процедур или данных он фиксирует «пустые места», но не заменяет содержательную экспертизу научной новизны. Перспективным направлением представляется цифровизация процедуры через шаблоны матрицы соответствия и автоматизированные подсказки по типовым несоответствиям, что особенно востребовано в массовой подготовке кадров для системы профессионального образования.

ЗАКЛЮЧЕНИЕ

Доказательность диссертационного исследования в системе профессионального образования обеспечивается сочетанием методической корректности и методологической целостности. Критерии РАО–ВАК и требования ГОСТ Р 7.0.11–2011 задают нормативные ориентиры качества, однако их практическая реализация требует инструментов сквозной проверки. В статье обосновано понимание логической целостности как системного свойства, выраженного в согласованности цепочки «тема — проблема — объект — предмет — цель — проблема/задача — гипотеза — новизна — положения — выводы», и предложен 16-шаговый алгоритм верификации доказательности, представленный в виде блок-схемы.

Применение алгоритма позволяет выявлять методологические разрывы на ранних стадиях проектирования и подготовки диссертации, повышать прозрачность и воспроизводимость исследований, а в профессиональном образовании — обеспечивать доказательное обоснование практико-ориентированных продуктов и их соотнесение с нормативным контекстом. Тем самым алгоритм может рассматриваться как средство повышения качества диссертационных исследований и объективизации экспертных процедур.

ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ

Вклад авторов. М.С. Образцов — определение концепции, работа с данными, написание черновика рукописи, пересмотр и редактирование рукописи; В.А. Исламов — руководство исследованием, валидация, пересмотр и редактирование рукописи. Все авторы одобрили рукопись (версию для публикации), а также согласились нести ответственность за все аспекты настоящей работы, гарантируя надлежащее рассмотрение и решение вопросов, связанных с точностью и добросовестностью любой её части.

Источники финансирования. Отсутствуют.

Раскрытие интересов. Авторы заявляют об отсутствии отношений, деятельности и интересов за последние три года, связанных с третьими лицами (коммерческими и некоммерческими), интересы которых могут быть затронуты содержанием статьи.

Заявление об оригинальности. При проведении исследования и создании настоящей статьи авторы не использовали ранее полученные и опубликованные сведения (данные, текст, иллюстрации).

Доступ к данным. Все данные, полученные в настоящем исследовании, представлены в статье.

Генеративный искусственный интеллект. При создании настоящей статьи технологии генеративного искусственного интеллекта не использовались.

Рассмотрение и рецензирование. Настоящая работа подана в журнал в инициативном порядке и рассмотрена по обычной процедуре. В рецензировании учувствовали член редакционной коллегии и научный редактор издания.

ADDITIONAL INFO

Author сontributions: M.S. Obraztsov: conceptualization, data curation, writing—original draft, writing—review & editing, manuscript review and editing; V.A. Islamov: supervision, validation, writing—review & editing. All the authors approved the version of the manuscript to be published and agreed to be accountable for all aspects of the work, ensuring that questions related to the accuracy or integrity of any part of the work are appropriately investigated and resolved.

Funding sources: No funding.

Disclosure of interests: The authors have no relationships, activities, or interests for the last three years related to for-profit or not-for-profit third parties whose interests may be affected by the content of the article.

Statement of originality: No previously obtained or published material (text, images, or data) was used in this study or article.

Data availability statement: All data obtained in this study are available in this article.

Generative AI: No generative artificial intelligence technologies were used to prepare this article.

Provenance and peer-review: This paper was submitted unsolicited and reviewed following the standard procedure. The peer review process involved a member of the Editorial Board and the in-house science editor.

 

¹ Рекомендации Президиума ВАК при Минобрнауки России от 21.04.2023 № 12/2-разн. «О критериях доказательности диссертационных исследований в сфере наук об образовании» (утв. Президиумом РАО 23.03.2023 № 2/1).

² ГОСТ Р 7.0.11–2011. Диссертация и автореферат диссертации. Структура и правила оформления.

³ Федеральный закон от 29.12.2012 № 273-ФЗ «Об образовании в Российской Федерации».

About the authors

Vladimir A. Islamov

Kirov Military Medical Academy

Email: isvdv@mail.ru
ORCID iD: 0009-0003-5615-8835
SPIN-code: 4685-1472

Dr. Sci. (Pedagogy), Professor

Russian Federation, Saint Petersburg

Mikhail S. Obraztsov

Kirov Military Medical Academy

Author for correspondence.
Email: mikhailvifk@mail.ru
ORCID iD: 0009-0003-3767-6012
SPIN-code: 4548-9446

Cand. Sci. (Pedagogy)

Russian Federation, Saint Petersburg

References

Supplementary files