04.10.2013: Рекомендации совета по науке при Минобрнауки по проведению экспертизы в рамках конкурсов по ФЦП

| Скачать текст (pdf) |

Основные участники

Министерство образования и науки. Формирует условия Конкурсов, утверждает состав Научного координационного совета (НКС) Федеральной целевой программы (ФЦП), назначает Конкурсные комиссии, Дирекцию и Экспертную организацию.

НКС принимает решения о победителях конкурсов по всем мероприятиям, опираясь на результаты экспертизы заявок, а также о целесообразности продолжения проектов по результатам экспертизы отчетов.

Конкурсные комиссии. Обеспечивают проведение конкурсных процедур по отдельным мероприятиям ФЦП.

Дирекция. Осуществляет организационно-техническое сопровождение конкурсов.

Экспертная организация. Осуществляет организационно-техническое обеспечение проведения экспертизы по существу.

Пул экспертов. Научное сообщество, из которого подбираются эксперты для проведения экспертизы по существу. Формируется экспертной организацией согласно требованиям, определенным Советом по науке. Число экспертов должно позволять проводить регулярную ротацию экспертов.

Совет по науке. Основной орган общественного контроля. Рассматривает все нормативные документы, которые необходимы для проведения Конкурсных процедур, участвует в формировании пула экспертов, выборочно рассматривает итоги Экспертизы, на основе чего дает рекомендации по совершенствованию нормативной документации и пула экспертов.

Основные принципы проведения экспертизы

Проведение конкурсов и научной экспертизы происходит открыто и прозрачно, что достигается использованием следующих принципов:

• заблаговременное объявление конкурса;
• однозначные и четкие правила подачи заявок;
• публикация списков заявок, поданных на конкурс, включая краткую аннотацию;
• публикация списков допущенных к участию в конкурсе и победителей;
• публикация результатов экспертизы (количественной оценки) всех заявок;
• профессионализм экспертов (привлечение к экспертизе специалистов, авторитет которых в соответствующих областях подтверждается публикациями в рецензируемых научных журналах и высоким уровнем цитирования);
• отсутствие конфликта интересов при экспертизе;
• заранее опубликованные экспертная анкета и критерии оценки;
• возвращение экспертных отзывов победителям;
• соответствие глубины и времени проведения экспертизы уровню конкурса;
• использование современных электронных технологий.

Виды экспертизы и роли участников

Первичную экспертизу документов на соответствие формальным требованиям (условиям конкурса, требованиям к отчетной документации…) обеспечивает Дирекция.

Экспертизу на повторяемость тематик обеспечивает Дирекция. В спорных и сложных случаях Дирекция обращается за помощью в соответствующую экспертную группу Совета по науке.

Экспертизу доступности выделения заявленных ресурсов для целей научного проекта обеспечивает Дирекция.

Оценку надежности заявителя, в том числе на основе данных предыдущих конкурсов, обеспечивает Дирекция.

Финансовую экспертизу заявки и отчетных материалов обеспечивает Дирекция.

Экспертизу по существу заявленных научных результатов технически организует Экспертная организация.

Требования к проведению экспертизы

Совет по науке определяет общие требования к проведению экспертизы экспертными организациями, вырабатывает критерии оценки заявок. Совет по науке формирует экспертные группы по направлениям науки (Note: сейчас их 12 согласно исходной установке Министерства, отнесение их полномочий к тем или иным областям знаний или технологическим направлениям будет определяться Советом), функционирующие на ротационной основе, в обязанности которых входит осуществление контроля за процедурой назначения экспертов и процедурой проведения экспертизы.

В том числе, Совет по науке утверждает следующие документы и осуществляет следующие функции:

1. Требования к экспертам (единые для всех мероприятий одной ФЦП или специализированные по областям знаний или технологическим направлениям, разрабатываются Советом, при необходимости привлекаются Экспертные группы Совета);
2. Списки экспертов по направлениям науки (готовятся экспертной организацией, Совет имеет право дополнять и вносить коррективы);
3. Критерии оценки заявок на конкурсы (единые для всех мероприятий одной ФЦП или специализированные по областям знаний или технологическим направлениям, разрабатываются Советом, при необходимости привлекаются Экспертные группы Совета);
4. Форму экспертных анкет и методические указания по экспертизе (разрабатываются Советом, при необходимости привлекаются Экспертные группы Совета);
5. Формы для заполнения участниками конкурса (разрабатываются Министерством, корректируются Советом, при необходимости привлекаются Экспертные группы Совета);
6. Формы отчетной документации (разрабатываются Министерством, корректируются Советом, при необходимости привлекаются Экспертные группы Совета);
7. Лица, уполномоченные Советом, осуществляют тестирование электронной системы подачи заявок на конкурсы;
8. Для оценки эффективности экспертизы, члены Совета и Экспертных групп Совета имеют право знакомиться с поданными заявками и экспертными заключениями (с обязательным условием отсутствия конфликта интересов).
9. В случае радикального расхождения экспертных оценок какой-либо заявки, либо в иных спорных ситуациях, Экспертные группы Совета осуществляют окончательную экспертизу заявки.

Формирование и ведение Пула экспертов

Для проведения экспертизы по существу формируется Пул экспертов – список ученых и специалистов, которые могут быть привлечены к экспертизе.

Пул экспертов должен пополняться на регулярной основе, актуализация включенных в него экспертов производится каждые три года.

Требования к экспертам Пула экспертов определяются Советом по науке. При формировании пула экспертов в области гражданских исследований рекомендуется учитывать не только наличие ученой степени кандидата наук, доктора наук или PhD, полученную в одном из ведущих иностранных университетов, но и количество публикаций (общее и за последние 5 лет) в научных журналах, индексируемых Web of Science или MatSciNet, индекс цитирования (общий и за последние 5 лет), индекс Хирша. Соответствующие параметры определяются Советом по науке в зависимости от специфики направления.

Для экспертизы заявок и отчетов крупных комплексных проектов (Мероприятие 1.4) Экспертная организация формирует Пул зарубежных экспертов на основе тех же требований, что и Пул российских экспертов и разрабатывает процедуры их привлечения.

Экспертная организация заключает договор с экспертами Пула экспертов о проведении экспертизы. Договор включает в себя обязательство проводить экспертизу в рамках программы. В договоре обязательно оговариваются условия отказа от экспертизы, которые могут включать невозможность проведения экспертизы по объективным причинам (болезнь, командировка и т.п.), некомпетентность эксперта в теме проекта. Кроме того, каждый эксперт обязуется отказываться от экспертизы при возникновении конфликта интересов. Критерии возникновения ситуации конфликта интересов разрабатывает Совет по науке.

Пул экспертов структурируется по направлениям. Количество экспертов, задействованных по каждому направлению, регулируется в соответствии с количеством поданных заявок.

Экспертная организация

В роли экспертной организации может выступать любая организация, обеспечивающая выполнение требований к проведению экспертизы. Научно-координационный совет анализирует возможности экспертной организации обеспечить требования к проведению экспертизы и принимает решение о ее привлечении к организации проведения экспертизы по конкурсам программы.

Выбранная экспертная организация получает от Министерства образования и науки примерный план проведения конкурсных процедур на следующий год. На основе этой информации подбираются Кураторы по направлениям. Требования к Кураторам по направлениям определяются Советом по науке.

Персональный состав кураторов утверждается Советом по науке.

Куратор по направлению работает в тесном взаимодействии с экспертной группой Совета по науке по направлению.

Экспертная организация и Дирекция определяют регламент взаимодействия при проведении экспертизы.

Экспертная организация отвечает за техническую процедуру проведения экспертизы.

Контроль качества проведения экспертизы обеспечивает Совет по науке. Для обеспечения контроля качества Экспертная организация предоставляет Совету по науке исчерпывающую информацию о регламенте проведения экспертизы, экспертных заключениях по документам, раскрывает сведения о персональном составе экспертов, привлеченных для проведения конкурсов.

Совет по науке может поставить перед Минобрнауки вопрос об отказе от услуг Экспертной организации в случае ее неудовлетворительной работы.

Процедура экспертизы

Дирекция направляет документы на проведение экспертизы Экспертной организации.

Куратор по направлению с помощью информационной системы определяет список экспертов из Пула экспертов для проведения экспертизы. Кураторы по направлениям имеют право изменять список экспертов, подготовленный автоматически, однако каждое решение должно быть мотивировано (отказ выбранного эксперта от экспертизы заявки; ошибка электронной системы при определении соответствия научного направления заявки и специализации эксперта; вскрытие не зафиксированного в автоматическом режиме конфликта интересов и т.д.). Мотивировки замены эксперта должны храниться в системе в течение не менее 3 лет.

Экспертная организация обеспечивает первичную рассылку экспертам кратких сведений (название и аннотация), для получения согласия экспертов на проведение экспертизы.

В случае согласия, экспертная организация передает экспертам материалы для проведения экспертизы и обеспечивает контроль сроков подготовки ими заключения.

Куратор с помощью информационной системы обеспечивает сбор экспертных заключений и обобщение результатов экспертизы.

Результаты экспертизы обсуждаются на панели Конкурсной комиссии по данному направлению, которая и формирует финальный рейтинг поданных заявок.

Финальный рейтинг поданных заявок вместе с таблицей полученных ими баллов, передаются Дирекции. Дирекция передает результаты в НКС для принятия окончательного решения.

Информационно-техническое обеспечение экспертизы

Подача заявок на проведение экспертизы проводится через специализированную электронную систему, включающую информационно-программный комплекс для передачи документов Дирекцией на проведение экспертизы, проведения дистанционной экспертизы, подготовки экспертных заключений, передаче результатов экспертизы Дирекции. Данная система обеспечивает, в том числе:

• возможность равномерного (обеспечивающего, в целом, одинаковую нагрузку на экспертов) автоматизированного распределения заявок по экспертам, исходя из указанных ими кодов классификатора и ключевых слов;
• мониторинг корректирующих действий кураторов экспертной организации при автоматизированном распределении заявок;
• дистанционную экспертизу документов (рассылку запросов на проведение экспертизы, предупреждений об окончании сроков проведения экспертизы и т.д.).

Также данная система должна обеспечивать возможность автоматического контроля конфликта интересов. Система не должна направлять заявки экспертам, работающим в том же учреждении, что и заявитель, а также эксперту, который в течение последних 5 лет был соавтором заявителя (на основании представленной экспертом или заявителем информации о публикациях или по данным Web of Science или MatSciNet). Данная система должна обеспечивать рецензирование отчетов по отдельному проекту по возможности тем же составом экспертов, который рецензировал заявку по данному проекту.

При проведении массовых конкурсов (конкурсов, по итогам которых предполагается одновременное выделение 10 и более грантов) использование автоматизированного распределения заявок по экспертам является обязательным.

Информационная открытость Конкурса

На своем сайте Дирекция размещает информацию:

• о проводящихся Конкурсах (условия, сроки проведения и т.п.);
• о поданных заявках (название проекта, ФИО руководителя);
• о рейтинге поданных заявок по результатам независимой экспертизы (количество баллов, которые набрала заявка);
• о результатах рассмотрения заявок конкурсной комиссией (количество баллов, которые набрала заявка);
• о победителях Конкурсов;
• краткие аннотационные отчеты (состав которых НКС Федеральной целевой программы согласует с Советом по науке) по завершившимся Конкурсам.

Вся информация размещается строго в машиночитаемом виде.

Контроль за проведением экспертизы

Конкурсная комиссия отвечает за выявления конфликтов интересов и случаев воздействия на Экспертов или Кураторов. НКС Федеральной целевой программы рассматривает поступившую информацию до проведения процедуры оценки заявок или отчетов. НКС Федеральной целевой программы предоставляет ежегодный доклад в Совет по науке, в котором, в частности, предлагает меры по усовершенствованию процедуры Конкурсов, повышению их прозрачности и открытости.