В начале лета один представитель прогрессивной интеллигенции, радостно приветствуя известный законопроект о Российской Академии наук, обронил: да эти академики и компьютер включить не могут. А включивши, надо думать, и не прочитают, главное-то в сети на английском (сколько о нашей языковой дремучести во всех блогах талдычили!).

Не будем об академиках, мы свое получили: теперь и остальная страна свое получит, в образовании и культуре уже получает, оборонка на очереди. Поговорим-ка о министре образования и науки и возглавляемом им Министерстве (МОН), которые как раз «свет образования и науки» безостановочно несут в массы. Тут и программа глобальной компьютеризации всей страны, и всеобуч английского, и много чего еще наворочено. По «Стратегии 2020» все поголовно к 2020 г. должны весьма fluently болтать и образование получать на языке передовых стран.

Темная и отсталая страна наша всенепременно опыт передовых стран должна не только знать, но и повсеместно применять. Ну что ж, давайте посмотрим на этот опыт в стране классического капитализма — Великобритании, стране притягательной для многих слоев нашего общества: кому-то особняки в Лондоне, кому-то всего лишь профессорские позиции в университетах. Последние находятся в стране туманного Альбиона под строгим контролем государственных органов. Раз в семь лет в Великобритании происходит оценка деятельности всех научных организаций. В настоящее время она совершается по результатам за период c 1 января 2008-го по 31 июля 2013 г.

Первое сообщение о предстоящей процедуре появилось в марте 2010 г., первый набросок правил оценки в июле 2011 г. Два месяца были даны на обсуждения и после учета многих предложений, в январе 2012 г. окончательный свод правил оценки (труд в 107 страниц, названный Research Excellence Framework) был вывешен на сайте www.ref.ac.uk. Прием материалов от организаций открыт в октябре 2012 г., окончание в ноябре 2013 г. Результаты оценки будут опубликованы в декабре 2014 г. Таковы у них темпы этого процесса.

Оценка представленных работ будет произведена комиссиями специалистов по 35 научным дисциплинам. Основным методом оценки является экспертиза дополнительно привлекаемыми специалистами.

Оцениваются группы исследователей (департаменты, лаборатории, etc). Эти группы представляют следующие данные части ее сотрудников, отобранных самой группой: по 4 избранных работы за 2008-2013 гг.;
приглашения на конференции, премии, почетные звания; приложения и общественное признание вне академической среды.

Основным методом аттестации является экспертная оценка качества результатов, выражаемая в баллах:

**** мировой лидер,
*** соответствует мировому уровню,
** принят в мире,
* национальный уровень,
- вне рассмотрения.

Опубликованные результаты оценки относятся к рассматриваемой группе исследователей в целом, а не к отдельным ее сотрудникам. Последствия оценки состоят в размере финансировании научной деятельности (грант на всю группу), предоставлении мест для аспирантов (graduate students), ставок для администраторов и т.п.

В эти же годы происходили изменения в оценке научной деятельности институтов и в нашей стране. В 2009 г. вышло постановление Правительства РФ о правилах оценки научной деятельности, в котором среди других формальных численных показателей появились библиометрические показатели (индекс цитирования и импакт-фактор журналов (Индекс цитирования научной работы равен числу ссылок на нее в других научных работах. Обычно учитываются ссылки не во всех работах, а ссылки из специально созданных баз данных. Поэтому индекс цитирования сильно зависит от принципов, положенных в основу таких баз данных. Наиболее известна Web of Science, активно внедряемая у нас стараниями МОН, хотя она и грубо искажает реальное положение для ряда областей российской науки. Импакт-фактор журнала за какой-то год равен среднему числу ссылок в течении этого года на все статьи этого журнала за два предыдущих года)).

Возникшие и развивавшиеся в наукометрии с середины прошлого века как средство внешнего изучения научного процесса, эти показатели уже в новом веке очень пришлись по вкусу чиновникам управляющим наукой. В самом деле, современная наука очень разрослась и даже представители одной науки с трудом понимают своих коллег. Что же говорить о чиновнике, имеющем о науке весьма общее представление, которому гораздо удобнее потребовать числовой показатель, для сравнения которых вполне достаточно знаний начальной школы.

Неудивительно, что многие представители научного сообщества забили тревогу, прекрасно понимая, что формальный подход к оценке результатов научного творчества выхолащивает его суть. Здесь проявляется известный в социологии закон Гудхарта. Как только вы начинаете оценивать какой-то содержательный процесс по формальному показателю, так довольно быстро целью процесса становится не та содержательная деятельность, которую он оценивает, а стремление любой ценой увеличить этот показатель. Миллионы людей в нашей стране ощутили эту закономерность на примере ЕГЭ, другого «достижения» МОН. Давление мировой бюрократии, однако, нарастает и научное сообщество некоторых, но далеко не всех наук сдает свои позиции (см. сб. переводов с английского «Игра в цыфирь», М., 2011; http//: www.mccme.ru/free-books/bibliometric.pdf, где подробно и ясно разобраны все стороны библиометрики).

В 2012 г. был сделан рейтинг вузов. В зависимости от формальных численных показателей вузы распределялись по этому рейтингу на три группы: лидеры в своей области, середняки и кандидаты на ликвидацию. В августе был объявлен список из 50 показателей, данные по ним собрали к октябрю, затем из них были отобраны 5 показателей, из которых лишь один имел отношение к науке, а именно: научная компонента деятельности вузов оценивалась по расходам на научно-исследовательские работы в расчете на одного преподавателя. Этим было откровенно продемонстрировано, что для чиновников научная и образовательная деятельность есть форма экономического поведения, в рамках которого эффективность института определяется так же, как эффективность бани или парикмахерской.

Результаты рейтинга появились в начале ноября, на апелляции давалось недели две, окончательный вердикт узнали в декабре. Таковы темпы у нас. Волна критики и протестов позволила немного сгладить наиболее одиозные последствия этого рейтинга, получившего в образовательной среде прозвище «гильотины как эффективного средства против мигрени».

Наконец, в развитие постановления, принятого в 2009 г., МОН предложил в текущем году проект новой методики оценки деятельности научно-исследовательских институтов. Началось все с объявления в 2012 г. конкурса на лучший проект по изготовлению системы оценки и мониторинга результатов научно-исследовательской деятельности организаций и отдельных ученых. Его выиграла не имеющая отношения к научной сфере консалтинговая и аудиторская фирма Price Waterhouse Coopers Russia, которая ранее не занималась вопросами, связанными с оценкой научной деятельности. Сумма контракта составила 100 млн. рублей (http://contests-mon.informika.ru/lot/9641/). Насколько нам известно, удовлетворительных результатов достигнуто не было и контракт был расторгнут.

Тем не менее, в августе 2013 г. в Российскую Академию наук поступил проект приказа МОН, включающий новую типовую методику такой оценки.

Данный документ предполагает оценку результативности деятельности научных организаций на основе 70 численных показателей (единицы измерения: штуки, рубли и люди). Значительное место здесь занимают библиометрические показатели (число публикаций, индекс цитирования, импакт-фактор журналов, в которых публикуются исследователи).

Как стало известно после заседания Совета по науке при Минобрнауки РФ, состоявшегося 10 сентября 2013 г., МОН (а теперь и созданное Агентство) планирует использовать такие подходы для оценки научной деятельности институтов РАН, распределяя их по все тем же трем группам. Также было заявлено о необходимости резкого (в несколько раз) сокращения численности научных сотрудников и закрытия институтов. Формальные показатели идеально подходят для этой цели.

Сравним теперь методику МОН, использующую формальную библиометрику с тем, как она же используется в Великобритании, благо сотрудники МОН, начиная с министра, неоднократно говорили нам о необходимости использовать передовой западный опыт.

Так вот, в Великобритании, эти данные разрешается использовать в рамках описанной выше процедуры оценки только в 11 дисциплинах (науки о земле, физика, химия, биология, медицина, экономика и ряд других) и то лишь в качестве вспомогательного средства. Это означает, что такие данные не могут служить основным показателем для определения научной значимости работы. Сначала работу оценивает эксперт, и не один, а потом, если неясно, можно и на цыфирки посмотреть.

Запрещается использовать любую библиометрику в 24 дисциплинах (математика, механика, инженерные науки и все гуманитарные науки).

Для всех дисциплин запрещено использовать какие-либо рейтинги журналов, где опубликованы работы, и прежде всего импакт-фактор журнала.

Последнее правило введено Научными Cоветами (Higher Education Funding Council) всех частей Соединенного Королевства, осуществляющими процедуру оценки, по требованию Комитета по науке и технологиям Палаты Общин британского парламента, сделанному еще в июле 2004 г. (http://www.publications.parliament.uk/pa/cm200304/cmselect/cmsctech/399/39912.htm).

И британские Советы почему-то не обратились к фирме PwC, своей, родной, и не предложили ей, скажем, 100 млн фунтов, чтобы получить какую-то суперсовременную методику, а прибегли к старой как мир системе экспертной оценки, по сути близкой и к тому как мы отчитывались в нашей стране все, в том числе и советские, годы.

Заметим, что все эти данные о работе британской системы оценки находятся с самого начала в открытом доступе в сети Интернет.

И самое главное. Там парламент, учитывающий мнение научного сообщества, а не воюющий с ним, запретил органам исполнительной власти использовать рейтинги журналов, пресловутый импакт-фактор. Способы его накрутить вненаучными средствами хорошо известны и используются все шире. Узнать об этом можно, например, из статьи «Гнусные цифры» проф. Д. Арнольда, возглавлявшего в 2009-2010 гг. Общество промышленной и прикладной математики (SIAM) («Игра в цыфирь», СС. 52-62).

Итак, мы видим, что наши адепты компьютеров и английского не удосужились посмотреть, что происходит у своих британских коллег. А надо-то было всего лишь включить компьютер, зайти на сайт организации родственного профиля и прочитать там текст, написанный, правда, по-английски.

Алексей Паршин математик, академик РАН, лауреат премии Гумбольдта

Источник: Блоги Радио ЭХО Москвы