Как оценить качество публикации? Автор статьи Йоахим Мюллер-Юнг пытается найти пути решения этой проблемы, снабжая свое повествование «живыми» примерами. Однако путь этот оказывается тернистым.

Коллективный сбой? То, что отличает хороших исследователей от плохих, вряд ли можно надежно оценить при помощи системы цитирования, факторов влияния и рецензий коллег.

Основываясь на голом числе публикаций, вряд ли можно определить, что наука в кризисе. Согласно статистическим данным, каждые 20 секунд публикуется одна научная статья. Тот, кто знает, сколько работы уходит на одну публикацию с участием нескольких авторов, скажем, по астрофизике или молекулярной биологии, тот удивится такой высокой продуктивности, особенно если исходить из хорошего качества работ. Отделять зерна от плевел – это, скажете Вы, рутина для ученых. Также как можно было бы предположить, что апелляционные комиссии, спонсорские организации и жюри конкурсов довольно просто могут отличить хорошего ученого от середнячка. Но не тут-то было.

Если коснуться дискуссий последних лет о том, как можно надежнее всего измерить качество публикуемых материалов, быстро возникают сомнения. И виновен в этом не только поток новых сомнительных журналов, большинство из которых не имеют открытый доступ и обещают потенциальным авторам и спонсорам быструю — и якобы гарантирующую защиту качества — публикацию материалов. Если коснуться вопроса о том, достиг ли своего предела метод рецензирования работ как надежный инструмент, использующийся на протяжении веков, тут же закрадываются сомнения. С одной стороны, все чаще попадаются такие случаи как с физиком-обманщиком Яном Хендриком Шеном (Jan Hendrik Schön), который более десяти лет публиковался в признанных журналах Nature и Science и, по всей видимости, сумел обойти все механизмы безопасности. Есть также статьи, которые в первые недели после публикации активно цитируются, а спустя год будто забываются, потому что их тезисы опровергаются. Но есть и оригинальные статьи, например, Грегора Менделя (Gregor Mendel), которые на протяжении нескольких лет будто не замечаются, но, в конце концов, приводят к смене парадигмы в науке. Другими словами: Распознать, что является выдающейся статьей,  — это тяжелейшая работа в научной сфере. Потому что, в конце концов, от этой оценки зависит не только слава и размер гонорара отдельного исследователя, но и целые институты с сотнями или тысячами сотрудников.
То, что введение различных статистических, то есть библиометрических методов оценки, например, факторов влияния журналов и цитируемость не решило в целом проблему, отражается не в последнюю очередь в растущем количестве новых концептов и идей, которые лишь частично исходят из соответствующих дисциплин – библиометрии или наукометрии. Подобный подход появился около десяти лет назад в биологии и позднее в медицине с основанием сайта научных публикаций Faculty of 1000. Несколько тысяч исследователей со всего мира дают определения, оценивают, комментируют, по их мнению, самые важные публикации и создают из них банк данных. Статьи в банке данных могут быть помечены как «рекомендованные», «необходимые к прочтению» или «выдающиеся». По мнению критиков, данный подход является хотя и дополнительным, но субъективным методом оценки.

Наибольшую пользу сайт приносит необязательно благодаря защите качества статей, говорит основатель ресурса F1000 Витек Трач (Vitek Tracz) репортеру издания Science. Это сокровищница. Исследователи из смежных дисциплин ищут в банке данных важнейшие публикации за пределами их профессиональной области. Контроль качества не является  моделью бизнеса, потому что основные идеи сосредоточены в новых проектах, таких как F1000Research. За счет быстрой проверки качества редакторами он позволяет быстро публиковать исследования и рецензии на них с указанием имен рецензентов. Долгие, затяжные и нервирующие методы анонимного рецензирования, а авторы отзывов, как правило, являются конкурентами в этой сфере, отпадают. Вместо того, говорится в блоге F1000, некоторые статьи сразу оцениваются в банке несколькими рецензентами, что должно положительно сказаться на качестве.

Но действительно ли все так происходит? Двое ученых решили опробовать этот метод и проверить альтернативные методы оценки. Биолог Адам Эйр-Волкер (Adam Eyre-Walker) из университета Сассекса в Брайтоне вместе со своей коллегой из Ганновера Ниной Столецки (Nina Stoletzki) взяли для исследования 5811 публикаций, находящихся с 2005 года в банке F1000. Более 1300 статей были рецензированы более чем одним ученым. Также для исследования были взяты 716 докладов из британского банка Welcome Trust, которые также подвергались рецензированию после публикации в классических журналах. Список цитируемости каждой из более 6500 статей в течение шести лет после их опубликования прослеживался при помощи Google Scholars. Результат: «Ни один из рассмотренных критериев оценки не является надежным. Прежде всего, субъективный метод оценки, осуществляемый коллегами, таит в себе много ошибок и является дорогостоящим». Другими словами: Эксперты всегда допускают ошибку, когда им приходится оценивать значение труда своего коллеги. Если двое высокоуважаемых коллег оценивают одну и ту же статью, они максимум в половине случае приходят к одному и тому же результату. «В статистическом плане это не лучше, чем случайное совпадение», — таково резюме обоих исследователей в их работе, опубликованной в Plos Biology.