Одна из моих коллег при обсуждении первой части поделилась со мной историей из жизни:

Who is Jane?

SPL
Мне кажется, что такая программа идеально подходит на роль автоматического редактора. Она сможет проверить тематические категории и ключевые слова, а также найти ревьюеров.
Автор статьи загружает манускрипт на сервер, программа находит подходящих рецензентов, отправляет им электронные письма. Рецензенты проверяют статью, выносят решение, отмечают статус статьи на сайте, а необходимые комментарии отправляют авторам. По результатам исправлений рецензенты разрешают публикацию статьи и выставляют ей оценку.
Таким образом, мы по цене архива препринтов получаем рецензируемый журнал!
Это не все функции, которые я бы хотел предложить, но это самая основная идея. К ней легко добавить дополнительный необходимый функционал. Давайте посмотрим, как может такой сервис выглядеть в подробностях.
Подробности
Замечания по формату
Сервис должен быть доступен всем, любые документы должны быть в открытом доступе.
Мне очень нравится концепция журнала F1000Research, которую я уже упоминал ранее. Поэтому сразу после загрузки текст становится доступен в виде препринта. При этом специально указывается, что рецензия еще не прошла. После рецензии статус статьи меняется на рецензированную статью.
Обычно, статья состоит из нескольких разделов, часто представляющих собой разные гипотезы, эксперименты или части работы. Мне кажется полезным добавить ключевые слова к таким разделам и даже отдельным экспериментам, чтобы упростить поиск по ним. Также стоит указывать авторов, которые этот эксперимент проводили и анализировали.
К каждому эксперименту указывается ссылка на использованные методы, которые описываются со ссылками на полные протоколы. Такие протоколы можно публиковать отдельно на специальных сайтах (например, protocols.io).
Все данные обязательно выкладываются на независимые сервисы. Ссылки связывают каждый эксперимент с конкретными файлами результатов.
Для большего контроля и воспроизводимости можно добавить требование открывать доступ к электронному лабораторному журналу по проекту (примером такого журнала может служить benchling). Сейчас это не требует никаких усилий, но может значительно уменьшить фальсификации, улучшить описание экспериментов. Однако электронные лабораторные журналы еще не стали стандартом, поэтому в данный момент требование может быть слишком строгим.
Указывать ссылки на другие статьи разных типов. То есть теперь не просто будут считаться цитирования статьи, а некоторые цитирования будут указаны как упоминания, некоторые как основа для исследования, а некоторые цитируются, чтобы указать на противоречия. Разные типы цитирования будут давать разный вклад в оценку цитируемой статьи. Упоминания и основные ссылки можно определять автоматически (по числу цитат в статье). Интересный подход к различным типам ссылок описан вот в этой статье, а я более подробно обсужу это ниже.
Добавить цитирование конкретных разделов статей (хотя бы для внутренних ссылок). То есть когда вы цитируете другую статью вы указываете, в каком разделе этой статьи находится нужная информация. Это значительно упростит поиск фактов в статье и верификацию источников литературы.
Регистрация
Читать статьи и комментарии могут все желающие. Но загружать статьи, писать комментарии и рецензии могут только зарегистрированные пользователи.
Для регистрации надо быть автором статьи в рецензируемом журнале или получить рекомендацию от ученого с публикациями. Такая система служит некоторой гарантией специалистов для возможности публикации.
Каждому участнику присваивается рейтинг. При регистрации рейтинг определяется на основе библиометрических показателей (число статей, цитирование, индекс Хирша).
Автоматический редактор и рецензия
Когда авторы загружают свою статью на сервер, система анализирует абстракт и подбирает ключевые слова и рецензентов. При подборе рецензентов учитываются их соавторы и аффилиации, чтобы избежать конфликта интересов.
Подбираются рецензенты с разным рейтингом, но не слишком низким. То есть система будет пытаться найти рецензента с высоким рейтингом и со средним. Поиск рецензентов проводится не только среди зарегистрированных пользователей, а среди всех ученых, имеющих публикации в базе данных.
Выбранные рецензенты получают электронные письма от журнала с предложением провести рецензию манускрипта. В письме приводится абстракт, ссылка на полный текст и ссылка на анонимный канал общения с авторами. Если рецензент принимает предложение, он читает статью и пишет свой отзыв авторам. Если отказывается, система ищет дальше.
Работа рецензента в данном случае отличается лишь выставлением оценки манускрипту по нескольким показателям. В остальном рецензент также описывает достоинства и недостатки статьи, предлагает дополнительные эксперименты. Отзыв рецензента сразу становится доступен авторам, они могут исправить статью и провести дополнительные эксперименты. В этом случае не нужно ждать ответов всех рецензентов, сразу авторы получают ответ сразу.
Все зарегистрированные пользователи могут писать «пользовательские» рецензии и оценивать статью. Эту оценку можно считать независимо от оценки выбранных ревьюеров, либо объединять их учитывая возможный конфликт интересов и рейтинг.
Рейтинг
Все зарегистрированные пользователи имеют рейтинг. Рейтинг набирается за статьи, в том числе в других журналах, за рецензии, за комментарии. В идеале, рейтинг должен быть полуавтоматический.
Важно, что все действия пользователей логируются и за каждое действие рейтинг пользователя может быть повышен или понижен. Например, рецензент получает баллы за каждую рецензию. Если рецензия оказалась необъективной или если была пропущена очевидная ошибка, рецензент получит минус в рейтинг. За хорошую рецензию получит дополнительные баллы в плюс. Как разбираются спорные случаи, возникающие при оценке статей, я опишу ниже.
Комментарии 
Рецензия и ответы авторов на нее становятся первым уровнем комментариев. При этом рецензенты могут остаться анонимными или по своему желанию открыть свое имя.
Все зарегистрированные пользователи могут оставлять комментарии к любой статье. Это могут быть «пользовательские» рецензии, ветки свободной дискуссии, воспроизведение экспериментов (как успешные, так и неудачные), жалобы на недостаточно подробные методы и недоступные данные.
Такие жалобы могут быть полуавтоматическими — оставить жалобу можно нажав кнопку и описав суть претензии. Авторы могут сами исправить такую ошибку, тогда их рейтинг не снижается. Если авторы не отвечают на жалобу, назначается дополнительный рецензент, а авторы и первоначальные рецензенты статьи теряют рейтинг.
Комментарии с отдельными экспериментами получают собственный идентификатор (doi) и могут быть проверены рецензентом. Авторы тоже могут публиковать дополнительные эксперименты к своей статье в виде комментариев. Это достаточно часто бывает полезно, так как эксперименты, не вписывающиеся в линию статьи, обычно не включают в манускрипт. Такая возможность позволит делать небольшие работы на основе статьи, которые не тянут на полноценную публикацию. Например, это может быть полезно для студенческих проектов.
Сеть
В таком варианте сервиса можно использовать все преимущества сетей с большим числом пользователей. Например вы сможете получать рекомендации о статьях, которые читают люди с такой же историей поиска.
Или подписаться на известного ученого. Тогда только пользуясь его оценками статей можно получить срез его мнения о опубликованных работах. То есть каждый ученый становится в некотором смысле редактором, но отбирает статьи после их публикации, а не до.
Кроме того, такая сеть взаимодействий позволяет находить конфликты интересов.
Разрешение конфликтов
Понятно, что в любой системе могу могут возникать конфликты. Это можно видеть и на примере войн правок в Википедии, и на других ресурсах. Для выявления и разрешения конфликтов можно использовать алгоритмы, но в некоторых случаях необходимо решение человека. Модераторы могут работать как на постоянной основе, так и быть волонтерами. Во втором случае активные пользователи с хорошим рейтингом могут получать сообщения с просьбой проверить определенную статью или комментарий. То есть они могут работать как рецензенты, но для решения конкретного вопроса.
Поиск конфликтов во многих случаях может быть автоматизирован. Можно рассмотреть несколько типичных вариантов возможного нарушения добропорядочности.
Противоборствующие школы — бывают случаи, когда несколько групп придерживаются разных теорий и пытаются понизить оценку противоположной точки зрения. 
Определить такую ситуацию можно по графу связей — цитирований, оценок и аффилиаций. Противоборствующие группы будут представлены изолированными кликами в графе, а оценки статей друг друга будут противоположными. В таком случае можно помечтать оценки, комментарии и рецензии от другой группы специальной меткой — просто так отбрасывать их нельзя, они могут содержать ценную информацию. Но и учитывать такие отзывы как беспристрастные тоже нельзя.
«Друзья» — иногда бывает и обратная ситуация, коллеги или знакомые завышают оценки друг другу. Это тоже можно вычислить по графу связей и цитирований. Такие оценки также можно помечтать специальным тегом.
Жалобы. Как я уже писал в разделе про комментарии, на статью можно пожаловаться, если вы нашли в ней серьезный недочет. Это может быть недостаточно подробное описание методов, отсутствующий код или ссылки на данные, а может быть и более серьезная проблема — манипуляция изображениями, фальсификации или лженаучные теории. Небольшая жалоба может быть исправлена автором без привлечения модератора. Серьезное нарушение рассматривается независимым модератором (или несколькими), которые выносят решение. В зависимости от этого решения меняется рейтинг авторов, рецензентов и комментатора.
Продвижение
В своем комментарии к первой части darksnake описал похожую систему. Он также поделился идеей способа продвижения такого журнала.

Мне кажется, что такая модель продвижения подходит и для описанной системы. Ведь с точки зрения пользователя от архива препринтов она отличается несильно. Дополнительных расходов на штат редакторов в этом случае тоже нет.