Как работает тест для читателей сайта на знание его статей

Как сделать секцию комментариев к материалам на сайте содержательной, уйти от пустых перепалок и заставить ее работать так, как это изначально задумывалось? Разные сетевые издания проводят для этого различные опыты. О норвежском весной писали многие, но вот каковы его промежуточные итоги.

1 марта сайт niemanlab.org опубликовал статью Джозефа Лихтермана об интересном нововведении NRKbeta, технического отдела норвежского издания NRK. В некоторых его статьях перед тем, как оставить комментарий, пользователю необходимо пройти тест из трех вопросов с вариантами ответа по содержанию публикаций (пример такой публикации).

Новая функция призвана удостоверить, действительно ли пользователь прочел статью перед тем, как позволить ему ее комментировать.

«Если каждый будет понимать, о чём идет речь в материале, у всех будет больше оснований для содержательной дискуссии», – заявлял журналист NRKbeta Столэ Грют. Редактор NRKbeta Мариус Арнесен, в свою очередь, замечал: «Если у вас будет 15 секунд на подумать, это может помочь вам остыть и не вымещать свою злость в комментариях». Также прохождение теста позволило бы по возможности придерживаться тематики статьи в комментариях.

Главный инструмент против пустословов в комментариях создал разработчик NRKbeta Генрик Лид в виде плагина для WordPress с произвольными вопросами для каждого пользователя (кстати, его код открыт на Gitub, откуда его можно скачать). 

Тест оказался слишком легкой преградой для «технарей»: один из читателей NRKbeta даже выложил подсказку, как его обойти. В итоге сайту потребовалось официально заявить: «Ребята, эта функция не для вас. Мы знаем, что вам легко заменить фрагмент в вашем инспекторе кода для Chrome… Это для людей, которые заходят к нам на страницы просто, чтобы пошуметь, даже не взглянув на сами статьи».

Предварительные итоги инициативы NRKbeta на том же Niemanlab совсем недавно в этом месяце подвела Кристин Шмидт. Если коротко, то всё пошло не настолько по маслу, как можно было ожидать: пользователи очень плохо справлялись с тестами, причиной чему мог быть языковой барьер.

Она снова рассказала, как еще совсем недавно все единодушно хвалили идею, однако напомнила, что редакторы и журналисты NRKbeta еще не понимают сами, удачна ли она.

«После публикации в большинстве случаев можно оставить первый отзыв, который задаст градус разговора. Например, вы написали про чиновника и взятку. Ожидаемо, что все будут его осуждать, но немногие это напишут под материалом (ведь это уже как бы обыденность). А вот если написать про него что-то позитивное, это как раз вызовет нужную реакцию — аудитория начнёт спорить.»

<blockquote class="twitter-tweet" data-lang="ru" width="100%"><p lang="en" dir="ltr">This project from <a href="https://twitter.com/NRKbeta">@NRKbeta</a> and <a href="https://twitter.com/NRKno">@NRKno</a> is quite possibly one of the best new journalism ideas I've seen, ever.<a href="https://t.co/DCT3s9pDty">https://t.co/DCT3s9pDty</a></p>— Amy Webb (@amywebb) <a href="https://twitter.com/amywebb/status/836948105580974080">1 марта 2017 г.</a></blockquote><!-- [et_pb_line_break_holder] --><script async src="//platform.twitter.com/widgets.js" charset="utf-8"></script>

Спустя пять месяцев команда NRKbeta признаётся, что читатели относятся к тестам к 14 статьям скорее как к игре на понимание смысла, нежели как к «шлюзу» в раздел комментариев.

Помимо этого команда смогла сделать несколько выводов о программе:

Попыток пройти тест — удачных и нет — больше, чем опубликованных комментариев

Большинство пользователей проходят тест с целью проверить понимание текста, а не чтобы оставить комментарий. Из 14 статей, за которыми следуют тесты, самый высокое количество комментариев — 77. В то время как тест к статье прошли более 300 раз.

Видите эту мега-длинную красную полоску? Ей есть объяснение: «Из-за человеческой ошибки, правильный ответ на один из вопросов не был распознан. Что сделало невозможным прохождение теста. Следовательно, многие старались напрасно».

Источник: NRKbeta

Не было конкретных правил, когда включать тест

NRKbeta решила не ставить тест после каждой статьи. Хотя он был разработан в виде плагина WordPress, команда не хотела давить на комментаторов в материалах на «легкие» темы. Грют отметил, что они требовали больше усилий от читателей, поэтому такой тест понравился «наиболее усердным, с большим количеством свободного времени». Но это не всегда улучшало понимание: «Иногда это всё равно приводило к снижению качества и тона обсуждений, в результате чего читатель часто отказывался от прохождения теста».

В тесте ошеломляющее количество неправильных ответов — 72%

Возможно, причина этого в притоке иностранных читателей после того, как новость о тесте прогремела в СМИ: те тщетно пытались сдать тест на норвежском. Но самый очевидный вывод, по словам Грюта, заключался в том, что читатели восприняли тест как игру. Сейчас виден всплеск интереса к геймификации новостей, разработке онлайн-игр для их аудитории или даже к тому, чтобы различать фейки. Подобные тесты потенциально могут помочь журналистам и редакторам определить, понимают ли читатели их формулировки и объяснения, и в дополнение успокоить «горячих» комментаторов.

«Мы пытаемся создать общую платформу для обсуждения», – говорил Арнесен Лихтерману в начале этого года. «Если вы собираетесь спорить на какую-то тему, важно знать, что есть в статье и чего в ней нет. Иначе люди просто начинают пустословить».

Однако проект NRKbeta не единственный в своем роде: в феврале этого года  компания Alphabet сотрудничала с The New York Times, The Economist, The Guardian и Википедией с целью протестировать новый инструмент под названием «Perspective», использующий машинное обучение для распознавания «токсичных» комментариев — грубых, неуважительных и пустых высказываний, которые могут заставить пользователя покинуть обсуждение».

Таким же образом the Times, The Washington Post, the Mozilla Foundation и the Knight Foundation запустили the Coral Project, инициативу, призванную создать открытые инструменты, помогающие новым компаниям улучшить свои сообщества на сайте.

К тому же существует стартап под названием «Civil», который создал собственную платформу для комментариев, требующую от пользователей оценить корректность уже опубликованных высказываний перед тем, как те смогут оставить свой.

Еще об изучении поведения аудитории

 Понравилась статья? Вы можете поделиться ей со своими коллегами и друзьями: