?

Log in

Внезапно умный вопрос про редактирование статьи - Добрая фея с топором

> Recent Entries
> Archive
> Friends
> Profile
> My Website

January 13th, 2015


Previous Entry Share Next Entry
12:41 am - Внезапно умный вопрос про редактирование статьи
У меня тут сабж. По понятным причинам я сижу дома, посему посоветоваться с коллегами не могу. Точней, могу. Но писать емейлы на английском сложней, чем пост в ЖЖ на русском. :)
Ситуация такая: я ревьювер в научной статье. В прошлую редактуру я сказала, чтоб авторы переделали свою статистику корректно. В чем была проблема? У них три группы мышей: контрольная (никакого лечения), препарат А (стандартный препарат, которым все лечат) и препарат В (их новый препарат, о котором и статья). И много разных там объективных показателей, которые авторы измеряют у этих трех групп мышей. А измеряют они статистику используя t-test, то есть считают t-критерий Стьюдента, и пишут мол препарат В был у нас и лучше А (p<0.05), и лучше нелеченных контрольных мышей (p<0.05). То есть классическая, самая распространенная ошибка с t-test+multiple comparison, то есть множественное попарное сравнение внутри одного массива данных. Ничего неожиданного.
И вот тут - нежданчик! Авторы прислали вторую версию статьи. И на мое требование поправить свою статистику ответили отказом!! Вот нихрена ж себе. Пояснили они это тем, что мол мы ж не сравнивали все три группы сразу, а значит t-test вполне себе покатит. Цитирую: Statistical analysis was always performed using either the "контроль" or "препарат А" group as reference group. Student t test was never used to compare more than two groups at a time.
Такого я еще ни разу не встречала. :)) 9 авторов, и ни один не понимает базовых основ статистики и не удосужился проверить, что за хрень первый автор пишет в сопроводительном письме ревьюверам? Офигеть. Но если без лирики, что бы вы сделали? Советы особенно ценю, если вы ревьюверы в журналах, а не рассуждаете чисто теоретически, ладно? Статья в целом нормальная, эксперименты ОК и для журнала в самый раз, других претензий у меня к ним нету. Но не т-тест, емае, офонарели ребята! У меня идеи такие:
а) написать авторам снова отказ с major revision, в причинах ессно их нелады со статистикой
б) дополнить пункт а) комментом к эдитору журнала с советом привлечь к решению о бубликации или отказе в оной статистика. Короче, удостовериться что эдитор читает нашу переписку, понимает что происходит и не пропустит такое в печать, раз авторы не понимают
в) дополнить пункт а) едкой сноской авторам на англоязычную статью стиля "Самые дурацкие и глупые ошибки статистики, объясняем на пальцах для биологов". Есть у кого-нить под рукой? Но сдается мне, что они продолжат спорить..
г) не писать пока ничего авторам, а ограничиться отказом в бубликации и связаться с эдитором, что мол там у ребят совсем беда.
д) ваш вариант?

(91 comments | Leave a comment)

Comments:


Page 1 of 2
<<[1] [2] >>
[User Picture]
From:chudiki
Date:January 13th, 2015 06:05 am (UTC)
(Link)

Не ревьюер. Но выбрала бы вариант Г.

[User Picture]
From:tanchik
Date:January 17th, 2015 12:15 am (UTC)
(Link)
Поняла. спасибо Я сделала так
http://tanchik.livejournal.com/551739.html
From:xorxor
Date:January 13th, 2015 06:05 am (UTC)
(Link)
г или б
[User Picture]
From:tanchik
Date:January 17th, 2015 12:15 am (UTC)
(Link)
Поняла. спасибо Я сделала так
http://tanchik.livejournal.com/551739.html
[User Picture]
From:spartanus
Date:January 13th, 2015 06:12 am (UTC)
(Link)
Я не медик, а математик.

Мда, в 2015 году такое странно слышать о западных учёных (если бы это был российский медицинский или биологический журнал, я бы нисколечки не удивился :) ), вроде статистику уже давным-давно преподают всем и везде.

Я бы:
- написал отказ в публикации, ясен пень,
- написал редактору журнала,
- дополнил письмо авторам ссылкой (не обязательно едкой, а то вдруг обидятся и заупрямятся :) ) на какой-нибудь популярный учебник по статистике для медиков или биологов (таких даже у меня есть несколько, по-моему) и, наверное, процитировал бы прямо в письме соответствующий параграф оттуда (наверняка в КАЖДОМ учебнике есть параграф про то, что в случае более чем двух групп t-критерий применять нельзя), чтобы им пришлось спорить не с вами, а с авторами учебника.

А вы можете сами проверить их статистику: их утверждения о значимости различий верны? Или данные есть только у них самих?
[User Picture]
From:entropia_n
Date:January 13th, 2015 06:35 am (UTC)
(Link)
Мне тоже такой вариант больше всего нравится...
[User Picture]
From:kacho
Date:January 13th, 2015 06:19 am (UTC)
(Link)
Американский (и мне лично очень понятый стиль) - сначала отписать эдиторам и посоветоваться.

Едкие ссылки и комменты - нет, потому что потом эдиторы за это могут прижать.

Если тебе надо, чтобы кто-то свежим взглядом посмотрел твое им письмо и помог с формулировками-клише и общим проф стилем, напиши мне, я могу.
[User Picture]
From:demenyaka
Date:January 13th, 2015 07:09 am (UTC)
(Link)

Я бы тоже сначала редактору написала.

[User Picture]
From:lerish
Date:January 13th, 2015 06:26 am (UTC)
(Link)
Мне бы как автору было бы приятно получить вариант в, с ссылкой на санпросвет так сказать
[User Picture]
From:tanchik
Date:January 17th, 2015 12:17 am (UTC)
(Link)
Поняла, сделала так.
http://tanchik.livejournal.com/551739.html
[User Picture]
From:ratty192
Date:January 13th, 2015 06:29 am (UTC)
(Link)

Как автору (в той или иной степени) - лучше ссылку на просвещающую статью.
Но даже нам уже рассказывают,что это чуть ли не самая страшная ошибка,которую можно сделать в статистике)

[User Picture]
From:tanchik
Date:January 17th, 2015 12:18 am (UTC)
(Link)
Дык! Ну я не стала ехидничать, послала авторов в википедию :)
[User Picture]
From:catta
Date:January 13th, 2015 06:46 am (UTC)
(Link)
А они приводят реальные значения p-level? Если да, то посчитать, проходят ли значения по Holm–Bonferroni. Если проходят, то дать авторам ссылку на любую книгу по статистике, на главу про multiple comparison, и заставить скорректировать значения, и пускай бубликуют, результат-то нормальный. Если нет, то понятно, почему они бычат, и тогда запросить реальные значения p-level и послать опять-таки ссылку. И написать, что ты всем довольна кроме статистики, и что если они скорректируют, то все будет пучком.
[User Picture]
From:tanchik
Date:January 17th, 2015 12:19 am (UTC)
(Link)
Нет, они просто написали p<0.05. Я думаю результат там не пройдет, я вижу это по огромным SEM между группами и сравнительно небольшой разнице средних. Так что вполне возможно что они намеренно выбрали журнал попроще чтоб напечатать данные с проблемой в статистике. Я сделала вот так в итоге
http://tanchik.livejournal.com/551739.html
[User Picture]
From:alice_itv
Date:January 13th, 2015 07:12 am (UTC)
(Link)
Если быть "хорошим полицейским", то дать ссылку на книгу по статистике и отправить на еще один виток редактуры.

Если быть "плохим полицейским", то написать редактору и отклонить.
[User Picture]
From:tanchik
Date:January 17th, 2015 12:20 am (UTC)
(Link)
Я сделала вот так в итоге. Добрый полицейский. Очень. :)
http://tanchik.livejournal.com/551739.html
[User Picture]
From:slider_z
Date:January 13th, 2015 07:54 am (UTC)
(Link)
Добрый день)
Я рецензент, химик.
Обычно выбираю а), если после второго раунда не прокатывает, перехожу к в).
[User Picture]
From:tanchik
Date:January 17th, 2015 12:20 am (UTC)
(Link)
Спасибо :)
Я сделала вот так в итоге
http://tanchik.livejournal.com/551739.html
From:(Anonymous)
Date:January 13th, 2015 08:13 am (UTC)

классика жанра

(Link)
Авторам - отказ со ссылкой на статью "самые тупые ошибки статистиков", конкретную сходу не подскажу, но в одном из отзывов на того же Сералини (не к ночи будь помянут) наверняка есть в references. Редактора - в копию письма и краткое пояснение специально для него про embarrassing statistical misuse, можно до кучи того же Сералини упомянуть - помогает встряхнуть мозги особо упоротым.

Любопытно, кстати, как у вас review организовано - у нас всегда все ответы идут исключительно редактору ибо двойная анонимизация и всё такое. Так что если я, например, напишу авторам напрямую, то глаз задёргается не только у них, но и у какого-нибудь комитета по этике бла-бла-бла :)
[User Picture]
From:tanchik
Date:January 17th, 2015 12:47 am (UTC)

Re: классика жанра

(Link)
Ревью у нас организовано как обычно, я вот тут пояснила
http://tanchik.livejournal.com/551739.html
Ну а ссылку я не стала едкую гуглить, послала авторов в википедию.. редактору впрочем отдельно написала, чтоб моя совесть была чиста
[User Picture]
From:teaser_girl
Date:January 13th, 2015 08:16 am (UTC)
(Link)
По теме не скажу, но вы меня сильно утешили, потому что я практически создала англоязычную среду вокруг себя - читаю, общаюсь в сетях, смотрю - стараюсь все на английском. И до сих пор, если есть выбор - предпочту русскоязычный источник. И печалюсь по этому поводу - потому что уже хочется, чтобы наконец не было разницы, какой язык.
Я к тому, что если после стольких лет в англоязычной среде вы все равно предпочитаете русский - есть шанс, что это не я такая ленивая и необучаемая, а что это нормально )
[User Picture]
From:tanchik
Date:January 17th, 2015 12:46 am (UTC)
(Link)
Ну русский он же родной, он зашит очень глубоко. Куда без него?
Другая проблема в том, что он вне русской среды коверкается. Но все равно на нем легче общаться.
[User Picture]
From:mechanician
Date:January 13th, 2015 09:02 am (UTC)
(Link)
Хотелось бы почитать про "самые дурацкие и глупые ошибки статистики" только на русском.

Я наверное тупой, но тоже не понимаю, почему нельзя этим методом _по отдельности_ сравнивать контроль с Б и А с Б.

Ну пусть бы у нас было три группы экспериментарторов, которые бы что-то делали каждый со своей группой мышей по заданной методике и собирали данные, вообще не зная друг о друге. После чего одному ученому передали бы данные с группы Б и контрольной, не говоря про А, а другому с групп А и Б, не говоря про контрольную. И что, кто-то из них не имел бы права считать статистику?
[User Picture]
From:stifado
Date:January 13th, 2015 09:26 am (UTC)
(Link)
Имел бы, просто по другому надо считать. Или, точнее говоря, выводы об уровне значимости были бы другие.
Вот есть очень хорошая книжка Гланца, "Медико-биологическая статистика". Она есть в сети, посмотрите главу 4, там прямо вот про это с примерами.

Edited at 2015-01-13 09:27 am (UTC)
[User Picture]
From:galeolaria
Date:January 13th, 2015 09:52 am (UTC)

офтопик

(Link)
Насчет понятных причин можно поздравить?
[User Picture]
From:tanchik
Date:January 17th, 2015 12:40 am (UTC)

Re: офтопик

(Link)
Нужно! :) Спасибо
[User Picture]
From:eleema
Date:January 13th, 2015 10:05 am (UTC)
(Link)
По сабжу ничего не скажу, а поздравить с ДР в один месяц - с большим удовольствием!
Фоточки, надеюсь, будут?
[User Picture]
From:tanchik
Date:January 17th, 2015 12:40 am (UTC)
(Link)
Сделаю пост :) Спасибо!
Пока вот можно глянуть
http://www.gramfeed.com/tanchik_usa
[User Picture]
From:shvarz
Date:January 13th, 2015 01:19 pm (UTC)
(Link)
Как уже выше многие писали: Письмо редактору с указанием на конкретное место в каком-нибудь учебнике (или в сети), где разбирается конкретно этот случай.
[User Picture]
From:_sil
Date:January 13th, 2015 02:50 pm (UTC)
(Link)
я так делал, статью в итоге приняли. Нужно четко отказывать в публикации.
[User Picture]
From:jamaica1953
Date:January 13th, 2015 01:28 pm (UTC)
(Link)
Мне вот это понравилось
www.cytspb.rssi.ru/library/karpenko_statistics_31-10-2013.ppt
[User Picture]
From:tanchik
Date:January 17th, 2015 12:37 am (UTC)
(Link)
Какая хорошая лекция. спасибо!!
Сохрнаню себе. В данной ситуации она, увы, не пригодилась бы, у нас ведь там все на английском
[User Picture]
From:yenissey
Date:January 13th, 2015 02:46 pm (UTC)
(Link)
ты неправа
из сравнения трех групп сколь угодно правильными методоами нельзя сделать никаких выводов, если ты вдруг нашел их разными
вывод можно сделать только если они одинаковые
как лаб.анализы делаются ведром
а если разные, то так и так придется искать что именно от чего разное (A=B >> C и A=C >> B для статистики одинаково, а для интерпретации - разное)
в итоге, ценную информацию дадут только попарные сравнения
так что надо только account for multiple testing и убедиться что t-test применим (как насчет непарам?)

Edited at 2015-01-13 02:52 pm (UTC)
[User Picture]
From:tanchik
Date:January 17th, 2015 12:36 am (UTC)
(Link)
Дык никакой поправки на multiple testing они делать и не собирались от слова совсем. Я бы сделала вот так
http://tanchik.livejournal.com/551520.html?thread=25564000#t25564000
[User Picture]
From:_sil
Date:January 13th, 2015 02:48 pm (UTC)
(Link)
Убивай статью, за глупость наказывают. Четко, кратко, и без компромиссов. И будь уверена, с тобой на их месте никто цацкаться не будет.
[User Picture]
From:tanchik
Date:January 17th, 2015 12:35 am (UTC)
(Link)
Ну я решила быть доброй. :) Вдруг доброта и ко мне вернется?
http://tanchik.livejournal.com/551739.html
[User Picture]
From:umkaline
Date:January 13th, 2015 05:17 pm (UTC)
(Link)
ты же уже имеешь представление как бы обошлись с тобой в аналогичном случае. Соответственно, ты имеешь право поступить так же.

Я бы пошла по варианту б.
[User Picture]
From:tanchik
Date:January 17th, 2015 12:34 am (UTC)
(Link)
Да. Я примерно так и сделала
http://tanchik.livejournal.com/551739.html
[User Picture]
From:lerish
Date:January 13th, 2015 06:20 pm (UTC)
(Link)
Почитал еще раз комментарии и почувствовал себя олигофреном. А как надо-то было?
[User Picture]
From:tanchik
Date:January 17th, 2015 12:33 am (UTC)
(Link)
Надо было проверить на нормальность распределения и если ок, то зафигачить ANOVA (вопрос: есть ли разница между какой-то группой хотя б одной?) и если получишь p value, то сделать post-test например какой-нибудь Tukey, он ответит на вопрос какая именно группа отличается от других. Или если данные не распределены нормально, то делать аналогичные тесты непараметрические
[User Picture]
From:dok_zlo
Date:January 13th, 2015 08:29 pm (UTC)
(Link)
Второе рукопожатие.
д) Я полагаю, что многоуважаемый френд uborshizzza должен был с таким сталкиваться, так как именно он курирует математическую часть многих медработ. Я бы спросил у него и целиком положился на его мнение.
[User Picture]
From:tanchik
Date:January 17th, 2015 12:28 am (UTC)
(Link)
Спасибо :)
Да я не сомневаюсь в своей правоте, чего почем зря человека дергать :) Я хотела послушать мнения, что делать с авторами что вздумали вдруг бычить, сильно их бить или нет, и если да то как
[User Picture]
From:anabu
Date:January 13th, 2015 10:22 pm (UTC)
(Link)
вставила бы вумную цитатку от авторитетов, но обошлась бы без едкой ссылки. ;)
[User Picture]
From:tanchik
Date:January 17th, 2015 12:27 am (UTC)
(Link)
Мне стало лень гуглить, послала авторов в википедию, а редактора к статистику. :)
http://tanchik.livejournal.com/551739.html
[User Picture]
From:sciuro
Date:January 13th, 2015 10:43 pm (UTC)
(Link)
Я не уверена, что они так уж неправы, что прямо не публиковать. http://www.graphpad.com/guides/prism/6/statistics/index.htm?stat_when_to_not_correct_for_2.htm
(извини, ссылка какая первая подвернулась).

Они, конечно, селедки, что не прописали p value как есть, но если у них всего два сравнения на пакет, сравнение групп независимое (две независимые гипотезы), то так лучше не делать, но если очень хочется, то иногда можно - с оговорками, которые описаны по ссылке. Можешь им ее и послать :)
[User Picture]
From:rstanton
Date:January 14th, 2015 01:23 am (UTC)
(Link)
У нас же гипотезы очень зависимые, нет?
[User Picture]
From:cytherella
Date:January 14th, 2015 03:28 am (UTC)
(Link)
Вариант б, и в комментариях авторам объяснить почему они не правы; но принять статью если исправят
[User Picture]
From:tanchik
Date:January 17th, 2015 12:23 am (UTC)
(Link)
Спасибо. :) Да, я примерно так и сделала
http://tanchik.livejournal.com/551739.html
[User Picture]
From:leozub
Date:January 15th, 2015 11:50 am (UTC)
(Link)
У меня опыт написания и рецензирования исключительно русскоязычных статей, но я все же рекомендую не включать ехидность в небезнадежных случаях.
[User Picture]
From:tanchik
Date:January 17th, 2015 12:23 am (UTC)
(Link)
Выдекржала, не стала. :) Спасибо
Я сделала вот так в итоге
http://tanchik.livejournal.com/551739.html

> Go to Top
LiveJournal.com