?

Log in

No account? Create an account
Я была права - Добрая фея с топором

> Recent Entries
> Archive
> Friends
> Profile
> My Website

March 5th, 2015


Previous Entry Share Next Entry
12:44 pm - Я была права
К вопросу о статистике в статье, где я была ревьювером и где авторы решили со мной поспорить и считать Т-тестом множественные сравнения. По моей просьбе к вопросу подключили статистика, статья у товарищей вышла в печать, но я не знала что там будет со статистикой в итоге, то есть мне не написали, чью сторону принял статистик. Теперь эта статья появилась в поисковиках, и в результате таки я была права. Авторов заставили переделать их расчеты. Вот кусок описания методов
Data from a representative experiment (6–8 animals per group) from at least two experiments with similar results are shown. D'Agostino–Pearson and Shapiro–Wilk tests were applied to check for normality. When multiple experimental groups were included, one-way ANOVA followed by Bonferroni's post-hoc tests were used to assess statistical significance. When two experimental groups were compared, statistical analysis was performed using a two-tailed unpaired Student's t test. p values lower than 0.05 were considered as significant.
Ну что ж, еще пяток человек запомнили, что Т-тестом три группы (и больше) сравнивать не надо. :)

(15 comments | Leave a comment)

Comments:


[User Picture]
From:dibr
Date:March 5th, 2015 06:22 pm (UTC)
(Link)
А я вот считаю, что неправы все. Ну, почти все :-)

Вы (и Аноним из того поста) неправы в том, что считаете что "Т-тест два раза, критерий верности - оба теста в нашу пользу" является multiple comparisons problem. MCP - это когда не оба теста в нашу пользу, а когда хотя бы один тест в нашу пользу, это в вашей же ссылке на википедию было.
Авторы были неправы в том, что используют "Т-тест два раза", когда есть более точные методы (ANOVA).
Редакторы(?), заставившие авторов переделать, правы - если есть более подходящий метод, незачем разводить самодеятельность и изобретать велосипед, это всё-таки серьёзный журнал, а не "юный техник".
Я был неправ в том, что "Т-тест два раза это нормально", но прав, что "Т-тест два раза - это корректно".
Ну, и из того, что в статье в результате использовали ANOVA, а не "T-test два раза", следует то, что ANOVA лучше, но не следует что T-test некорректен. Он корректен, просто несколько неуместен (а оценка с его помощью будет "смещёна" не в пользу авторов, но это плохо для авторов, а не для науки).

Поскольку все уже высказались не по одному разу ещё в том посте, никто никого не убедил, а новой информации явно не будет, я со своей стороны дискуссию завершаю на этом комментарии: я высказался и выслушал, моё мнение неизменно, мнение оппонентов, судя по всему, тоже, ну и фиг с ним :-)
[User Picture]
From:spartanus
Date:March 5th, 2015 06:42 pm (UTC)
(Link)
Ну правильно, что какие-то там математики могут понимать в статистике? Ща всё всем разъясним! ;)
From:(Anonymous)
Date:March 8th, 2015 11:51 am (UTC)
(Link)
Я всё-таки не понимаю, какой смыл так упорно отстаивать заблуждения, которые можно развеять чтением профильной литературы за вполне приемлемое время? Впрочем, чем бы дитя не тешилось - лишь бы множественные сравнения без поправок не публиковало :-)

Кстати, подумалось - все эти классические лажи со статистикой вполне себе тянут на компактный курс для той же coursera: вот бы здорово было, если б кто взялся.
[User Picture]
From:dibr
Date:March 8th, 2015 04:25 pm (UTC)
(Link)
> которые можно развеять чтением профильной литературы за вполне приемлемое время?

Так я и почитал. Обнаружил, что описанная Танчиком ситуация похожа на MCP, но MCP не является (напомню - в случае MCP ошибкой является то, что положительный вывод делается на основании положительности любой из проверок, в описанной же ситуации положительными были обе проверки, что является даже более сильным критерием положительности, чем одна проверка). Написал об этом, аргументировал (аргумент - см. выше). В ответ получил - специально просмотрел комментарии, освежить память:

- апелляцию к авторитету (собственному) от владельца пустого журнала, разумеется без аргументов вообще
- скатологический юмор про палец и жопу, плавно переходящий в мелкое хамство (агрумент, впрочем был - он сводился к тому, что нет разницы между И и ИЛИ, с чем я несколько не согласен)
- аргументация типа "я в этом ничего не понимаю, но раз Танчик сказала, то не вам с этим спорить"
- ну, и этот пост - "раз авторов заставили переделать статистику, значит MCP была" (я не спорю, "проблема со статистикой" у авторов была, но это было не MCP)

Ни одного научного(!) аргумента не было, самой научной была попытка убедить меня, что во фразе "препарат В был у нас и лучше А, и лучше нелеченных контрольных мышей" на самом деле стоит "или", просто у меня со зрением что-то не так.

> вот бы здорово было, если б кто взялся

Может, для начала, хотя бы ткнёте мне пальцем в мою ошибку? Я ж ведь не настаиваю на том, что именно я - д'артаньян, мне и самому некомфортно, что все (ну, почти все - один коммент с точкой зрения, совпадающей с моей, был) "видят платье чёрно-синим, когда я вижу бело-золотым", но - я сам признаков MCP в описанной ситуации увидеть никак не могу, а указать мне на конкретную ошибку - почему-то ни у кого не получается.

И на всякий случай повторюсь - я не спорю с тем, что использование multiple t-test в данном случае (статья в серьёзном журнале) неуместно - примерно так же, как неуместно забивать гвозди пассатижами - и именно это (использование инструмента, который в принципе работает, но есть более лучший и традиционно используемый) и заставили исправить авторов. Я спорю лишь с тем, что гвозди нельзя забивать пассатижами - что приведённый случай является ошибкой, а именно - ошибкой типа multiple comparisons problem.
Авторы использовали два сравнения. Каждое сравнение дало положительный результат, а это - более сильный (а не более слабый, как в случае MCP) критерий, значит ошибки - нет. Хм?
[User Picture]
From:spartanus
Date:March 5th, 2015 06:41 pm (UTC)
(Link)
Ну вот и ладушки, ура! :)
[User Picture]
From:torash
Date:March 5th, 2015 08:12 pm (UTC)
(Link)
о, отлично, я бы и делала ANOVA и post-hoс Bonferroni.
Хотя, если честно, сама еще не очень поняла, почему t-test тут не подходит.
[User Picture]
From:Pan_Dovidzenja
Date:May 11th, 2015 08:28 am (UTC)
(Link)
Не знаю как у вас в медицине, а в химбакиспытаниях использование в данном случае критерия Стьюдента не одобряется (выхода надо было проверять в том же объеме, как и входы, а иначе там вылазить боком степеня свободы). И вообще, данных по критериям мало. р это я так понимаю, дисперсия? Выглядит красиво. А степени свободы? И кто сказал попарно сравнивать (там надо было горы дисперсий сравнивать между клетками отдельно для каждой, суммарно для отдельных видов - референс, опыт, контроль, не считая выхода, ну и так далее)? Это же капец какой в t-распределении (я как вспомню те таблицы - меня в дрожь берет). Там ведь если они считали по Стьюденту еще горка цифири должна была быть. Ну и почему не выдали доверительную вероятность (в три сигма влезали али нет?). Короче - правильно, что отправили на переделку.
[User Picture]
From:yenissey
Date:March 5th, 2015 09:44 pm (UTC)
(Link)
продолжаю настаивать, что любой тест имеет смысл только в контексте конкретной гипотезы и никак иначе:)
и таким образом, все подобные споры разрешаются требованием явной формулировки гипотезы
[User Picture]
From:maksina
Date:March 5th, 2015 09:54 pm (UTC)
(Link)
Ты УМНИЦА!!! (кто бы сомневался)

Как мелкий и как сама?
[User Picture]
From:clever_masha
Date:March 6th, 2015 05:47 pm (UTC)

офф

(Link)
Таня, прошу прощения за офф,
но, подумалось, что вы можете знать... У моей дочки диагностировали Multi system LCH и Secondary HLH. Она не отвечает на химиотерапию, доктора подготовили medical report чтобы я могла разослать за second opinion. Мы не в штатах, но у вас там мировые центры, в Цинциннати, Техасе по нашему направлению. Я разослала, но ответа нет, а время утекает... Посоветуйте, пожалуйста, что ещё можно сделать? Как до них дрстучаться? Я очень за неё волнуюсь, ей всего 15 мес...
[User Picture]
From:yogiki
Date:March 6th, 2015 07:57 pm (UTC)
(Link)
Таня не может ответить с работы, у нее там отключен жж, так что я по ее просьбе написала вам в личку, посмотрите, пожалуйста.
[User Picture]
From:tanchik
Date:March 8th, 2015 12:50 am (UTC)

Re: офф

(Link)
я в понедельник спрошу как там прогресс с письмом.Держитель, очень сочувствую. Это страшно
[User Picture]
From:rblaze
Date:April 9th, 2015 09:54 pm (UTC)
(Link)
Танчик, а можно тебе куда-то написать с полумедицинским вопросом? Ты, при всей "уже неврачебности", наверное лучше всех моих знакомых в американской фармацевтике ориентируешься.
[User Picture]
From:tanchik
Date:April 10th, 2015 10:39 am (UTC)
(Link)
Ответила удаленным комментом. Дошел?
[User Picture]
From:rblaze
Date:April 10th, 2015 04:11 pm (UTC)
(Link)
Ага. Я только проснулся, сейчас напишу.

> Go to Top
LiveJournal.com