Powtarzalność: tragedia błędów
Autorzy: David B. Allison i współpracownicy.
Jak podatna na błędy i samokorygująca się nauka jest? Ostatnie 18 miesięcy spędziliśmy na zdobywaniu wiadomości.
Jesteśmy grupą badaczy zajmujących się otyłością, odżywianiem i metabolizmem. Latem 2014 r. jeden z nas przeczytał artykuł badawczy w renomowanym czasopiśmie, w którym szacowano, jak zmiana w spożyciu fast foodów wpłynie na wagę dzieci, i zauważył, że analiza zastosowała model matematyczny, który przeszacował skutki ponad dziesięciokrotnie. My i inni wysłaliśmy list do redaktora, wyjaśniając problem. Kilka miesięcy później z zadowoleniem dowiedzieliśmy się, że autorzy postanowili wycofać swój artykuł. W obliczu popularnych artykułów głoszących, że nauka się potyka, ten epizod był potwierdzeniem, że nauka sama się koryguje.
Niestety, z naszego doświadczenia wynika, że przypadek ten nie jest reprezentatywny. Podczas tworzenia cotygodniowych list artykułów z naszej dziedziny zaczęliśmy zauważać więcej recenzowanych artykułów zawierających tak zwane istotne lub unieważniające błędy. Obejmują one błędy rzeczowe lub znacznie odbiegają od jasno przyjętych procedur w sposób, który po poprawieniu może zmienić wnioski zawarte w artykule.
Po próbie rozwiązania ponad 25 z tych błędów za pomocą listów do autorów lub czasopism i zidentyfikowaniu co najmniej kilkunastu kolejnych, musieliśmy przerwać — praca zajęła nam zbyt dużo czasu. Nasze wysiłki ujawniły praktyki unieważniające, które powtarzają się wielokrotnie (patrz „Trzy typowe błędy”) i pokazały, jak czasopisma i autorzy reagują, gdy stają w obliczu błędów, które wymagają korekty.
Dowiedzieliśmy się, że recenzowanie po publikacji nie jest spójne, płynne i szybkie. Wielu redaktorów i pracowników czasopism wydawało się nieprzygotowanych lub źle przygotowanych do zbadania problemu, podjęcia działań, a nawet udzielenia odpowiedzi. Zbyt często proces ten przebiegał spiralnie, poprzez warstwy nieskutecznych e-maili wysyłanych do autorów, redaktorów i niezidentyfikowanych przedstawicieli czasopism, często bez dodawania żadnych publicznych oświadczeń do oryginalnego artykułu. Niektóre czasopisma, które przyznały się do błędów, wymagały znacznej opłaty za publikację naszych listów: poproszono nas o wydanie pieniędzy z naszych badań na poprawianie błędów innych osób.
Jako naukowcy, którzy publikują, recenzują artykuły lub pełnią funkcję redaktorów, zdajemy sobie sprawę, że te kwestie są skomplikowane. Uważamy, że redaktorzy czasopism są oddani i szczerzy w swoich wysiłkach. Niemniej jednak społeczność naukowa musi się poprawić.
Nauka opiera się zasadniczo, ale z zadowoleniem, na autokorekcie, jednak publikowanie prac naukowych stwarza poważne zniechęcenia do takiej korekty. Jeden wydawca stwierdza, że obciąży autora, który zainicjuje wycofanie opublikowanego artykułu, opłatą w wysokości 10 000 USD.
Tutaj podsumowujemy nasze doświadczenia, główne bariery, na jakie natrafiliśmy, i nasze przemyślenia na temat tego, jak uczynić publikowaną naukę bardziej rygorystyczną.
Sześć problemów
Redaktorzy często nie są w stanie lub niechętnie podejmują szybkie i odpowiednie działania. W przypadku jednego artykułu uzyskaliśmy surowe dane zdeponowane w Internecie, otrzymaliśmy zgodę instytucji na ponowną analizę danych i przesłaliśmy list do redaktora (za pośrednictwem systemu przesyłania manuskryptów) opisujący potrzebę korekty w ciągu dwóch tygodni. Po dziewięciu miesiącach zapytaliśmy dziennik, dlaczego przynajmniej nie opublikowano wyrażenia zaniepokojenia. Redaktor przyznał, że nie spodziewał się, że proces ten będzie trwał tak długo. Czasopismo poinformowało o swojej decyzji o przyjęciu naszego listu i wycofaniu artykułu 11 miesięcy po naszym złożeniu. List i odwołanie nie zostały jeszcze opublikowane.
Nie jest jasne, gdzie wysyłać wyrazy zaniepokojenia. Czasopisma rzadko podają, z kim się kontaktować w sprawie potencjalnie unieważniających błędów. Musieliśmy zgadywać, czy wysłać listy do członka personelu lub redaktora, formalnie przesłać list jako manuskrypt, czy skontaktować się bezpośrednio z autorami artykułu. Kilka razy zdecydowaliśmy się skontaktować z autorami, gdy pozorny błąd unieważniający mógł być jedynie niejednoznacznym opisem. W jednoznacznych przypadkach zazwyczaj kontaktowaliśmy się z czasopismem. Często czasopisma nie udostępniały możliwości bezpośredniego kontaktu z redaktorami, a personel redakcyjny korespondował, nie przedstawiając się; nie byliśmy pewni, czy redaktorzy byli zaangażowani.
Czasopisma, które przyznały się do błędów unieważniających, niechętnie publikowały sprostowania. W jednym przypadku my i inni odkryliśmy, że artykuł błędnie twierdził, że korekta statystyczna wprowadza stronniczość, i wysłaliśmy list do redaktora za pośrednictwem systemu przesyłania artykułów czasopisma. Zewnętrzna recenzja statystyczna zlecona następnie przez czasopismo potwierdziła błąd. Autorzy zostali poproszeni o wycofanie artykułu, ale odmówili. Czasopismo ostatecznie opublikowało odpowiedź autorów na nasz list i podsumowanie krytyki zleconych recenzentów. Towarzyszący artykuł redakcyjny opublikowany przez czasopismo stwierdził, że „każdy autor jest odpowiedzialny za upewnienie się, że procedury statystyczne są prawidłowo stosowane i ważne dla przesłanego badania”.
Autorzy i czasopisma powinni szybko udostępniać dane i kody, gdy pojawią się pytania.
Czasopisma pobierają od autorów opłaty za poprawianie błędów innych. W przypadku jednego artykułu, który naszym zdaniem zawierał błąd unieważniający, mogliśmy opublikować komentarz w internetowym systemie komentowania lub uiścić „obniżoną” opłatę za złożenie artykułu w wysokości 1716 USD. W przypadku innego czasopisma tego samego wydawcy opłata za opublikowanie listu wynosiła 1470 funtów (2100 dolarów). Z listów pisma wynikało, że „przy ocenie wniosków o odstąpienie od umowy nie możemy brać pod uwagę względów redakcyjnych, a jedynie udokumentowaną zdolność płatniczą autora”. Komisja ds. Etyki Publikacyjnej, niezależny organ udzielający porad dotyczących postępowania w przypadku niewłaściwego postępowania badawczego, twierdzi, że czytelnicy nie powinni płacić za wycofanie publikacji. Według naszej wiedzy żaden organ nie omawiał, czy za poprawienie błędów należy obciążać osoby trzecie.
Nie istnieje standardowy mechanizm żądania surowych danych. Gdy mieliśmy dostęp do danych online, mogliśmy szybko potwierdzić podejrzenia błędów. W co najmniej dwóch przypadkach poprosiliśmy autorów o dane, ale zamiast tego otrzymaliśmy podsumowania obliczeń. Czasami nie otrzymywaliśmy żadnych danych i wtedy nie było jasne, czy poprosić personel czasopisma. Jedno czasopismo wycofało artykuł, gdy jego autorzy odmówili przedstawienia swoich danych lub wyjaśnienia rozbieżności, które zidentyfikowaliśmy i o których powiadomiliśmy czasopismo w litera.
Bezpośrednia współpraca z autorami może opóźnić korektę. Po tym, jak skontaktowaliśmy się z autorami w sprawie innego artykułu, zaproponowali oni ponowną analizę danych, aby rozwiać nasze wątpliwości. Po miesiącu braku odpowiedzi przesłaliśmy do dziennika list z zastrzeżeniem. List został sprawdzony i zaakceptowany w ciągu trzech tygodni. Autorzy, gdy zostali poinformowani o oczekiwaniu na publikację naszego listu, przesłali nam e-mail z informacją, że przygotują odpowiedź, a także poprosiliśmy czasopismo o niepublikowanie naszego listu, abyśmy mogli współpracować z autorami oryginału. Proces ten jest w toku, dziesięć miesięcy po tym, jak zidentyfikowaliśmy błąd.
Nieformalne wyrazy obaw są pomijane. Chociaż platformy internetowe, takie jak PubMed Commons, oferują wygodny sposób komentowania opublikowanych prac, nie obejmują one roli mediatora dla redaktorów czasopism, a komentarze nie są włączane do literatury. Opublikowane obawy rzadko są widoczne na stronach internetowych czasopism i nie są w żaden użyteczny sposób odsyłane. W rezultacie czytelnicy mogą założyć, że wadliwy artykuł jest poprawny, co potencjalnie prowadzi do błędnych decyzji w nauce, opiece nad pacjentem i polityce publicznej.
W jednym przypadku zdecydowaliśmy się na opublikowanie komentarza na stronie czasopisma i w serwisie PubMed Commons po miesiącach prywatnej korespondencji, w której autorzy udostępnili dodatkowe dane i poinformowali, że przygotowują pełną odpowiedź. Potwierdzono zastrzeżenia, ale pozostały one nierozwiązane 15 miesięcy po skontaktowaniu się z autorami i czasopismem oraz 6 miesięcy po opublikowaniu naszego komentarza.
Co można zrobić?
W czasopismach obowiązują wytyczne dotyczące zgłaszania artykułów i recenzowania. Komisja ds. Etyki Publikacyjnej przedstawiła zalecenia dla czasopism dotyczące rozwiązywania problemów w takich obszarach, jak autorstwo i recenzowanie. Niewiele jest jednak formalnych wytycznych dotyczących poprawek po publikacji.
Commentaires