Wykres reprodukowalności badań według dziedziny — Nature

Środowe wydanie czasopisma naukowego Nature skupiło się na reprodukowalności.

To bardzo ważne.

W skrócie chodzi o to, że badacze sprawdzają czy po wykonaniu tych samych obliczeń, na tych samych danych wyniki są takie jak zaraportowane w oryginalnym badaniu. Dodatkowo sprawdzają, czy używając innej metody obliczeń, efekty wykazane w oryginalnym badaniu są podobne.

Postęp cywilizacji opiera się na kumulowaniu wiedzy. Dlatego tak ważne jest, byśmy jako społeczeństwo dochodzili do prawdy w sposób systematyczny i weryfikowalny.

Nauka to najlepsze narzędzie, jakie mamy — ale działa tylko wtedy, gdy jej wyniki można niezależnie zweryfikować. Inaczej musimy opierać się na zaufaniu, autorytetach itd.

Publikacje ze środy to ogromny krok naprzód w realizacji tego ważnego trendu: udostępniania surowych danych wraz z wynikami badań oraz ich weryfikacji przez niezależne zespoły.

Dużą nadzieję w tym kontekście budzą narzędzia AI wspomagające programowanie. Naukowcy często nie są programistami, a współczesne analizy wymagają umiejętności w językach takich jak R czy Python. Narzędzia AI mogą zautomatyzować ten proces, a tym samym uczynić naszą metodologię dochodzenia do prawdy bardziej stabilną i powtarzalną.

Tweet z odpowiedzią od I4Replication na pytanie o automatyzację weryfikacji

A co do samych wyników:

  • 53% badań udało się odtworzyć obliczeniowo (ale 75% publikacji nie zawierało nawet wystarczających danych, by spróbować)
  • 49% eksperymentów udało się powtórzyć od zera
  • W 2% przypadków alternatywna analiza dała wynik odwrotny niż oryginalny