Mentionsy

Czy grupa można przewidzieć wyniki badań? O zastosowaniu rynków predykcyjnych w nauce | Otwarta nauka w Centrum Kopernika #15

W tym odcinku zajmiemy się pytaniem, czy zagregowane opinie grupy osób są w stanie trafnie przewidzieć wyniki badań naukowych np. to, czy badanie uda się zreplikować czy nie. Opowiemy o kilku inicjatywach opierających się na wykorzystaniu w tym celu rynków predykcyjnych, dyskusji grupowej oraz AI.

Gospodarzami podcastu są dr Katarzyna Jaśko (Uniwersytet Jagielloński) oraz dr Bartosz Janik (Uniwersytet Śląski w Katowicach).

Dofinansowano z programu „Społeczna odpowiedzialność nauki” Ministra Nauki i Szkolnictwa Wyższego w ramach projektu „Otwarta Nauka w Centrum Kopernika”.

Literatura i linki:

Dreber, A., Pfeiffer, T., Almenberg, J., Isaksson, S., Wilson, B., Chen, Y., ... & Johannesson, M. (2015). Using prediction markets to estimate the reproducibility of scientific research. Proceedings of the National Academy of Sciences, 112(50), 15343-15347. https://www.pnas.org/doi/full/10.1073/pnas.1516179112

Gordon, M., Viganola, D., Dreber, A., Johannesson, M., & Pfeiffer, T. (2021). Predicting replicability—Analysis of survey and prediction market data from large-scale forecasting projects. Plos one, 16(4), e0248780. https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0248780

Viganola, D., Buckles, G., Chen, Y., Diego-Rosell, P., Johannesson, M., Nosek, B. A., ... & Dreber, A. (2021). Using prediction markets to predict the outcomes in the Defense Advanced Research Projects Agency's next-generation social science programme. Royal Society Open Science, 8(7), 181308. https://royalsocietypublishing.org/doi/10.1098/rsos.181308

Yang, Y., Youyou, W., & Uzzi, B. (2020). Estimating the deep replicability of scientific findings using human and artificial intelligence. Proceedings of the National Academy of Sciences, 117(20), 10762-10768. https://www.pnas.org/doi/full/10.1073/pnas.1909046117

Hanson, R. (1995). Could gambling save science? Encouraging an honest consensus. Social Epistemiology. 9, 3-33. https://www.tandfonline.com/doi/pdf/10.1080/02691729508578768?casa_token=mAsxzbQ4T9wAAAAA:wkIUcFNJfqu6TeFH2yfeRHQPQUU4Lg_vgXxbVDccbn0Lv0hizCtIugZieHYC2L3XE-jc7SnuzBU

Metascience 2021 "Forecasting Scientific Outcomes" https://www.youtube.com/watch?v=PF5gUL3hGac

Pojęcie „otwartej nauki” przywoływane jest nieustannie w aktualnych dyskusjach toczonych w środowisku naukowym. Rozumie się przez nie otwarty (nieodpłatny i nieograniczony czasowo ani terytorialnie) dostęp do publikacji naukowych, a także udostępnianie przez naukowców zarówno wyników badań, jak i zgromadzonych danych oraz algorytmów wykorzystanych do ich przetwarzania. Celem postulowanych przez zwolenników „otwartej nauki” praktyk i rozwiązań jest zwiększenie przejrzystości całego procesu prowadzenia badań naukowych i publikacji ich wyników, unikanie patologii (takich jak oszustwa naukowe) i zwiększenie społecznego zaufania do nauki. Postulaty te wyłoniły się m.in. w odpowiedzi na kryzys replikacyjny, który obejmuje coraz większą liczbę dyscyplin naukowych, wstrząsa podstawami naszej wiedzy i podkopuje społeczne zaufanie do samej nauki. Nie mamy wątpliwości, że nauka odpowiedzialna społecznie musi spełniać kryteria “otwartej nauki”.

Oczywiście będziemy rozmawiać, ty nam powiesz, bo... Ale to nam nie zeszło. Dzisiaj będziemy rozmawiali o przewidywaniu wyników badań, w szczególności będziemy dyskutowali o takich sytuacjach, kiedy przewiduje te wyniki badań więcej niż jedna osoba, ale nie w ten sposób, że siadają i dogadują się, tylko robią to niezależnie od siebie, ale za pomocą jakiegoś mechanizmu. Czasem siadają razem z tyłu. Czasem tak, będziemy o tym mówili. Tak, więc może jeśli... Pierwsze takie wyjaśnienie, ...