Každému vědci se občas stane, že dospěje „vědeckou metodou“ k nevysvětlitelným závěrům. Jak na takovou situaci reagovat? V sociálních vědách mají vědci často tendenci takové neuvěřitelné výsledky zpochybňovat odkazem na nedokonalou metodologickou povahu ne-experimentálního výzkumu. Co ale dělat, pokud k neuvěřitelným výsledkům dospějeme na základě naprosto čisté a robustní metodologie?

Randomizovaný experiment je zlatým standardem vědy. Je hlavní výzkumnou metodou přírodních věd a je i v metodologických učebnicích pro sociální vědy základem, s nímž jsou ostatní metody explicitně nebo implicitně srovnávány. Sociální vědy ovšem, snad s výjimkou sociální psychologie, randomizovaný experiment téměř vůbec nepoužívají. Ne snad, že by neuznávaly jeho kvality. Naopak! I metodologové sociálních věd tvrdí, že „je třeba experimentálním datům dávat přednost před ne-experimentálními“ . Experimenty jsou v sociologii a příbuzných vědách problematické z praktických, ne metodologických důvodů. Důležité sociální proměnné nelze manipulovat; když je manipulace možná, je často neetická; pokud je manipulace proměnných možná i eticky přijatelná, pak se zpravidla nacházíme v nereprezentativním prostředí, což omezuje externí validitu experimentů atd.

Dominantní metodou sociálních věd se proto stala mnohorozměrná statistická analýza ne-experimentálních dat, jejíž procedury mají formálně nahradit kontrolu, která je v řádném experimentu zaručena náhodným výběrem jednotek analýzy do kontrolní a experimentální(ch) skupiny(skupin). Ne-experimentální data mohou pocházet z řady zdrojů, nejčastěji však z dotazníkových šetření pravděpodobnostních vzorků základní populace. Každý závěr ne-experimentálního sociologického výzkumu je potenciálně předmětem silné kritiky na základě skutečných, nebo jen domnělých, slabin v metodologii.

Ne-experimentální sociálněvědní výzkum bývá kritizován z řady důvodů. Kritizováno samozřejmě je především samotné analytické paradigma, ale multiparadigmatičnost sociologie, to je, přiznejme si, stará muzika. Kritiky uvnitř paradigmatu se zaměřují na kvalitu dat, zejména na kvalitu měření a reprezentativitu výběrů. Vlastně každý sociologický výzkum lze zpochybňovat odkazem na neznámou, nicméně potenciálně nízkou, reliabilitu a validitu měření a nedostatečnou reprezentativitu. A žádný výsledek tak nemusí, alespoň pro někoho, být směrodatný, nebo, chcete-li, „pravdivý“. To dovoluje sociologům ignorovat některé vědecky nevysvětlitelné výsledky.

Základem filozoficky mnohem hlubší kritiky z pera některých prominentních statistiků a sociologů byla ovšem skutečnost, že se sociální vědy metodologicky natolik vzdálily od standardu experimentální metody, že již nemohou aspirovat na jakoukoli výpověď o kauzálních vztazích. Přestože se domnívám, že jde o příliš silné tvrzení, neboť experimentální i ne-experimentální věda sdílejí řadu problémů, které bývají chybně připisovány pouze ne-experimentální metodě , nemám zde v úmyslu řešit tuto úlohu z oblasti filozofie vědy.

Moje otázka je skromnější. Co máme dělat s neuvěřitelnými výsledky, které vyprodukovala všemi uznávaná a nekritizovaná (sic!) metoda? Vědci v takových situacích většinou nemohou věřit svým vlastním očím. Stojí totiž na fascinující hranici současného poznání. V sociologii podobné situace nezažíváme, ale v přírodních vědách musejí lidé i neuvěřitelné výsledky brát vážně. Dám vám příklad.

Cha, Wirth a Lobo použili metodu dvojitě slepého randomizovaného experimentu k určení, zda přímluvná modlitba má nějaký kladný efekt na pravděpodobnost otěhotnění u žen, které se v centru asistované reprodukce ucházely o umělé oplodnění. Jejich metoda by po formální stránce nemohla být lepší. Do experimentu bylo vybráno 219 jihokorejských žen, které se průběhu 4 měsíců podrobily pokusům o umělé oplodnění (IVF). Ani samotné ženy, ani jejich ošetřující lékaři o experimentu nebyli informováni. S experimentem bylo seznámeno pouze vedení nemocnice. Náhodným způsobem bylo všech 219 žen rozděleno do experimentální a kontrolní skupiny. Ženy v kontrolní i experimentální skupině podstupovaly stejnou proceduru s jediným rozdílem: fotografie a krátké životní příběhy žen v experimentální skupině byly zaslány do několika křesťanských náboženských center v Kanadě, Spojených státech a Austrálii se žádostí, aby se členové církve po určenou dobu modlili za úspěch umělého oplodnění vybraných žen. Po ukončení experimentu byly z původní nemocnice získány údaje o skutečném úspěchu IVF jak v kontrolní, tak v experimentální skupině a teprve pak byla data poskytnuta samotným výzkumníkům.

Vzhledem k náhodnému rozdělené žen do obou skupin je možné zjištěné rozdíly v pravděpodobnosti úspěchu IVF (pokud jsou statisticky významné) připsat pouze experimentálnímu impulsu, v tomto případě přímluvné modlitbě. Z hlediska současné vědní metodologie neexistuje pravděpodobně čistší a přesvědčivější způsob jak demonstrovat vztah mezi experimentálním impulsem a závislou proměnnou.

Jaký je výsledek? Z hlediska moderní vědy je naprosto neuvěřitelný! Zatímco ženy v kontrolní skupině otěhotněly v 26% případů, ženy v experimentální skupině v 50% případů, což je rozdíl silně statisticky významný na všech běžných hladinách významnosti (p=0,0013).

(Celý článek: http://www.socioweb.cz:80/index.php?disp=teorie&shw=142&lst=115)

Reference:
Arminger, Gerhardt a George W. Bohrnstedt. 1987. “Making it Count Even More: A Review and Critiques of Stanlez Lieberson’s Making it Count: The Improvement of Socia Theory and Research.” Pp. 363-72 in: Sociological Methodology. Editoval Clifford C. Clogg. Washington, D.C.: American Sociological Association.

Cha, Kwang Y., Daniel P. Wirth, a Rogerio A. Lobo. 2001. "Does prayer influence the success of in vitro fertilization-embryo transfer?: report of a masked, randomized trial." Journal of Reproductive Medicine 46:781-787.

Freeman, David A. 1987. “As Others See Us: A Case Study in Path Analysis.” Journal of Educational Statistics 12: 101- 128.

Lieberson, Stanley. 1985. Making it Count: The Improvement of Socia Theory and Research. Berkeley: University of California Press.

Smith, Herbert L. 2003. “Some aspects of current thinking on causation as they relate to demography and population studies.” Manuscript, Population Studies Center, University of Pennsylvania, Philadelphia, PA.
 

Redakční poznámka:
Vědecká interpretace těchto výsledků je docela zajímavá. Zaprvé existuje velice nízká pravděpodobnost, že se do výsledku vloudil nějaký náhodná vliv, který neměl s přímluvnými modlitbami nic společného. Druhá možnost je, že se věda opravdu setkává s něčím, co přesahuje naše současné vědecké poznatky. Jestliže opravdu dokáže "přání" ovlivnit "objektivní realitu", bylo by to pro současnou vědu těžko stravitelné sousto. Pokud ale chce věda zůstat vědou, neměla by ani jednu možnost odmítnout a pokračovat v započatých experimentech.

O podobném efektu se ostatně mluví už delší dobu. Jeho negativní podoba pravděpodobně může i za to, že zcela ve shodě s přáním skeptiků, se v jejich experimentech nikdy nepodařilo prokázat fungování virgulí a podobných nástrojů. Tak jako modlící se skupina může fungovat ve shora popsaném experimentu jako "zesilovač", v experimentech s proutkaři naopak může stačit jediný "zbožně věřící" skeptik jako dokonalá rušička. V každém případě i tyto hraniční otázky stojí za nezaujaté prozkoumání.

JiHo