4. A tudományfilozófia szociológiai fordulata
4.2 A tudományfilozófia kvantitatív szociológiai módszerei
4.2.2 Tudománymetria, bibliometria – a tudomány szociológiai valósága és értékelése
Ha a kutatói társadalomban végzett közvélemény kutatás keretében most arra kérnénk a megkérdezetteket, hogy definiálják a tudománymetria fogalmát, a sor elején valószínűleg olyan válaszok állnának, amelyek szerint az a kutatói teljesítményértékelés (főként adminisztratív) eszköze, célja a tudomány szereplőinek minőségellenőrzése, megrendelője (haszonélvezője) pedig a tudomány szakpolitikusa. Ha ugyanakkor elővesszük a Scientometrics nevű, sok évtizedre visszatekintő nemzetközi – egyébként a terület magyar szaktekintélyei által indított és szerkesztett – szaklapot, annak borítóján a következő meghatározással szembesülhetünk: „a tudományos [scholarly]
kommunikáció kvantitatív vizsgálata”. A két, ránézésre igen eltérő megközelítés szembenállásának természetes magyarázata volna, hogy a szakfolyóirat a kutatási területet, az „elméletet” képviseli, míg az érintett közvélemény annak alkalmazását, a gyakorlatot illeti az elnevezéssel. Az ugyanakkor, hogy miként lesz/lehet a kommunikáció vizsgálatából minőségellenőrzés, és hogy a tudománymetria elmélete és gyakorlata valóban ezzel jellemezhető-e, korántsem nyilvánvaló. Az alábbiak ehhez is szempontokat kívánnak adni.
4.2.2.1 Indikátorok, mutatók, listák és rangsorok: értékelő bibliometria
Amennyiben a tudománymetria alapfeladata a tudomány szerveződésének, működésének kvantitatív vizsgálata, akkor a tudományos tevékenység mérhető, számszerűsíthető indikátoraira van szükség. Lévén a kutatás eredményei – és meglepően sok további jellemzője – legáltalánosabb esetben a szakmai közleményekben, publikációkban, vagyis a tudomány formális kommunikációjában érhetők tetten, a kívánt indikátorok elsősorban ezekre alapozhatók.
A tudománymetria ezért klasszikusan és mindenekelőtt bibliometria, ennek kulcsai a publikációs és idézési adatok.
A tudományon belül zajló formális kommunikációt lényegében világméretű léptékben láthatóvá, így elemezhetővé és mérhetővé azok az adatbázisok tették, amelyek a nemzetközi tudomány kibocsátásának, metaadatainak rendszerezésére jöttek létre. (A metaadat olyan adatelem, általában a tárgyadatnak egy része, amely a tárgyadat egyértelmű azonosítására, vonásainak megállapítására szolgál. A publikációk tipikus metaadatai a szerzői adatok, a cím, a megjelenés helyes és ideje, a kulcsszavak, hivatkozások, esetleg a közlemény kivonata, kombinálva mindez
az olyan utólagos metaadatokkal, amelyeket az adatbázis kezelője fűzhet hozzá: például a közlemény által érintett tudományterületek és tárgykategóriák felsorolása.) Az ilyen metaadatok meglepően gazdag forrásanyagot szolgáltatnak a tudomány szerkezeti jellemzőinek, trendjeinek és dinamikájának vizsgálatára, amennyiben is kódolják a tudományos közlemények közötti – hivatkozási, szerzőségi, tematikus stb. – kapcsolatokat is. Ezért az ilyen nagyléptékű, multidiszciplináris adatbázisok, valamint a belőlük származó ún. citációs indexek szolgáltatnak nyersanyagot a tudománytérképezés számára.
A terület alkalmazása iránti, évtizedek óta fokozódó igényt jól jellemzi, hogy mára igen népessé és aktívvá vált a tudomány metaadatainak nemzetközi piaca, meghatározó szolgáltatókkal: a ’50-es években Philadelphiában létrejött ISI (Institute for Scientific Information) leszármazottjaként közismertWeb of Science-adatbázisok (Reuters Thomson) vagy a szintén egy nagy kiadóvállalat (Elsevier) működtetteScopusnemzetközi, sok tízezer szakfolyóiratot indexelő ún. citációs adatbázisai a mai tudománymetria sztenderd adatforrásai. Ezek a nagyléptékű források a nemzetközi tudományt igyekeznek reprezentálni (historikusan is, a hetvenes évek óta), ezért nemcsak adatot, hanem egyfajta referenciahalmazt is szolgáltatnak a tudomány szereplőinek, az országok, intézmények, szakfolyóiratok és – bizonyos feltételek mellett – az egyéni kutatók összehasonlító vizsgálatához, legalábbis ami a nemzetközileg látható tudományos tevékenységet illeti.
A szakterületek egy releváns része ugyanakkor, természeténél fogva, kevésbé nemzetközi (jellemzően a humán és társadalomtudományok bizonyos szegmenseit szokás ide sorolni): többek között ezért is folyamatos törekvés a megbízható, országos gyűjtőkörű adatbázisok fejlesztése is, ilyen Magyarországon a Magyar Tudományos Művek Tára (MTMT). Ezekben a nemzeti nyelvű (és a nagy nemzetközi adatbázisokban csak szelektíven reprezentált) folyóiratok és a humán tudományokban igen jelentős könyv, ill. könyvfejezet alapú publikációk is helyet kapnak.
Ezeknek a publikációknak a felkutatása, menedzselése, hivatkozásaik követése ma külön, önálló terület.
A publikációs tevékenység egyik nyilvánvaló kvantitatív vizsgálati módja a méretbeli kérdésekre vonatkozik. A klasszikus tudománymetria egyik alapkérdése a tudományos szakirodalom méretbeli alakulásának szabályszerűségeit veszi célba (pl. időbeli növekedésének matematikai modellezése, eloszlásának vizsgálata, következményei). A szakterületet elsősorban ezen a ponton állítja szolgálatába a tudománypolitika és kutatásértékelés: a tudomány teljesítményértékelésének jól értelmezhető, egyszerű és az adatforrásokból – elvileg – biztonságosan előállítható mutatója a kibocsátás, a szakmai közlemények száma. (Az „elvileg” közbevetés fontos figyelmeztetés: a nagy nemzetközi adatbázisok alapján történő adatgyűjtés és azok szakszerű feldolgozása önmagában is számos buktatóval terhelt és szakértelmet igényel, a „házilag készített gyorsstatisztikák” meglepően félrevezetőek lehetnek.) A kibocsátás a legkülönfélébb aggregációkban vizsgálható (egyének, intézmények, országok, folyóiratok, stb.) A mennyiség mellett az értékelés számára alapvető másik szempont a minőség kérdése. A tudománymetria erre vonatkozóan több specifikus indikátort szolgáltat, amely a tudomány működésmódjából adódik: a publikációk minőségét elsősorban a tudományra gyakorolt hatásukból vezeti le. A hatás mérésére pedig az idézést (citációt) mint mérhető, számszerűsíthető kapcsolatot alkalmazza, s ebből alkot további mérőszámokat.
A bibliometriának a kutatásértékelés hátterében álló részterülete (az ún. értékelő, evaluatív tudománymetria) ennek megfelelően a produktivitás [performance] és hatás [impact] dimenziójában vizsgálódik. A tudományos közvélemény legtöbbször ennek adminisztratív vetületével találkozik, amely a publikációs és idézési listák alapján való megítélés, rangsorolás, stb. terhét hordozza. A tudománymetriai kutatás és (ideális esetben) az alkalmazás azonban nem e leíró statisztikákban végződik, hanem ott kezdődik. Ahhoz ugyanis, hogy valós képet kapjunk egy-egy szereplő (pl. intézmény) teljesítményéről, hatásáról és hatékonyságáról, figyelembe kell venni mind az indikátorok viselkedését, amely a tudomány erre irányuló modellezésével ismerhető meg leghatékonyabban, mind pedig a vizsgált szereplők kontextusát.
Ma már köztudomású például, hogy az egyes tudomány-, sőt szakterületek mérete, kibocsátási és idézési rátája egészen különböző. Például a biológia és az orvostudomány területén a közösség szokásrendszere szerint „egy kísérlet – egy cikk”, és részben ennek megfelelően, cikkenként sok hivatkozás elvárt a megelőző eredményekre.
Ezzel szemben például az ökológia már jóval kevésbé hivatkozás intenzív, a távolabbi matematika területén pedig igen keveset szokás hivatkozni. A különböző területekről származó szereplők nyers statisztikáinak egymással való közvetlen összehasonlítása már csak ezért sem kielégítő méréstechnika.
További példaként hozható egy másik alapmegfigyelés is az indikátorok természetére vonatkozóan: az idézések – mint hatásmutatók – sajátos, időbeli viselkedést mutatnak. Értelemszerűen a citációk mindig a publikáció megjelenését követik és időben halmozódnak. A fiatalabb közleményeknek ezért jellemzően kevesebb az idézése, ez viszont eleinte nem azok minőségével, hanem az idézésre rendelkezésre álló idővel van összefüggésben. Ezért
kulcsfontosságú lehet a publikációs és idézési ablakok – egymással összefüggő – megválasztása. A citációk számlálásakor, ha összehasonlítás a cél, az azonos korú, praktikusan (1) azonos évben közzétett publikációkat vagy (2) a különböző évben született közlemények esetében az azonos időtávot (ún. rögzített idézési ablakot) célszerű alapul venni. Az elv mindkét esetben ugyanaz: mivel az idézetszám nyilvánvalóan függvénye a publikáció kibocsátása óta eltelt időnek (mert hosszabb idő alatt több citáció begyűjtésére van lehetőség és fordítva), ezért a minőség mérésében ezt a tényezőt is kontrollálni szükséges. Ezért a közleményeket azonos idő alatt kifejtett hatásuk szerint kell összemérni.
Az egyszerű összesítés ugyanakkor elfedi a publikációk és idézések időbeli eloszlását, azaz nem tükrözi például azt, hogy az adott citációszám mekkora része jut az időszak elején közölt, ill. a frissebb közleményekre. Emiatt azonos összesített impakt-mutató (pl. átlagos idézetszám) mellett is előfordulhat (legalábbis hipotetikusan), hogy akár azonos összes publikáció- és idézettömeg mellett is, két kibocsátónak a megegyező korú, szakterületileg is hasonló publikációi mégis eltérő idézettségűek (hatásúak) legyenek. Ez a jelenség ismét aláhúzza azt, hogy az összesített hatásmutatókat tartalmazó vizsgálatok csak a szerkezeti elemzéssel együtt értelmezhetők biztonsággal.
Az összesítések egy további torzító tényezője még rögzített citációs ablak mellett is kifejti hatását, ami pedig ismét a szakterületek eltéréseire vezethető vissza. Az egyes szakterületek változatos kommunikációs viselkedése ugyanis abban is megnyilvánul, hogy különböző, sokszor belsőleg jellemző ütemben halmozzák fel az idézeteket, érik el maximális idézettségüket. Ideális esetben ezért szakterületenként különböző, az adott területre jellemző hivatkozási ablak volna javasolható, bár sajnos az ilyen vizsgálatokhoz többnyire nem állnak rendelkezésre a megfelelő adatok.
A szempont gyakorlati jelentősége mégis abban áll, hogy rámutat a profil-alapú összehasonlítások jelentőségére:
a hasonló szakterületi szerkezetben, profilban publikáló kibocsátók (személyek vagy intézmények) összemérése során kevésbé áll fenn annak a veszélye, hogy egyikük amiatt mutatkozik idézettebbnek, mert a „gyorsabb”
tudományok szerepelnek repertoárjában, és ezért azonos idő alatt több citációt halmozott fel.
A fenti két, viszonylag egyszerű példából is látható, hogy megfelelő produktivitás- és hatásmutatók előállításához, ill. a mindenkori kérdéshez illeszkedő használatukhoz számos tudományszociológiai és statisztikai tényezőt kell kezelni, a torzításokat korrigálni kell. Az evaluatív tudománymetria lényegében ezek információtudományi modellezésével és az indikátorok kialakításával foglalkozik.
4.2.2.1.1 A legismertebb indikátorok
Népszerűségük okán érdemes két ilyen indikátort, a folyóiratok minőségét mérő Impakt Faktort, illetve az (eredetileg) egyéni kutatói eredményességet jellemző ún. Hirsch-indexet megemlíteni.
Az Impakt Faktor egy alapvető korrekciós technika, a normalizálás eredménye, és (legismertebb változatában) egy-egy folyóirat átlagos idézettségét tükrözi évenként, vagyis az egy (megelőző két évben megjelent) cikkre jutó citációk mennyiségét. A mutató jelentésének, viselkedésének vizsgálata, elemzése, kritikái mára vastag könyveket töltenek meg (lásd. Braun 2007), minthogy alakulását számos statisztikai–módszertani (pl. a „ferde eloszlások átlagainak problematikája és mítoszai” – vö. Glänzel 2009 –, vagy a hivatkozási időablak megválasztása, a folyóiratok mérete stb.), technikai (előállítása a megfelelő citációs indexekből) és tudományszociológiai tényező befolyásolja. Az utóbbiak alapján szokás az impakt faktort némi malíciával a népszerűség mutatószámának is nevezni, minthogy nem tesz különbséget az idézések között azok forrása, pl. szakterülete szerint („anything goes”).
Mára ezért számos finomítása és alternatívája van forgalomban, amelyek pl. algoritmikusan differenciálnak a különböző helyről érkező hivatkozások között, így a puszta népszerűség helyett a szűkebb szakmai presztízs kimutatására is alkalmasak lehetnek (pl. Scimago Journal Rank, SJR vagy az Eigenfactor nevű index), vagy éppen
„automatikusan” figyelembe veszik a szakterületi eltéréseket (pl. Source Normalized Impact, SNIP).
A másik, nagy népszerűségnek örvendő mutató – az ötletgazdájáról elnevezett – Hirsch-index. A javaslat eredetileg az egyén jellemzésére irányult, de bármilyen, idézett publikációkkal rendelkező szereplőre vonatkoztatható (intézmény, ország, szakterület stb.). Szellemessége főként abban áll, hogy kiegyensúlyozottan igyekszik figyelembe venni mindkét oldalt, a produkciót és hatást is: ha egy kutatónak 30 a Hirsch-indexe, az annyit tesz, hogy harminc olyan közleménye van összesen, amelyek egyenként legalább harmincszor voltak idézve; a többi közleménye, akármennyi is van belőlük, ennél kevesebbszer. Ha tehát valaki csak egyetlen, de nagyon sikeres cikket ír, sok száz idézéssel, akkor a H-indexe 1 marad (így a „one-hit wonder” típusú extrém esetek nem kapnak magasabb helyezést). Hogy ez mennyire méltányos, arról persze szintén megoszlanak a vélemények: a H-index pl. nem veszi figyelembe, hogy az a bizonyos 30 cikk hány ezen felüli citációt kapott (extrém példa: két kutató H-indexe harminc, de az egyikük több száz további, a másik ténylegesen harminc hivatkozást kapott ezen cikkek többségére). Ennek ellensúlyozására való az E-index (ami éppen ezt a különbséget méri), illetve számos további változat és finomítás,
amely a torzítások korrekciójára törekszik. Például az eredeti definíciót követve a H-index egy kutató élete során csak növekedhet, így részben az életkort méri – ennek ellensúlyozására szolgálnak az 5 vagy 10 éves időablakkal működő variánsok, és így tovább.
Kicsit pontosabban kifejezve, egy entitás (személy, csoport vagy intézmény) H indexe h, ha h darab olyan publikációja van, hogy mindegyikre külön-külön legalábbhalkalommal hivatkoztak. Ez ahérték szemléletes geometriai értelmezésben egyébként a publikációk idézési rangeloszlásának és egy 45 fokos egyenesnek a metszéspontja. Ahogy említettük, ugyanakkor a H index nem veszi figyelembe azt, ha a szóban forgóhpublikáció – az ún. „h mag” – egy-egy eleméreh-nál több hivatkozás érkezik (más szóval, ha ah-magra több, minth2). Ezért a H index mellett gyakran egy másik mennyiséget, a G indexet is szokás tekinteni: Egy entitás (személy, csoport vagy intézmény) G indexeg, hagdarab olyan publikációja van, hogy rájuk együtteseng2alkalommal hivatkoztak.
A G index értéke általában nagyobb a H indexnél – ez ugyancsak a geometriai értelmezésben válik azonnal világossá.
Ugyanakkor, mivel másféle információt hordoz, egy önálló, független indexnek tekinthető. Az E index egy további megoldást nyújt a H indexben figyelembe nem vett „többlet hivatkozások” kezelésére:e2értéke a h-magban szereplő publikációkhérték fölötti hivatkozásainak összege.
A H, G és E indexek geometriai értelmezésben
Konkrét esetekben a fentiek miatt célszerű a különböző indexek, (az itt említett és nem említett, a szakterület által elismert) mutatók kombinált, együttes alkalmazása. Ezzel el is érkeztünk az értékelő bibliometria ma talán legfontosabb, korszerű elvéhez: a sokdimenziósság kritériumához.
Sok évtizedes általános tapasztalat, hogy „varázsmérték” mítosz, és nem létezik egyetlen „tökéletes” mutató sem, nincs „univerzális megoldás”. Az értékelő modellt, a mutatók kiválasztását ezért minden esetben a kérdésfeltevéshez kell igazítani. A sokdimenziós megközelítés különösen hangsúlyos az egyre divatosabb tudománymetriai rangsorok (pl. tudománymetriai szempontú intézményi rangsorok) szempontjából. A rangsorolásra használt mutatók viselkedése még külön-külön, egyenként is vizsgálat tárgyát képezi, például annak a megítélésekor, hogy két helyezés közti mennyiségi különbség valóban mérvadó (azaz szignifikáns)-e? Az pedig, hogy miként lehet egy sokváltozós mutató-készlet alapján, végső soron mégis egydimenziós sorrendet képezni, az információtudomány eszköztárának széleskörű mozgósítását igényli.