Esettanulmány: magyar intézmények kutatási értékelése

Érdemes megismerkedni a felvázolt módszerek és eszközök hazai alkalmazásával. A www.hungarianscience.org honlap – több korábbi projekt eredményeit felhasználva – intézményi bontásban mutatja be a magyar tudomány jellegét és teljesítményeit, az ISI (Reuters Thomson) adatbázis adatai alapján. Ennek két kulcsa a magyarországi intézmények listája (mely jelenleg 40 intézményt tartalmaz), valamint az ISI által meghatározott tárgykategóriák (jelenleg 244). A vizsgált intézmények köre magában foglalja a legnagyobb hazai kibocsátókat, köztük az MTA-t, az összes állami egyetemet és főiskoláMTA-t, valamint az állami feladatokat ellátó egyházi (Pázmány Péter Katolikus Egyetem, Károli Gáspár Református Főiskola), illetve kiemelt jelentőségű magán felsőoktatási intézményeket (Central European University, Kodolányi János Főiskola).

Az intézményi szint, és a vizsgált időszakra vetített aggregált adatok használata egy olyan makrokontextust hoz létre, amely megmutatja egy adott intézmény összesített publikációs és idézési volumenét a vizsgált időszak alatt.

Ennek felhasználásával először is hagyományos összefoglaló statisztikák készültek, amelyek a kibocsátáserősséget (produkciót) és hatást közvetlen formában jellemzik.

Országos összesítő adatok a 2007-2011 időszakra

Országos kibocsátási adatok rangsorrendje a 2007-2011 időszakra

Érdekes lehet szemügyre venni az intézmények összesített H,G,E index adatait is egy rangsorrend megjelenítésben.

Hasonló ábrákat az idézett honlap tudományterületenként is közöl.

A magyar intézmények H,G,E indexbeli rangsorrendje a 2007-2011 időszakra, H szerinti sorban

Az országos, intézményi vagy kutatói teljesítmény vizsgálatának leginkább kézenfekvő kérdése azonban – mint már említettük – a szakterületi besorolások felhasználásával a tudományos profil jellemzése, már csak azért is, mert a fent említett indexek mindegyike érzékeny a művelt szakterületek rendszerére, így önmagában nem elegendő az intézményi összehasonlításokhoz. A kibocsátási „portfólió” felvázolása révén láthatóvá válik, hogy a tudomány szóban forgó szereplője mely területeken aktív, mely más szereplőkkel hasonlítható össze, illetve hogy a tudományos piac perspektívájából szemlélve milyenek a kapacitásai, mik az erősségei. Az ilyen típusú vizsgálat klasszikus metódusa az egyes publikációs tételek szakterületi besorolásából, esetünkben az ISI-ben nyilvántartott tudományterületi kategorizációjából indul ki (a kategóriák a http://ip-science.thomsonreuters.com/mjl/scope/scope_scie/#ZE weboldalon megtekinthetők).

A további cél az volt, hogy meghatározzuk és jellemezzük egy publikációs lista tételeinek gyakorisági megoszlását a szakterületi kategóriák között, ezáltal láthatóvá váljék az intézmények kutatási területekre bontott aktivitása.

Az intézmények kutatási portfóliójának pontos leképezéséhez, a fentebb említett tudománytérképezés (science mapping) területéhez tartozó módszert használtuk, melynek alapjait Porter, Rafols, Leydesdorff és Meyer dolgozták ki. (Leydesdorff–Rafols 2009; Rafols–Meyer 2010). A módszer részletesebb és informatívabb képet nyújt a kutatási portfólió szerkezetéről, mint a tudományterületi kategóriák feletti eloszlások, noha nyersanyagát nagyrészt ugyanaz a kategóriarendszer alkotja. A módszer előnye, hogy segítségével az intézményi kutatási portfólió egy átfogó tudománytérkép („global science map”) segítségével reprezentálható.

A tudománytérkép csomópontjai a tudományban azonosítható szakterületek, élei pedig az ezek között lévő szakmai vagy diszciplináris kapcsolatok. Amennyiben létezik ilyen él két szakterület között, úgy azok valamilyen mértékben rokon vagy egymást befolyásoló területek; az él erőssége („súlya”) pedig a köztük lévő „közelséget”, vagyis a kapcsolat erősségét jellemzi. A tudománytérképek felhasználásával a kutatási profil az egyes tématerületek (tárgykategórák) gyakorisági eloszlásának a tudománytérkép csomópontjaira illesztésével jeleníthető meg. Az aktív területek hálózatban elfoglalt helye és relatív pozíciója arról is tájékoztat, hogy a kutatási profil mennyire diverzifikált, hiszen egészen más potenciál jellemzi a tudományos piacon azokat a szereplőket, amelyeknek a kibocsátása közeli, egymással rokon szakterületeken jelentős, illetve azokat, amelyek számos egymástól távoli területen egyaránt aktívak (ld. Soós–Kampis, 2011).

Elemzésünkben a vizsgált hazai intézmények (illetve publikációs teljesítményük) olyan szerkezeti diagnózisát adjuk meg, amely a fenti tudománytérképészeti módszerre épül. E szerkezeti diagramok egy előre adott globális tudománytérképen rajzolódnak ki, amelyhez egy nyilvánosan elérhető alaptérképet alkalmazunk. A kapott diagramok az egyes intézmények (egy évtizedet lefedő) publikációs teljesítményének szakterületi viszonyait ábrázolják. Az egyes szakterületeken így mért aktivitás számos mutatóval fejezhető ki. A normalizálásra – amely az összehasonlíthatóság és értékelhetőség szempontjából alapvető – két eltérő módszert alkalmaztunk. A térképek egyik formájában a szakterületek mérete ezek intézményen belüli százalékos megoszlását jelzi: a százalékalap az intézményi publikációk összmennyisége, a térkép elemei a szakterület intézményi súlyát ragadják meg. Egy második formában az intézmény által egy-egy adott szakterületen közölt publikációk számát az adott területen megjelent összes hazai publikáció számára vetítettük, ilyen módon az arány az intézmény hazai súlyát jellemzi a szóban forgó szűkebb szakterületen.

Aktivitási tudománytérkép (az ELTE példáján bemutatva)

Erőforrástérkép (az ELTE példáján bemutatva)

4.2.4.1. A kompetenciatérképezés módszere részletesen

Mivel az alkalmazott módszerek újszerűek, ezért itt részletesen is kifejtjük őket. A kutatási kompetenciák publikációs kibocsátáson alapuló térképezésének közelebbi célja a K+F szereplőinek olyan szerkezeti átvilágítása, amely lehetővé teszi (1) a kutatási profilok egységes és összemérhető strukturális–kvantitatív jellemzését, ezen keresztül pedig (2) az intézmény elhelyezését a tudomány mindenkori (országos, nemzetközi stb.) piacán. A jellemzés egy szakmai (tudománymetriai) módszerekkel előállított referenciarendszeren, ún. „tudománytérképen” vagy alaptérképen alapszik. Az összehasonlítások alapját képező tudománytérkép (global map of science) nemzetközi citációs adatbázisok teljes tartalmának feldolgozásából származik, és a szakterületek mindenkori kapcsolatrendszerét kódolja (a szakterületekké aggregált folyóiratok hivatkozásainak feltérképezése alapján), vagyis a mindenkor nemzetközi tudományrendszert („tudománypiacot”) ábrázolja. Formálisan a tudománytérkép (esetünkben) szakterületeket kódoló tárgykategóriák súlyozott kapcsolati hálózata, ahol két kategória kapcsolatának erőssége a közösen idézett kategóriák számának függvénye. A térkép és a hátterében álló citációs adatbázis segítségével modellezhető a vizsgált intézmények kutatási profilja, amennyiben az intézmény profilját az adatbázisban indexelt publikációi alapján vizsgáljuk. Az intézményi profil elhelyezhető a tudomány térképén, amely által azonosíthatóvá válnak az intézményi kompetenciák, az intézményi profilok szakterületi összetételének hasonlóságai és különbségei, illetőleg a művelt területek strukturális (hálózati) viszonyain keresztül (pl. távolság), a profil jellege (diverzifikáltság/specializáció stb.).

Összegezve: a bibliometriai kompetenciatérképezés a vizsgált egység (kutató, intézmény, régió, esetünkben intézmény) publikációs kibocsátásának, ún. publikációs aktivitásának elemzésén alapul. A módszer a hagyományosnak mondható kvantitatív mérőszámok alkalmazását kombinálja az intézmény profiljának szerkezeti mélyelemzésével. Az elemzés az alábbi lépésekből áll:

(1) Meghatározzuk a kompetenciatérképezés alapjául szolgáló globális tudománytérképet, az ún. alaptérképet (2007-es 221; ill. 2009-es 244 tárgykategóriát tartalmazó térkép; átfogó, ill. táradalomtudományi térkép). Az

alaptérkép az elemzés eszközkészletében rekonstruált tudománymetriai (tudománytérképezési) eszköz (forrása a fentiekben említett publikus WoS-alapú adatstruktúra: http://www.leydesdorff.net/overlaytoolkit/ ).

(2) A vizsgált hazai K+F intézmények mindegyikére vonatkozóan az ISI–WoS adathalmazból előállítjuk annak szakterületi összetételét, a publikációk tárgykategóriák közti eloszlását (kutatási profil).

(3) A kutatási profilt integráljuk az alaptérképpel intézményenként, azaz elkészítjük az egyes intézmények kompetenciatérképét.

(4) Az elemzés eredménye a térképek vizualizációja és összehasonlítása.

Az alkalmazás keretében a mintabeli intézmények mindegyikéről két típusú globális (minden szakterülettel számoló) kompetenciatérkép készül, mind időaggregált, mind pedig idősoros (dinamikus) változatban; a globális térképek mellett elkészítjük a társadalomtudományra szűkített időaggregált kompetenciatérképeket is. Részletesen:

(1) A mintabeli intézmények ún.erőforrástérképe. Ebben a kompetenciamodellben szakterületek térképen ábrázolt súlya az intézmény részesedése az adott szakterület országos kibocsátásából. A modellek az intézményi kutatási szerkezet mellett a tudomány hazai piacán elfoglalt relatív pozíciót teszik elemezhetővé.

(2) A mintabeli intézmények ún.aktivitástérképe. Ebben a modellben a szakterületek térképen ábrázolt súlya a szakterület részesedése az intézmény profiljából (összkibocsátásából).

(3) Mind az erőforrás-, mind pedig az aktivitástérképek a 2007–2011 időszakra aggregálva, illetve évenkénti bontásban is elkészíthetőek. Az évenkénti térképek sorozatán az egyes intézmények szerkezeti változása jól nyomon követhető, ill. kvantifikálható.

(4) Az ISI WoS SCI, SSCI és A&HCI, rendre természet-, társadalom és bölcsészettudományi adatbázisát fedő globális tudománytérképek alkalmazása mellett elkészíthető a részletes társadalomtudományi kompetenciák térképe is minden esetben (amely az SSCI és A&HCI részterületeit fedi).

A strukturális trendelemzésnek kiemelten kezelt részcélja, hogy eszközt biztosítson a szerkezeti, kvalitatív trendek számszerűsítéséhez, egy-egy informatív mutatóba való sűrítéséhez A kompetenciatérképek fő előnye a hagyományos szakterületi profil-elemzésekkel szemben (amelyek az egyszerű szakterületi összetételre alapulnak), hogy az aktív szakterületek száma és súlya mellett azoknak az alaptérkép jellemezte relatív pozícióját, „távolságát” is közvetíti.

A térképek alapján elvégezhető pl. az ún. diverzitás-indexek kalkulációja, amelyek a publikációs portfolió diverzifikáltságát a művelt területek távolságával is jellemzik.

A mintabeli intézményekre készített profilanalízis további felhasználási lehetősége az összemérhető intézménycsoportok profil-alapú meghatározása. A bibliometriai teljesítménymérésen alapuló összehasonlítások, rangsorok gyakorta tárgyalt kritériuma az összemérhető vizsgálati egységek problematikája. A felsőoktatási intézmények összevetésénél alapvető a szakterületi különbségek okozta torzítások korrekciója, amely a hasonló profilú, tudománymetriailag összemérhető intézményi csoportok meghatározását teszi szükségessé.

A térképek alapján elkészíthető a vizsgált intézmények profil-alapú tipológiája. A tipológia a szakterületi profilok páronkénti hasonlóságára építhető, és abból klaszterezés útján előállítható. Figyelembe véve, hogy a természettudomány relatív mennyiségi túlsúlya a klaszterezés során elnyomja a társadalomtudományi részprofil hasonlóságait, két tipológia javasolható (1) a teljes publikációs portfolió (SCI + SSCI + A&HCI), illetve a társadalomtudományi portfolió alapján (SSCI + A&HCI).

A WOS ISI tárgykategóriái (SC) alkalmasak arra is, hogy segítségükkel az egyes intézmények aktivitását és idézettségét az intézmények belső viszonyaira lebontva is elemezzük (a tudománytérképek csak az erőforrás megoszlást mutatják, de azt országos, nem pedig intézményen belüli összehasonlításban). A hungarianscience.org honlapon közölt kutatás során elkészült a vizsgált intézmények „sugár-diagramja”, ahol az egyes tárgyterületek a tudománytérképek kategóriái szerinti nagyobb tudományterületekbe vannak szervezve, és egy kör kerületén helyezkednek el (3. ábra). A középpontból kiinduló „sugarak” az aktivitást, valamint az idézettséget együttesen mutatják be az intézmény által művelt legfontosabb tárgyterületekre, mégpedig úgy, hogy a sugarak hossza a megfelelő értékekkel arányos. Ezek a diagramok azt állapítják meg, hogy mennyire eredményesek azon területek, amelyeket az adott intézmény a leginkább művel, vagyis amelyekre a kutatási (illetve ennek egy fontos aspektusaként, a publikációs) erőforrásait összpontosítja.

Intézményi sugárdiagram publikációs (szürke) és idézési (fekete) adatokkal (az ELTE példáján).

4.2.5. Hogyan jellemezhető végül is a korszerű