Szentes Tamás
akadémikus, professor emeritus, az MTA IX. osztálya
Statisztikai és Jövőkutatási Tu- dományos Bizottságának tagja
E-mail: tamas.szentes@uni- corvinus.hu
Néhány megjegyzés Honváriné Kalmár
Viktória „A tudományos teljesítmény mérése Hirsch-indexszel” címû mûhelytanulmányához*
Örvendetesnek tartom, hogy a tudománymetria nagyon is aktuális és valamennyi tudományág művelőit érintő témakörével a Statisztikai Szemle is foglalkozik. Nem kevésbé vélem örvendetesnek és üdvözlendőnek a tudománymetria mint sajátos transzdiszciplináris szakágazat hazai művelői körének, illetve idősödő nemzedéké- nek a cikk szerzője személyében megjelenő ígéretes utánpótlását.
Mindezt azért kívánom hangsúlyozni, mert miközben a tudománymetria alkalma- zása, illetve általában a tudományos teljesítmények értékelése egyre szélesebb kör- ben intézményesül, és egy nemcsak létszámában, hanem minőségében is jelentős társadalmi rétegnek, a kutatók és oktatók sokaságának az anyagi helyzetét, munkafel- tételeit, előmenetelét és társadalmi megbecsülését befolyásolja, feltűnően csekély azok száma, akik e szerteágazó és eleve multidiszciplináris témakörrel tudományo- san és hivatásszerűen (vagy legalábbis nem csupán alkalmanként) foglalkoznak, illetve abban kellő ismereteket, tapasztalatokat is szereznek.
Bizonyára ez is az oka annak, hogy ma még egyfelől azok, akik az adatok nyil- vántartásba vételét, részben importját vagy legalábbis ellenőrzését, kezelését végzik, és bizonyos tudománymetriai mutatók alkalmazásáért felelősek, többnyire tájékozat- lanok vagy tapasztalatlanok a tudományos teljesítmények értékelésének és minősíté- sének szakmánként is némileg eltérő követelményeit, szempontjait illetően, míg másfelől azok, akik az értékelést végzik és a minősítésért felelnek, meglehetősen híján vannak az adatok nyilvántartásában, importjában és számítástechnikai kezelé- sében, valamint a tudománymetriai mutatók alkalmazásában mutatkozó problémák
* A tanulmány a Statisztikai Szemle 95. évf. 2. sz. 189–206. oldalán olvasható.
Szentes: Néhány megjegyzés Honváriné Kalmár Viktória mûhelytanulmányához 529
ismeretének. Az előbbiek köre, így az MTMT (Magyar Tudományos Művek Tára) adminisztrátorainak zömében könyvtárosokból vagy informatikusokból álló serege nemcsak elkülönül, de meglehetősen el is szigetelt az utóbbiak, vagyis a különböző tudományágak képviselőinek testületeitől. Kommunikáció, eszmecsere vagy vita legfeljebb csak a vezetők között, többnyire alkalmanként létezik, miközben – ahogy mondani szokták, „a két bába között elvész a gyerek” – a tudományos teljesítményük értékelésében közvetlenül érintett kutatók és oktatók sokaságának az adatszerzéssel és az adatok MTMT-be való bevitelével kapcsolatos nehézségeivel, idő- és költség- ráfordításaival nemigen törődik bárki is, hacsak saját munkahelyük nem. Csupán remélni lehet, hogy az MTA elnöke által létrehozott új testület, mely az MTMT ad- minisztrációjának, a tudományos osztályoknak, valamint az MTMT-t használó in- tézményeknek a képviselőiből áll, nemcsak megszünteti az említett elszigetelődést, hanem szoros együttműködést eredményez, és talán a kutatók sokaságának érdekeit is figyelembe fogja venni.
Azt is remélni lehet, hogy a jövőben már nem csupán a Magyar Tudomány aka- démiai folyóirat lesz az, amely – mint a szerző írja – „rendelkezik tudománymetriai profillal”, hanem más folyóiratok, köztük a Statisztikai Szemle is foglalkozik majd a tudományos teljesítmények mérésének és minőségi értékelésének széles témaköré- vel. Hiszen a statisztikatudományban és -gyakorlatban sem mindegy, hogy mit, mi- ért, vagyis milyen célból, milyen korlátozott és mennyire megbízható adatok alapján, hogyan mérünk. Márpedig ezekre a kérdésekre általában (az adatkezelés szabályait illetően pedig különösen) a statisztika tudományával foglalkozóktól várható el a megfelelő válasz, illetve a kellő szakismeret.
Kalmár Viktória cikke tartalmas és színvonalas közlemény, ami nemcsak a tudománymetria fejlődéstörténetéről és alkalmazási szféráiról ad rövid áttekintést, hanem a vonatkozó szakirodalom alapján a Hirsch-index eredetéről, számításáról, valamint továbbfejlesztett újabb változatairól is részletesen tájékoztat. Ennek során ő is rámutat az eredeti H-index némely fogyatékosságára, így például arra, hogy annak számítása nem tesz különbséget a független és a függő, illetve az önidézetek között, hogy hátrányosan érinti a kevesebb publikációval, de nagyobb idézettséggel rendel- kező kutatókat, és hogy figyelmen kívül hagyja a kutatók tudományos életpályájának különböző időtartamát, a többszerzős közlemények esetében pedig az egyéni hozzá- járulások eltérő nagyságát. Ezeknek a fogyatékosságoknak a tükrében értelmezi a szerző, és részben értékeli is, az újabb változatokat. Csak helyeselni lehet azokat a (többnyire szakirodalmi hivatkozással alátámasztott) megállapításait, amelyek a különböző tudományágazatok művelőinek eltérő publikációs és hivatkozási gyakor- latára, illetve szokásaira, továbbá az angol nyelv dominanciájából fakadóan a más nemzeti nyelven publikálók hátrányára vonatkoznak, valamint azt a végső következ- tetését is, hogy a tudományos teljesítmények értékelése a tudománymetriai mutatók körültekintő alkalmazása és korlátjaik ismerete mellett minőségi vizsgálatot is szük-
530 Szentes Tamás
ségessé tesz. Helyeselhető az is, hogy az egy publikációra jutó átlagos hivatkozási szám, illetve a H-index értéke „szakterületfüggő”, és ezért, sőt általában is, a külön- böző tudományterületeken működők vonatkozó adatait „nem lehet egymással össze- hasonlítani”.1
Az is kétségtelen, hogy magyar szerzők esetében „az MTMT adhatja a »legtelje- sebb« indexet, ha a szerző feltöltötte abba összes publikációját és azok idézőit is.”
Megjegyezném azonban, hogy épp ez utóbbi feltétel teljesíthetősége jelent gondot azok számára, akik az adatfeltöltést maguk nem tudják elvégezni (technikai okokból vagy az adatbázisokhoz való hozzáférés hiánya miatt), és azt MTMT- adminisztrátorok sem végzik el helyettük (nem lévén ilyenek a munkahelyükön, vagy már nincs is munkahelyük). Sőt, általában mindazok számára is, akik esetében – illetve minden olyan esetben, amikor – a hivatkozások kisebb-nagyobb részére vonatkozó információk be sem szerezhetők akár azért, mert a hivatkozások nem az adatbázisok megfigyelési körébe tartozó folyóiratokban, könyvekben, más időszaki kiadványokban és egyéb közleményekben jelentek meg, akár pedig azért, mert olyan nyelveken, amelyek esetében még a szerző sem értesül azokról. Nem utolsósorban az ilyen gondok és problémák is figyelmeztetnek az adatkezelés és -közlés statisztiká- ban előírt szabályainak betartására, így különösen a források és az időbeli érvényes- ség korlátozottságának kötelező jelzésére (ami az MTMT publikációs listáihoz csa- tolt összefoglaló táblázatok esetében egyelőre még hiányzik).
Mindezek előrebocsátása után már voltaképpen csak azt hiányolom, hogy a szer- ző az említett fontos, de szórványos megállapításain túlmenően nélkülözte a kritikai szemléletet a tárgyalt téma kapcsán a tudománymetria alkalmazásának rendszerében, illetve gyakorlatában mutatkozó legfőbb fogyatékosság kimutatására, feltárására, sőt a felhasznált irodalom némely idézett szövege esetén is.
Magának a tudománymetriának a cikk bevezetőjében idézett meghatározása is kritikai megjegyzést érdemelt volna, amennyiben az „a tudományban tevékenykedő emberek vagy embercsoportok, dolgok és jelenségek, valamint azok kapcsolatának kvantitatív aspektusával” foglalkozó „tudományterületként” fogalmazza meg azt, ami – legalábbis a szövegkörnyezetből kiragadottan – nemigen értelmezhető. Még
1 Mindinkább általánosan elfogadottá válik az a vélemény, hogy különböző tudományágak művelőinek tudománymetriai adatait nem helyes összehasonlítani. (Persze lehet, hogy az egyetértés egyesek részéről talán csak védekezés a megválasztott adatok alapján számukra aránytalanul, sőt esetleg igazságtalanul is túlságosan kedvező összehasonlítás vádja ellen, mások részéről meg talán csak kibúvó a bármely más adatok szerint is kedvezőtlen összevetés alól.) Megjegyzendő azonban nemcsak az, hogy az összehasonlításokkal még az azonos tudományága- kon belül is csínján kell bánni, hanem és főként az is, hogy bármiféle közmegegyezés ellenére a gyakorlatban mégis sor kerül összehasonlításokra! Akár azért, mert különböző tudományágakhoz tartozó jelöltek közül kell választani, akár pedig olyan esetekben, amikor a különféle tudományágak, szakterületek hazai művelőinek összesí- tett publikációs, illetve hivatkozási adatait foglalják táblázatokba (miként a Kalmár Viktória cikkében közölt két ábra esetében is). A probléma tehát nem egyszerűen az összehasonlításban van, hanem annak mikéntjében, a felhasznált mutatószámok és adatok megválasztásában, korlátozottságában és kezelésében.
Néhány megjegyzés Honváriné Kalmár Viktória mûhelytanulmányához 531
inkább kifogásolható a tudománymetria „evaluatív” (vagyis a tudományos közlemé- nyek tartalmát minőségi vizsgálat nélkül értékelő) jellegének, a tudományos telje- sítmények „megítélésére” használt változatának a feltételezése és különösen „a pub- likációk által kiváltott hatás” mértékének az idézetek száma alapján történő meghatá- rozása mint „minőségi mutató”. Ez egyébként is ellentétes azzal a későbbi, idézett megállapítással, hogy „minden hivatkozásnál külön-külön vizsgálni kell annak tar- talmát is”, és hogy a tudományos teljesítmények értékelésekor nemcsak több tudománymetriai mutatót, hanem „mellettük kvalitatív mutatókat, peer review-kat (szakértői bírálatokat) is használnunk kell”.
Ami pedig a tudománymetria alkalmazásának, elterjedt gyakorlatának rendszeré- ben fellelhető legfőbb fogyatékosságot illeti, az épp a mennyiségi mutatószámok minőségi értékelésre alkalmazásával összefüggésben, de azon túl általában is a tu- dományos eredmények, teljesítmények hatásának a hivatkozásokra, idézetekre leszű- kített és ezáltal félrevezető értelmezésében fejeződik ki. A legkevésbé sem szeretném persze alábecsülni a publikációkra érkező (pozitív tartalmú, vagyis elismerő) hivat- kozásokat, hiszen annak idején én magam sürgettem a hivatkozási listák kötelezővé tételét az MTA IX. osztályának doktori eljárásában. A „hatás” ezekre való leszűkíté- sét és minden más, nem kevésbé fontos hatás MTMT-ben való említésének kizárását azonban (nem is szólva a „hatástényezőnek”, vagyis az impaktfaktornak a szerzői teljesítményre vonatkoztatásáról) azért tartom elfogadhatatlannak, mert az akaratla- nul is a tudomány elsődleges feladatának figyelmen kívül hagyását, sőt voltaképpen öncélú jellegének feltételezését jelenti.
A tudománymetria módszertanának egyébként örvendetes fejlődése az alkalma- zás rendszerében meglevő, említett alapvető fogyatékosság mellett arra a törvénysze- rű jelenségre is figyelmeztet, hogy még ha egy rendszernek csak egyetlen apró, alig észrevehető hibája állapítható is meg, annak kijavítása nélkül a rendszer továbbfej- lesztése, tökéletesítése óhatatlanul naggyá növeli e hibát. Egy másik hasonlattal élve:
ha egy összefüggést egyébként jól megvilágító elméleti tétel könnyebb megértést vagy ábrázolást segítő matematikai modellben való továbbfejlesztése az eredeti meg- fogalmazáskor alkalmazott absztrakciók, illetve leegyszerűsítő premisszák figyelmen kívül hagyása mellett történik, akkor az óhatatlanul aláássa magának a tételnek az érvényességét.
Megtisztelő, hogy Kalmár Viktória irodalomlistájában és a szövegben is megem- líti, sőt, részlegesen idézi is a Csaba Lászlóval és Zalai Ernővel közösen írt egyik cikkünket.2 Bevallom azonban, hogy sokkal jobban örültem volna, ha (akár hivatko- zás nélkül is) azzal a megállapításunkkal összhangban foglalt volna állást, amely a tudományos eredményeknek a hivatkozásokban kifejeződő „szakirodalmi hatása”
2 CSABA L. – SZENTES T. – ZALAI E. [2014]: Tudományos-e a tudománymérés? Megjegyzések a tudománymetria, az impaktfaktor és az MTMT használatához. Magyar Tudomány. 175. évf. 4. sz. 442–466. old.
532 Szentes: Néhány megjegyzés Honváriné Kalmár Viktória mûhelytanulmányához
mellett megkülönböztette és kiemelte az új ismeretek továbbadásában, vagyis az ok- tatásban és az iskolateremtésben megnyilvánuló, valamint a többféle formát öltő gyakorlati hatását is (így az adott társadalom tudati, kulturális, morális, viselkedési, jogi, intézményi, technikai, gazdasági, szociális, politikai stb. fejlődésének előmozdí- tásában is kifejeződőt). Ez utóbbiak ugyan nemigen számszerűsíthetők, figyelembe- vételük azonban nagyon is indokolt.3 A tudomány művelése ugyanis nem öncélú, vagyis nemcsak az adott tudományág fejlesztésére, hanem elsődlegesen a társadalom szolgálatára való, és ezt a tudománymetriában sem szabad elfelejteni!4
E kritikai megjegyzéseimmel nem szándékoztam a cikk szerzőjének érdemeit alábecsülni. Csupán abból a célból és abban a reményben fogalmaztam meg azokat, hogy a vizsgált témával a jövőben is foglalkozva, azt szélesebb összefüggésben és a vonatkozó nézeteket bátrabb kritikával tárgyalja majd – elemezve a tudománymetriai mutatók gyakorlati alkalmazásában tapasztalható problémákat, kitérve az adatok forrásainak és időbeli korlátjainak, gyűjtésüknek, importjuknak, nyilvántartásba vételüknek, kezelésüknek, értelmezésüknek és főként felhasználásuknak a gyakorlati kérdéseire, és nem utolsósorban az alkalmazásban fellelhető némely fogyatékossá- goknak a kutatók minősítését befolyásoló hatására, illetve azok következményeire is.
3 Mindamellett léteznek vagy kialakíthatók olyan mutatószámok, amelyekkel a tudományos teljesítmény, illetve eredmény oktatásban elért hatása, sőt a társadalmi gyakorlatban érvényesülő némely hatása is felmérhe- tő, vagy legalábbis felbecsülhető (mint ahogy a kutató nemzetközi elismertsége sem kizárólag a külföldi hivat- kozások számával fejezhető csak ki). Szakkönyvek esetében például figyelembe vehető azok új, különösen egymástól független külföldi kiadásainak és az adott szakmában jellemzőhöz viszonyított példányainak száma, tankönyvek esetében a felhasználásuk „térbeli és időbeli” kiterjedtsége (hány felsőoktatási intézményben, illetve hány éven át tanulnak belőlük), a szabadalmak, felfedezések és gyakorlati újítások esetében pedig alkal- mazásuk elterjedésének mértéke stb.
4 Egy (talán nem túl merész) hasonlattal élve: a színészek és a zeneművészek teljesítményét, illetve annak hatását sem az egymásról alkotott véleményük méri elsősorban, hanem a közönség tetszésének mértéke (amit a megismételt előadások száma, vagyis a gyakorlati hatás fejez ki), hiszen nem (csupán) egymásnak, hanem a közönség számára játszanak.
