Referáló folyóiratok és indexek alapján számítógéppel előállított cikkszámlálás

A referáló folyóiratok és indexek egy része mágnesszalagon i s h o z z á f é r h e t ő . Ez lehetővé teszi a kiértékelőknek, hogy a cikkszámlálást elektronikus eszközökkel végezzék el. Két lehetőség is rendelkezésre áll: on-line bibliográfiai rendszerek segítségével (pl. Dialog, Orbis, Medline, stb.), illetve a bibliográfiai információt tartalmazó mágnesszalagok off-line feldolgozásával.

Az on-line rendszereknek egyetlen igazi e l ő n y e van, segítségükkel nagyon gyorsan lehet speciális információhoz h o z z á j u t n i . Ugyanakkor értékelési célokra ezek az on-line rendsze-rek több s z e m p o n t b ó l előnytelenek. Az egyik h á t r á n y , hogy a kérdésenkénti ár igen magas.

A másik az, hogy az on-line keresési paramétereket igen precízen kell megfogalmazni. Ha ezt elmulasztjuk, a keresés végeredménye hiányos és megtévesztő lesz. Végül, hacsak valaki-nek nincs közvetlen hozzáférése az on4ine rendszerekhez, a k k o r esetleg nem túl kényel-mes (vagy k i f i z e t ő d ő ) a használatuk.

Ha az elemzést végző személy igen nagy vizsgálandó k u t a t ó m i n t á v a l dolgozik (pl. több ezer személlyel), akkor k i f i z e t ő d h e t megfelelő mágnesszalagokat bérbe venni és az adatokat off-line feldolgozni. Ennek az eljárásnak fő h á t r á n y a , hogy az a d a t o k n a k a szalagról törté-n ő kigyűjtésére költséges szoftver vásárlásra vagy fejlesztésre vatörté-n szükség.

Az idézetelemzés az értékelésben

Míg a közleményszámlálás lehetővé teszi, hogy képet alkossunk adott k u t a t ó k által végzett k u t a t á s mennyiségéről, az ezekre a közleményekre v o n a t k o z ó idézetek száma vi-szont e k u t a t á s hatásáról m o n d valamit. F e l t e h e t ő , hogy a k u t a t ó k azért hivatkoznak egy-egy cikkre sokszor, mert úgy gondolják hasznos információt vagy elképzeléseket tar-talmaz.

Mint már k o r á b b a n említettük L o t k a törvénye k i m o n d j a , hogy a kutatási produktivi-tás magas szintjei (a cikkek számával mérve) kevés k u t a t ó r a k o n c e n t r á l ó d n a k . Az idézetek koncentrálódása még nagyobb f o k ú . Nagyon ritkák azok a k u t a t ó k , a k i k munkáját nagyon s o k s z o r idézik.

Az idézetek felhasználása a t u d o m á n y o s m u n k a értékelésében meglehetősen v i t a t o t t k é r d é s , noha ma s o k k a l kevésbé az, m i n t öt vagy tíz évvel ezelőtt. Az egyik probléma az, h o g y nincs igazi egyetértés abban, m i t is mérnek az idézetek, hivatkozások. Egyesek úgy érzik, hogy a k u t a t á s fontosságát m é r i k . Másszóval a sokszor idézett m u n k a fontos m u n k a . Mások véleménye e t t ő l egy finom á r n y a l a t b a n tér el, ők ugyanis azt m o n d j á k , a gyakran idé-z e t t m u n k a befolyással rendelkeidé-ző m u n k a (és, mint ilyen, fontos). Vagyis aidé-z a tény, h o g y h a a k u t a t ó idéz, az a n n a k a jele, hogy az idézett m u n k a befolyásolta szemléletét. Ismét mások úgy gondolják, hogy az idézetek mindössze azt j e l z i k , hogy egy a d o t t munka J á t h a t ó " . E b b e n a felfogásmódban a kutatók a z é r t idéznek valamely m u n k á t , m e r t tudnak róla. Az-zal, hogy idézik e m u n k á k a t , megnövelik azok „láthatóságát", ami arra vezet, hogy mások t o v á b b idézik.

Az a vita, ami az idézetek é r t é k e l ő célú felhasználásával kapcsolatban kialakult, az u t ó b b i évbekben j e l e n t ő s e n megszelídült. Ennek oka az, hogy az idézetekkel foglalkozó ta-n u l m á ta-n y o k többsége arra utal, igeta-nis erős korreláció vata-n az idézési számok és a mita-nőség szubjektív mértékei k ö z ö t t .

Az idézetekre alapozott értékelést zömmel a Science Citation Index bevezetése t e t t e le-h e t ő v é . Az SCI, Citation Index k ö t e t é b e n egy a d o t t cikk idézettségét úgy lele-het megállapí-t a n i , hogy az első szerző neve alamegállapí-tmegállapí-t keressük. Az i n d e x b e n a szerző neve alamegállapí-tmegállapí-t megállapí-találhamegállapí-tók azok a munkák, amelyekben a s z ó b a n f o r g ó cikkre idézetek vannak. Ha valaki a Citation Indexet gyorsan á t f u t j a , látni fogja, h o g y a felsorolt m u n k á k nagy többségét aránylag kevés-szer idézik. Sőt, mivel csak azok a c i k k e k kevés-szerepelnek, amelyekre legalább egy hivatkozás t ö r t é n t , idézetlen m u n k á k be sem k e r ü l n e k a felsorolásba.

Akárcsak a közleményszámlálás esetében, az idézetszám alapján végzett értékelések ak-k o r a legmegbízhatóbbaak-k, ha ak-k ö z l e m é n y - vagy ak-k u t a t ó c s o p o r t o ak-k r a irányulnaak-k, nem pedig egyedi cikkekre vagy egyes k u t a t ó k r a . Tekintsük á t , milyen negatív hatással lehetnek az alábbi tényezők az egyénekre való idézések számára.

a. Időeltolódási tényező. Mint m á r említettük, a kutatás végzésének ideje, a cikk meg-írásának ideje és a publikálás ideje k ö z ö t t késések, különbségek v a n n a k . Az idézetek ese-t é b e n ese-további (eseese-tleg igen lényeges) késésese-t okoz az az idő, aminek a h h o z kell elese-telni, hogy m á s o k elolvassák a m u n k á t , írásba ö n t s é k a sajátjukat (amiben a f o r r á s m u n k á r a hivatkoz-n a k ) , és aztáhivatkoz-n k ö z ö l j é k . A jellemző h e l y z e t az, hogy hivatkoz-n é h á hivatkoz-n y évhivatkoz-nek el kell telhivatkoz-nie ahhoz, hogy nyilvánvalóvá váljék vajon egy m u n k á t gyakran idéznek, vagy sem. T o v á b b á még sokat idé-z e t t m u n k á k esetében is, aidé-z idéidé-zetsidé-zám, amit aidé-z elemidé-ző tábláidé-zataiba beveidé-zet, függ a köidé-zle- közle-m é n y korától. A régebbi cikknek n a g y o b b esélye van arra, hogy idézzék.

b. A kutató életkora. Mivel a fiatal k u t a t ó k a t kollegáik nem ismerik eléggé, kicsiny a

„ l á t h a t ó s á g u k " , valószínűtlen, hogy m u n k á i r a sok idézet utaljon. Egy széles körben ismert, j ó l „ l á t h a t ó " , idősebb kollega viszont sok idézetet k a p h a t munkájára egyszerűen azért, m e r t

s o k a n ismertik.

c. „Haver"típusú idézési rendszer. Az egyedi cikkekre való hivatkozások számát m a -nipulálni lehet. Mivel egy átlagos cikk mindössze egy vagy két idézetet k a p , igazán nem kerül s o k b a egy munkát „intenzíven" i d é z e t t é tenni, ö n i d é z é s révén és a k u t a t ó kollegái cikkében megjelenő felületes idézetekkel egy k u t a t ó el tudja intézni, hogy az idézettségi listán cikke előkelő helyre k e r ü l j ö n .

Ha azonban cikkcsoportokra vagy k u t a t ó c s o p o r t o k r a v o n a t k o z ó idézeteket vizsgálunk, a k k o r az előbbiekben felsorolt idioszinkratikus tényezők, amelyek ingadozásokat okoznak az egyedi cikkekre vagy egy-egy k u t a t ó r a való hivatkozások számában, általában kiküszö-b ö l ő d n e k . Minél n a g y o kiküszö-b kiküszö-b a m i n t a , annál megkiküszö-bízhatókiküszö-bkiküszö-bak az a d a t o k .

Az előbb tárgyalt elvi problémákon kívül vannak gyakorlati problémák is az idézetszá-m o k táblázatos összeállításában. Elsősorban, idézetszá-mint idézetszá-már tárgyaltuk, az SCI, Citation Index az első szerző neve szerint azonosítja a m u n k á k a t . Ha t e h á t valakit J o h n Doe munkáinak idézettsége érdekel, és ez a k u t a t ó h á r o m cikknek második szerzője, akkor e három cikkre k a p o t t idézetek kiesnek az idézetszámok közül, amennyiben a Citation Indexben John Doe neve alatt keresgetünk.

Egy további adatgyűjtési probléma az önidézet kezelése. Ha arra vagyunk kíváncsiak, hogy a külvilág hogyan vélekedik J o h n Doe munkáiról, a k k o r nyilván igyekszünk kiszűrni Doe hivatkozásait saját műveire. Az SCI alapján ezt k ö n n y e b b mondani, m i n t megtenni, ugyanis azokban az e s e t e k b e n , amelyekben Doe nem első szerző, az önidézet nem tűnik szembe, miután az idéző szerzők közül is csak az elsőnek szerepel a neve.

Az idézetadatok gyűjtésének egyéb problémái azonosak a t u d o m á n y o s közlemények számlálásának problémáival.

A f o l y ó i r a t o k idézettségi mutatószámai

Felismerve az idézetszámlálás nehézségeit, az idézetelemzés művelői közül sokan az egyedi cikkekre való hivatkozásokról a folyóiratok idézettségére irányították figyelmüket.

Érvelésük a következő. A sokat idézett folyóiratokban megjelenő cikkek általában fontosab-bak (befolyásosabfontosab-bak, láthatóbfontosab-bak), m i n t azok, amelyek ritkán idézett folyóiratokban jelennek meg. Ha lehetséges volna egy olyan m u t a t ó s z á m o t találni, amely a folyóirat idézett-ségét jelzi (így következésképpen a benne megjelenő cikkekét), akkor a benne megjelenő cik-k e cik-k e t e mutatószám értécik-kével súlyozni l e h e t n e . Mihelyt a cik-k ü l ö n b ö z ő folyóiratocik-k idézettségi súlyát meghatároztuk, t ö b b é nem kell számlálni az egyes cikkekre t ö r t é n ő idézeteket.

Az első ilyen súlyozási tényező Garfield "impact f a c t o r a " volt.5 Az impact factor egyszerűen a folyóiratban megjelenő cikkek átlagos idézettsége.

Pinski és Narin az i m p a c t factor fogalmát több lépéssel továbbfejlesztették, és kidol-gozták az általuk „influence weight"-nek nevezett mennyiséget.6 Ez hasonló Garfield im-pact f a c t o r á h o z . Az e m l í t e t t szerzők a z o n b a n a folyóiratra t ö r t é n ő hivatkozások számolá-sánál egy iteratív eljárást alkalmaztak, a m e n n y i b e n ezeket a hivatkozásokat az idéző folyó-irat idézettségével s ú l y o z t á k . Így annak a folyófolyó-iratnak a befolyási tényezője, amelyet gyak-ran i d é z e t t folyóiratok ezer alkalommal idéztek, jóval n a g y o b b , mint egy olyan folyóiraté, amelyek ritkán idézett vagy idézetlen folyóiratok idéztek ugyanannyiszor.

A m i t ezek a súlyozási rendszerek az elemző számára lehetővé tesznek, az, hogy fo-galmat alkothatnak azokról a folyóiratokról, amelyekben az elemzett k u t a t ó k publikálnak.

Mivel a sokat idézett folyóiratok egyben szigorú szerkesztési politikával jellemzett tekin-télyes publikációs f ó r u m o k , a k u t a t ó k a t akik ezekben k ö z ö l n e k , úgy t e k i n t i k , mint akik j o b b a n dolgoznak a harmadosztályú folyóiratokban közlő k u t a t ó k n á l . T ö b b mint kétezer folyóirat „influence w e i g h t " m u t a t ó s z á m á t megtalálhatjuk az előbb említett Evaluative Bibliometrics c. könyv függelékében.

Következtetések

Az alapkutatás mennyiségi értékelése lényegesen segítheti munkájában az elemzőt.

Noha m é g mindig vannak olyanok, akik kérdésesnek tartják az ilyen kvantitatív értékelések alapvető premisszáit, k ü l ö n ö s e n , ha szakirodalmi mutatószámok vizsgálatával j á r n a k , manap-ság már sokkal kevesebb p r o b l é m a vetődik fel a kvantitatív elemzésekkel, m i n t egy évtized-del e z e l ő t t . Az elmúlt tíz évben több ezer m u n k a ó r á t f o r d í t o t t a k e m u t a t ó s z á m o k vizsgála-tára, és cikkek százait í r t á k , amelyekben vagy tényleges elemzésekben alkalmazták e mutató-kat, vagy előnyeiket és hátrányaikat v i t a t t á k .

Bár a mennyiségi értékeléseket m a s o k k a l k i f i n o m u l t a b b a n lehet elvégezni, mint a k ö -z e l m ú l t b a n , e móds-zerek m é g mindig n e m eléggé fejlettek. F ő értékük — m a úgy tűnik — a diagnosztikai lehetőségeikben rejlik. A j ó l kidolgozott m u t a t ó s z á m o k világosan jelzik azo-kat a t e r ü l e t e k e t , ahol az egyes kutatási p r o j e k t e k és p r o g r a m o k valamilyen előre meghatá-rozott normatívarendszertől lényegesen e l t é r n e k .

Irodalom

1. F. Narin: Evaluative Bibliometrics: The Use of Publication and Citation Analysis in the Evaluation of Scientific Activity, Computer Horizons, Inc., Cherry Hill, NJ, 1976.

2. A. Kaplan: The Conduct of Inquiry, Chandler Publishing Co., Scranton, PA, 1964, 198-206. old.

3. A. J. Lotka: The frequency distribution of scientific productivity, J. Washington Academy of Sciences, 16(1926)317.

4. J. D. Frame, F. Narin: NIH funding and biomedical publication output,Federation Proc., 35 (1976) 2529.

5. E. Garfield: Citation analysis as a tool in journal evaluation, Science, 178 (1972)472.

6. G. Pinski, F. Narin: Citation influence for journal aggregates of scientific publications: Theory, with application to the literature of physics, Inform. Proces. Manag., 12 (1976) 297.

J E L Ö L T E K K U T A T Á S I T E V É K E N Y S É G É N E K É R T É K E L É S E *

A vizsgálat célja

Az alábbi vizsgálatnak elsődlegesen metodikai célja van. Az egyénekre vonatkozó ada-tok részletes elemzése és kvalitatív értelmezése azért j e l e n t ő s , mivel ezeknek segítségével leírhatjuk azokat a k ü l ö n f é l e egyedi teljesítményi típusokat, melyekből minden csoportra vagy i n t é z m é n y r e v o n a t k o z ó teljesítmény felépül. Időtakarékosság m i a t t , legalább is a gya-korlatban a csoportokra vagy intézményekre vonatkozó a d a t o k a t többnyire nem lehet úgy részletekre felbontani, ahogy ezeket a továbbiakban az egyedi a d a t o k o n illusztráljuk. Ezek-nek b e m u t a t á s a azonban alkalmas lesz arra, hogy felhívjuk a figyelmet a csoportokra vagy intézményekre vonatkozó a d a t o k értelmezésénél tanúsítandó óvatosságra.

Az egyének kutatási tevékenységének értékelését kutatási támogatások igénylőinek megítélésére, állások és tanszékek betöltésénél, m u n k a c s o p o r t o k összeállításánál, stb. rend-szeresen végzik. Mindezideig ez az értékelés majdnem kizárólag kvalitatíven folyt — és ez éppen a kérelmezők és jelöltek összehasonlításánál n y ú j t tág teret a szubjektív megítélés-nek. Az alábbi vizsgálatok segítségével be szeretnénk m u t a t n i annak a lehetőségét, hogyan t e h e t ő k részlegesen objektívé ezek az értékelési f o l y a m a t o k .

Adatbázis

A j e l e n vizsgálat adatbázisát egy ú j o n n a n betöltendő orvosbiológiai tanszékvezetői be-osztásra pályázó jelöltek publikációs jegyzéke, valamint a Science Citation Index képezte.

Ennek áz információnak az alapján, k ü l ö n b ö z ő kvantitatív „ a r c k é p e k e t " és rangsorokat állí-tunk fel.

A következőkben az egyedi adatok részletes kvantitatív elemzését a d j u k . Ezek azt m u -tatják, h o g y a különböző kvantitatív értékelések egy konzisztens összképhez konvergálnak.

Egyéni k u t a t ó k kutatási teljesítményének részletes kvantitatív értékelése

A j e l e n rész az orvosbiológiai tanszék vezetésére pályázó négy k u t a t ó t u d o m á n y o s te-vékenysége összehasonlító kvantitatív elemzésének eredményeit m u t a t j a be. Nevezzük ezeket a jelölteket A-nak, B-nek, C-nek és D-nek. A pályázati d o k u m e n t á c i ó b ó l vett publiká-ciós j e g y z é k b ő l és a Science Citation Index-bői minden jelölt esetében a következő adatokat s z á m í t o t t u k ki:

*Peter M. Fauser, Helmut Baitsch és Ina S. Spegel-Rösing: Beitrage zur Messung von Forschungsleitung, Institutionen, Gruppen, und Einzelpersonen, Der Bundesminister für Bildung und Wissenschaft, Schriftreihe, Hochschule 16,1975,4. fejezet 107-130. old.

1. T u d o m á n y o s produktivitás (publikációk száma) és ennek időbeni változása.

2. Azoknak a folyóiratoknak az „impact"-ja, melyekben a jelöltek publikáltak.

3 . A jelöltek „kooperációs j e l l e m z ő j e " , ahogyan ezt a publikációs jegyzékekben feltün-t e feltün-t feltün-t ü k , feltün-társszerzői kapcsolafeltün-tokból rekonsfeltün-truálni lehefeltün-t.

4 . A közlemények „hatásszerkezete": Egy publikációra eső idézetek száma az idézett publikációkra eső idézetek száma, a k a p o t t idézetek időbeni eloszlása, az idézetek országonkénti megoszlása.

1. Tudományos produktivitás (publikációk száma) és ezek