University of Houston expels professor, Nature, 279 (1979) 278

46. A. L. Porter: Citation analysis: Queries and caveats. Soc. Stud. Sei., 7 (1977) 257.

47. D. J. D. Price: Little Science, Big Science, Columbia University Press, New York, 1963.

48. Public Accounts Committee: Expenditure on Resign for Proposed Mark VA RAdio Telescope, Fifth Report from the Committee of Public Accounts, Session 1975-76, HC 556 (HMSO, 1976 London), XXXI-IV és 269 old.

49. E. Shils (Szerk.): Criteria for Scientific Development: Public Policy and National Goals, MIT Press, Cambridge, Mass., 1968.

50. R. Smith, F. E. Fiedler: The measurement of scholarly work: A critical review of the literature, Educational Record, (1971)225.

51. D. Sullivan, D. H. White, E. J. Barboni: The state of a science: Indicators in the speciality of weak interactions, Soc. Stud. Sei., 7 (1977) 167.

52. N. Wade: Citation analysis: A new tool for science administrators, Science, 188 (1975)429.

53. A. M. Weinberg: Criteria for scientific choice, Minerva, 1 (1963) 159.

54. J. H. Westbrook: Identifying significant research, Science, 132 (1960) 1229.

55. R. D. Whitley: Communication nets in science. Status and citation patterns in animal physiology, Sociol. Rev., 17(1969)219.

56. S. Hamad (Szerk.): Peer evaluation on peer review, Behav. Brain Sei., 5 (1982) 185.

T E R V E Z E T E K ( P R O J E K T E K ) É R T É K E L É S É R E *

Ez a cikk mennyiségi m u t a t ó k használatával foglalkozik alapkutatási tervek és progra-mok értékelésében. A legnagyobb figyelmet k é t , publikáció-központú m u t a t ó s z á m r a for-dítjuk; a t u d o m á n y o s kutatási közelményekre és rájuk utaló idézetekre, illetve a bennük felsorolt hivatkozásra.

Az értékelési célú szakirodalmi m u t a t ó s z á m o k alkalmazása az 1970-es évtizedben rendkívüü m é r t é k b e n elterjedt. Ez nagyrészt a t u d o m á n y o s indexelő és referáló szolgáltatá-sok számítógépesítésének, speciálisan pedig a Science Gtation Index-nek t u l a j d o n í t h a t ó . A számítógépek alkalmazása megszabadította a k u t a t ó k a t a „bibliometriai" adatgyűjtés kézi módszereinek egyhangúságától és unalmától, és így erőfeszítéseiket adatgyűjtés helyett az adatok elemzésére f o r d í t h a t t á k . Ezekben az években nagy f e j l ő d é s következett be annak megértésében, hogyan lehet a szakirodalmi referáló folyóiratokat értékelési célokra felhasz-nálni. A m e t o d i k a fejlesztésében elsősorban k é t intézmény j á t s z o t t vezető s z e r e p e t , a C o m p u t e r Horizons Inc., Cherry Hill, New Jersey, és az Institute f o r Scientific I n f o r m a t i o n , Philadelphia.

A jelen m u n k a általános tájékoztatást n y ú j t az olvasónak arról, hogy h o g y a n lehet a szakirodalmi m u t a t ó s z á m o k a t az alapkutatás értékelésére felhasználni. Az „ é r t é k e l ő bib-hometria"** nevű terület túlságosan kiterjedtté vált ahhoz, hogy n é h á n y oldalon t ö m ö r e n összefoglalható legyen. Többszáz olyan cikket k ö z ö l t e k már, amelyek vagy felhasználják a szakirodalmi m u t a t ó s z á m o k a t a t u d o m á n y o s tevékenység vizsgálatára, vagy pedig a bib-liometriai analízis módszertani fejlesztésével foglalkoznak. Evaluative Bibliometries1 (Ér-tékelő bibliometria) címmel egy tekintélyes m o n o g r á f i a is megjelent, amely a szakirodalmi mutatószámokkal foglalkozik. Ha a területen dolgozó e téma részletes leírását ó h a j t j a , ezt a könyvet be kell szereznie.

Mennyiségi értékelés

Az értékelés egyike azoknak az egymással összefüggő igazgatási feladatoknak, amelye-ket a kutatással és fejlesztéssel foglalkozó szervezetekben gyakorolnak. Az egyéb átfogó funkciók k ö z é t a r t o z n a k : az intézmény célkitűzéseinek megállapítása, e célok elérésére szol-gáló stratégiák kidolgozása, és a stratégiák megvalósítása. A stratégiák megvalósulását kö-vetően az igazgatás az értékelés révén megállapíthatja, hogy a k i t ű z ö t t célok megvalósul-tak-e. Az értékelés az információ-visszacsatolás f u n k c i ó j á t látja el, ez a vezetőség próbája annak felderítésére, hogy a k i t ű z ö t t célokat elérik-e. Ha ez nem következett b e , akkor a

* J. Davison Frame .IEEE Transactions on Engineering Management, 30 (1983) No. 3,106-112.

**Bibliometria - tudománymetria területek viszonyának tisztázását lásd: Schubert András, Glánzel Wolfgang és Braun Tibor: Tudománymetriai mutatószámok 32 ország természettudományos alapkuta-tásának összehasonlító elemzéséhez, MTA Könyvtára, Budapest, 1983,13. old. (Szerk.).

a stratégia, illetve az annak megvalósítására irányuló erőfeszítések módosítása, vagy maguk-n a k a célokmaguk-nak az újrafogalmazása válik szükségessé. A pozitív visszacsatolás megszilárdítja a rendszert. Negatív visszacsatolás viszont a rendszer módosításának szükségére utal.

Az értékelési m u n k a hatékonysága egyenesen arányos a visszacsatolt információ minő-ségével. Jó minőségű adatok a k u t a t á s i és fejlesztési (továbbiakban: KF) irányítási, igazga-tási rendszer működését elősegítik, míg a rossz minőségű adatok gátolják. Következéskép-p e n az értékelésben foglalkoztatottak fő célja, hogy a teljesítménymutatók megbízhatók és reálisak legyenek. A realitáson azt értjük, hogy a mutatók ténylegesen azt méijék, amit m é r n i szeretnénk, míg a megbízhatóságon azt, hogy a mutatók értéke az egymást követő mérések során ne változzék lényegesen.2

Ideális körülmények között az értékelést j ó minőségű mennyiségi mutatók alapján végzik. Több ok m i a t t is előnyösebb minőségi elemzés helyett mennyiségit végezni. Elő-ször is a mennyiségi mutatók az értékelésben nagyobb objektivitásra vezetnek, továbbá a reális és megbízható mennyiségi m u t a t ó k segítségével a vezetőség a K F munka módosításá-ban „finom hangolásra" képes.

Az alapkutatás értékelésében használható mennyiségi mutatók az alábbiak:

a kutatás költségei, a kutatószemélyzet száma, a kutatói gárda képzettsége,

a kutatásban foglalkoztatottak demográfiai adatai,

szakirodalmi mutatószámok (pl. közlemények száma, idézetek száma, társszerzők száma).

Az első négy mennyiségi m u t a t ó kategóriába tartozókat hagyományosan „input mutatóknak, befektetési mutatóknak nevezik. Ezek a kutatási erőfeszítésekben felhasznált szakértelem és erőforrás együttest jellemzik. Az u t o l s ó felsorolt kategória, a szakirodalmi mutatószámok, „ o u t p u t " - eredmény típusúak. Ezek a mutatók a kutatási erőfeszítések egyik következményét demonstrálják: a kutatási tevékenségből származó tudásanyag elter-jesztését és publikálását. Az „ i n p u t " és „ o u t p u t " típusú mutatók összevetéséből fogalmat

alkothatunk az alapkutatási rendszer hatékonyságáról.

A közlemények száma, mint a tudományos termelékenység m é r t é k e

A kutatók számára az egyik legalapvetőbb szabály az, hogy eredményeiket kollegáik k ö z ö t t el kell terjeszteniük. Ezt különféle utakon érhetik el;jelentések, könyvek, konferen-ciák, preprintek és folyóiratokban közzétett cikkek révén. A tudományos életben talán a legutóbbi a „legjobb" út, különösen, ha a folyóirat csak „bírált" kéziratokat fogad el, nem-zetközi rangja van és széleskörűen olvasott.

Mivel ehhez a szabályhoz általánosan ragaszkodnak, azokat a k u t a t ó k a t , akik kutatási eredményeiket nem a tudományos szakirodalom csatornáin át közlik, többnyire úgy tekin-tik, hogy „ nem csinálnak t u d o m á n y t " , fgy a „publikálj vagy p u s z t u l j " (publish or perish) megközelítési mód a tudományos tevékenység értékelésében arra irányuló kísérlet, hogy megállapítsák milyen mértékben „csinálnak t u d o m á n y t " a kutatók.

Ha a tudományos termelékenységet úgy t e k i n t j ü k , mint ami szorosan kapcsolódik a közleményszámhoz, akkor a publikációs magatartás, viselkedés vizsgálata azt m u t a t j a , hogy a magas termelékenységi szint viszonylag kevés k u t a t ó r a korlátozódik. Ezt fogalmazza meg a Lotka törvény,3 amely szerint egy a d o t t tudományterületen n számú cikket közlő szerzők

száma k b . I/«2-szerese az egyetlen cikkel rendelkező szerzők számának. E n n e k megfelelően, ha 100 k u t a t ó k ö z ö l egyetlen egy c i k k e t , akkor 25 (azaz 100/4) közöl k e t t ő t , 11 (azaz

100/9 publikál h á r m a t , 6 (azaz 100/16) közöl négyet, s t b .

A szakirodalmi mutatószámok használatát egyszerű o k b ó l korlátozzuk az alapkutatás értékelésére: az alapkutatási e r e d m é n y e k e t általában k ö z ö l n i szokták. Az alapkutatásban tevékeny k u t a t ó m u n k á j á é r t elismerést szerzendő eredményeit publikálás útján teszi m i n -denki számára hozzáférhetővé. Az erősen alkalmazott k u t a t á s b a n a fejlesztés és a technoló-gia területén a t u d á s magántulajdoni f o r m á t ölt, a k u t a t á s profitszerzési célból folyik, így a k u t a t ó k nem ó h a j t a n a k kártyáikba bepillantást engedni, és általában nem publikálják ered-m é n y e i k e t . Ha ered-mégis közlik azokat, a k k o r azt valószínűleg szabadalered-mi leírás f o r ered-m á j á b a n teszik.

így elméletileg úgy t ű n i k , hogy a t u d o m á n y o s cikkek száma az a l a p k u t a t á s terén a t u d o -m á n y o s produktivitásnak — bár ne-m az egyetlen — de -m i n d e n k é p p e n reális -m u t a t ó s z á -m a . A gyakorlatban a z o n b a n igen nagy gondossággal kell eljárni e m u t a t ó s z á m használatában.

E m u t a t ó s z á m hordereje jelentősen n ő a vizsgált k u t a t ó k számának növekedésével. Így fel-használható pl. a d o t t kutatási p r o j e k t e k e n vagy p r o g r a m o k o n dolgozó k u t a t ó c s o p o r t o k ésszerű értékelésére. Az egyedi k u t a t ó értékelésében a m u t a t ó realitása kérdésessé válik.

É r d e k e s módon a „publikálj vagy p u s z t u l j " elv legszélesebb körű felhasználása éppen az egyedi kutatóra k ö v e t k e z e t t be (pl. az egyetemi pozíciókra való kinevezések döntései kapcsán), így az értékelő bibliometria legmegtámadhatóbb felhasználásai egyben a leggya-k o r i b b a leggya-k is.

Egy példa

Az elemző, aki boldog tudatlanságban él afelől, hogy milyen bonyodalmakkal j á r a t u d o m á n y o s cikkek értékelő célú számlálgatása, úgy fogja találni, hogy igen k ö n n y ű egy k u t a -t ó cikkeinek számá-t megállapí-tani. M o n d j u k egy hároméves program ér-tékeléséről van szó, amelyben tizenöt k u t a t ó vett részt. Az ember egyszerűen azonosítja a cikkeket, amelyeket ezek a kutatók e b b e n az időszakban publikáltak, összeadja őket, és megállapítja, hogy h á n y cikk esik egy évben egy k u t a t ó r a . Az így k a p o t t szám ad valami felvilágosítást a teljes k u t a -tási program termelékenységéről. Ez a szám azonban önmagában nem j e l e n t sokat. Valószí-n ű , hogy az értékelést végző szeretValószí-né ezt az adatot valamilyeValószí-n voValószí-natkoztatási mértékkel összehasonlítani, h o g y lássa, hogy b i z o n y o s normatívák szerint hogyan m ű k ö d i k a p r o g r a m . Sokféle vonatkoztatási mértéket lehet kiválasztani az értékelési céloktól függően. így pl. ez az alapmérce lehet egy konkurráló program k u t a t ó i n a k teljesítménye, a program m é n y e az előző években, egy a programon kívüli k u t a t ó k b ó l álló kontrollcsoport teljesít-m é n y e a szóbanforgó általános területen, stb.

A fenti példa arról, hogy a cikkszámlálást hogyan lehet értékelésre felhasználni, durva túlegyszerűsítése a n n a k , amit tenni kellene. Valójában m i e l ő t t egy értékelő elkezdené össze-g y ű j t e n i és analizálni adatait, előbb bizonyos alapkérdésekre kell válaszolnia:

Milyen típusú közlemények kerüljenek bele az értékelésbe? Csak folyóiratcikkek?

Monográfiák? Kutatási jelentések?

Milyen forrásokat kell használni? Egyéni életrajzokat? Kivonatokat és/vagy indexeket?

Folyóiratokat?

Milyen időszakot öleljen fel a vizsgálat? Figyelembe kell venni a k u t a t ó k által az u t ó b b i ö t évben közölt m u n k á k a t ? Vagy csak azokra a közleményekre figyeljünk, amelyek a prog-rammal vagy p r o j e k t t e l összefüggők (és ha igen, milyen időkésést f o g a d j u n k el figyelembe veendő azt az i d ő t , amely a k u t a t á s és az eredmények publikálása k ö z ö t t eltelik)?

Figyelembe vettük-e a t u d o m á n y t e r ü l e t jellegét? Gyakran nagy különbségek vannak szakterületről szakterületre az átlagos publikációszámban, és ezeket a különbségeket is te-kintetbe kell venni (pl. a biokémiában a folyóiratcikkek átlagos száma szerzőnként és éven-ként 2,70, míg a gépészmérnöki t u d o m á n y b a n 1,06).

Milyen k o n t r o l l c s o p o r t o t kívánunk alapmérce gyanánt venni? Vannak-e valós adatok a kontrollcsoport termelékenységére, vagy ezeket az adatokat magunknak kell kiötleni? össze-hasonlíthatók-e a kontrollcsoport adatai a mi értékelendő kutatócsoportunkéival, vagy a kü-lönböző adatbázisok miatt ezek nem összevethetők? A pubükációk forrásai minőségileg ha-sonlók-e? Azaz, míg az egyik csoport jellegzetesen első osztályú folyóiratokban publikál, a másik jellegzetesen harmadrendűekben?

Mihelyt ilyen és hasonló kérdésekre kielégítő választ k a p o t t , az elemző készen áll adatai összegyűjtésére és elemzésére.

1. táblázat

Két multidiszciplináris program mennyiségi összehasonlítása ,,A program „B program

Életkor 46,5 47,8

Fokozat óta eltelt évek 19,4 17,6

Fokozatok

Ph.D./D.Sc. 87,3 % 95,6 %

M.D 9,4 2,2

Ph.D.|M.|D. 1,1 0,0

M.S. 2,2 2 2

Publikáció/év/kutató

Biológia, élettudományok 3,22 2,82

Fizikai tudományok 2,21 1,63

Társadalomtudományok 1,00 0,57

Mérnöki tudományok 1,89 0,93

Agrártudományok 2,19 1,63 Az 1. táblázat összehasonlítást ad két n a g y m é r e t ű , multidiszciplináris programról, ame-lyeket a szövetségi k o r m á n y t á m o g a t o t t . Nem csupán publikációs termelékenységi adatokat tartalmaz, h a n e m néhány demográfiás változót is.

Mint a táblázatból kiderül, az életkor, a legmagasabb f o k o z a t és a f o k o z a t ó t a eltelt évek s z e m p o n t j á b ó l a k é t c s o p o r t között nincs figyelemreméltó különbség. A m i k o r azon-ban a k u t a t ó k é n t évente publikált cikkszámot tekintjük, l á t h a t ó , hogy az „ A " program kutatói mindegyik t u d o m á n y t e r ü l e t e n rendszeresen felülmúlják a „ B " program k u t a t ó i t . Ezek az a d a t o k megerősítették azoknak az ösztönszerű megérzéseit, akik a két p r o g r a m o t az illető ügynökségen ismerik. S e j t e t t é k , hogy az „ A " program nagy tekintélyű, produktív és versenyképes, míg a „ B " program középszerű. E b b e n a példában a termelékenységi ada-tok megerősítették a két p r o g r a m viszonylagos érdemeiről a l k o t o t t megérzéseket.

T u d o m á n y t e r ü l e t i normatív táblázatok

A 2. táblázat adatait a szerző állította össze hat t u d o m á n y t e r ü l e t : a fizika, a kémia, a csillagászat, a mikrobiológia, a biokémia és a gépészmérnöki t u d o m á n y egyes m é r h e t ő mu-tatói alapján. Az elemzésben szereplő k u t a t ó k és m é r n ö k ö k olyan, találomra kiválasztott

egyetemek megfelelő tanszékeinek tagjai, amelyek a szóbanfoigó területeken szakkollé-giumokat (graduate program) tartanak ( t u d o m á n y t e r ü l e t e n k é n t kilenc találomra kiválasztott egyetem).

A gépészmérnöki publikációs adatok az Engineering Index-bői származnak, az egyéb területek publikációs adatainak forrása pedig a Science Gtation Index. A demográfiás ada-tokat a szerző az American Men and Women in Science (AM WS) (Amerikai férfiak és n ő k a t u d o m á n y b a n ) kiadványból merítette. Mivel a tanszékek igen fiatal tagjai az AMWS-ben még nem szerepelhettek, a k u t a t ó p o p u l á c i ó k átlagos életkora, továbbá a legmagasabb f o k o z a t óta eltelt évek száma kissé túl van becsülve. Tipikusan a m i n t a 10—15%-a nem szerepelt az AMWS-ben.

A táblázat világosan m u t a t j a a k ü l ö n b ö z ő t u d o m á n y t e r ü l e t e k k u t a t ó i k ö z ö t t i eltérése-ket és hasonlóságokat. N a g y f o k ú hasonlóság van a k u t a t ó k életkora és a legmagasabb fokozat megszerzése óta eltelt idő m u t a t ó i b a n . A publikációs m u t a t ó s z á m o k b a n területről területre figyelemreméltó különbségek v a n n a k , és hasonló eltérések találhatók a társszerző-számban és a b b a n , hogy melyik i n t é z m é n y b e n szerezték f o k o z a t u k a t .

Az ilyen táblázatoknak, mint összehasonlítási alapnak a használatában az értékelést végző személynek figyelembe kell venni, h o g y az adatok elsősorban az egyetemi k u t a t ó k jellegzetességeit tükrözik. Az ipari k u t a t ó k és az állami intézmények k u t a t ó i esetében a

fentiektől eltérő jellemzők várhatók. Mindenesetre, ha egy ipari vagy állami intézmény alapkutatási programjának elemzője úgy találja, hogy a vizsgált k u t a t ó k és m é r n ö k ö k jelleg-zetes adatai drámai m ó d o n különböznek az itt közölt normatíváktól, az arra kell ösztö-kélje, hogy vizsgálja meg m i o k o z z a ezeket a különbségeket.

Azok az egyetemek, ahol a kutatók a legmagasabb fokozatukat kapták Fizika

In document INFORMATIKA ÉS TUDDMÁNYELEMZÉS (Pldal 136-143)