A dokumentum-visszakeresési rendszerek alkalmasságának vizsgálata és értékelése megtekintése

002.513.5

A DOKUMENTUM-VISSZAKERESÉS] RENDSZEREK ALKALMASSÁGÁNAK VIZSGÁLATA

ÉS ÉRTÉKELÉSE

/ Gáspár. István

Orízőgos Mjsioki Kön/víór és Dokumentációs Központ

AZ ALKALMASSÁG KAPCSOLATA A VIZSGÁLATTAL ÉS ÉRTÉKELÉSSEL A visszakeresési r e n d s z e r e k vizsgálata ás értékelése t e k i n t e ­ tében az érdeklődés csökkenése állapitható meg. ügy látásik, bog? e probléma Jelentőségét l e kevesebbre besülik most. Az 1966. e l e i há­

romnegyed' évében közzétett i l y e n tárgya tanulmányok száma neo éri e l az 5 0 - e t . Ez a pangás számos tényezőre vszethető v i s s z a , Így a r ­ r a , hogy a kutatók kiaknázták témaköreiket, hogy sürgősebb kísérle­

t i t e r v e k e t irányoztak elő, hogy hiányzik a vizsgálat és értékslée elméleti a l a p j a , a hogy bármilyen a ] vizsgálati tevékenység előtt bizonyos mértékű alapkutatásra van szükség. Az értékslési munka v a j ­ mi kevéssel Járult hozzá az információ visszakeresési r e n d s z e r e k tervezésének és optimizáláBának Javításához.

A kieérietek tervezésében lényeges hiányosságok vannak. Téves az a nézet, hogy a visszakeresési r e n d s z e r e k vizsgálatának v a n meg­

felelő módszertana.

A visszakeresési r e n d s z e r e k vizsgálatával foglalkozó e g y i k u¬

j a b b k r i t i k a i folyóirat rámutat a r r a , bogy a módszertanok száooB o l y a n elemet nem i s m e r t e k f e l , amelyek lényegesek a Jő kutatás szem­

pontjából. A folyóirat ugy véli, hogy főbb problémák a r r a a módra vezethetők v i s s z a , ahogyan a t e r v e k e t összehasonlítják, a kritériu­

mok mértékeit megválasztják, a r r a , hogy b e l y t e l e n mórási módszere­

k e t alkalmaznak, nem gondolják át a k r i t i k a i sllenőrzést, s ahogyan a kipróbálási eljárásokat és a s t a t i s z t i k a i vizsgálatokat végzik.

BOÜRHE az Annual Review o f I n f o r m a t i o n Science and Technology 1966-os évfolyamában hasonló kövstkeztstésre j u t . Soha s e n k i nem

EEES, A.H.: The r e l e v a c c e o f r e l e v a n c e t o t h e t e s t i n g and e v a - l u a t i o n o f document r e t r i e v a l systems. - A s l i b FroceedingB, 15.k.

11.sz. 1966. p.316-324. A tanulmány ismertetése.

IUT 15.évi. S.Bzám 1968.február

bizonyította vizsgálati eredményeit, vagy t e r j e s z t e t t e k i , i l l . t e t ­ t e pontosabbá azokat más kísérletező utján. Ezenfelül, meghatáro­

z o t t i n d e x - r e n d s z e r b e n a visszakéréséére, alkalmasságra vagy más té­

nyezőkre megadott számszerű értékek csupán e r e n d s z e r számára l e h e t ­ nek értékesek, Nem sok értelme van annak, hogy két kísérletező v i s z - szakeresési a d a t a i t összehasonlítsuk abban az e s e t b e n , ha mindkettő másképp értelmezi a visszakeresést, különböző kérési típusokat, az értékelésre különböző t i p u s u személyeket vesz igénybe, s ha számos más különbség van a vizsgálat külső körülményeiben.

A vizsgálatban éa értékelésben főként azért j u t o t t u n k h o l t ­ p o n t r a , mert nehézségek támadtak az alkalmsBág megítélésének műkö­

dési szempontbői való meghatározása tekintetében. Ez idő s z e r i n t semmivel sem t u d j u k pótolni az alkalmasságnak a fogalmát, amely a dokumentum-visszakeresési rendszerek hatékonyságának mennyiségi mé­

réséhez kritériumként szolgál. A visezakereaési rendszerek végeő célja, hogy p l . optimális színvonalra emeljék a tudományos dolgozók és mérnökök kutatói termelékenységét, és ezáltal előmozdítsák a kezdeményezőkészséget, vagy megkönnyítsék a problémák megoldását.

Nem mérhető azonban az, hogy valamely visszakeresési rendBzer m i ­ l y e n f o k o n t u d a s z e l l e m i tevékenységek optimizáláséhoz hozzájárul­

n i . Az alkalmasságot ama jelenség mennyiségi meghatározásának k r i ­ térium mértékéül használjuk, amely az egyének /felhasználók/ Ítéle­

tében lép f e l dokumentumok egymáshoz való k a p c s o l a t a i n a k , hasznos­

ságának, fontosságának, alkalmasságának, helytálló voltának, érté­

kének a t b . vonatkozásában, valamely inforraáció-kéróe, igény,kérdés, megállapítás, kutatáei lsirás, eljárás s t b . eeetén.

Az alkalmasság szerepének megvilágítására a vizsgálatban és értékelésben néhány meghatározást közlünk. Bármely r e n d s z e r haté­

konyságának mennyiségi meghatározása magában f o g l a l egy kritériu­

mot, amely l e h e t egy megmérendő jelenség vagy valamely változó ab¬

s z t r a k t leírása / p l . hő, hőátadáe/; egy mértékegységet, amelyben a r e n d s z e r teljesítménye mennyiségileg mérhető / p l . KCal, ampere/;

egy mérőeszközt / p l . hőmennyiségmérő, wattmérő - vagy az a l k a l m a s ­ ság mérése esetében a megítélést végző emberek, a megítélési utasí­

tásokkal együtt/; a mérések elvégzéséhez szükségéé módszertant /a visszakeresési kísérletek esetében ehhez megfelelő dokumentumokat, a megítélést végző szemólyekst, információ-kérő nyomtatványokat, műszereket, s t a t i s z t i k a i eljárásokat B t b . használnak f e l /,

Bármilyen rendszer-vizsgálat és értékelés megkezdésekor m i n ­ denekelőtt a megvizsgálandó jelenségst vagy kritériumot k e l l meg­

határozni, s csak ezután térhetünk át a mérőeszközök megválasztá­

sára. Az alkalmazásra kerülő eszközök a megmérendő jelenségek t e r ­ mészetétől függnek, a módszertannak p e d i g f i g y e l e m b e k e l l v e n n i e a kritériumot, a mértékeket, a mérőeszközöket, továbbá az i l y e n mér­

tékek ée eszközök h e l y e s alkalmazási módját. Az alkalmaaság lénye­

gének hiányos megértése a kritériumok, mértékek, mértékegységek, * mérőeszközök és a módszertan összezavarásához v e z e t e t t .

Az alkalmasság m i n t jelenség komplex. A s z e r z i véleménye sze­

r i n t az alkalmasság megítélése a felhasználó részéről vélsoényénsk a kifejezése a r r a nézve, hogy az a d o t t dokumentum által közvetített információ mennyiben van összhangban gondolatkörével, vagy a d d i g i

G Á S P Á B I . I Dokumentum-visszakeresési r e n d s z e r e k

i s m e r e t e i v e l , mennyiben f e d i át, egészíti fci azokat és/vagy mennyi­

ben hasznos az előbbiekhez viszonyítva. Ennsk az összhangnak, átfe­

désnek e t b . a kifejezése szubjektív és részben t u d a t a l a t t i a f e l ­ használd részéről. Ésszerűtlen l e n n e , ha a z t hinnénk, hogy a doku­

mentumoknak egy a d o t t információ"-igénnyel k a p c s o l a t o s alkalmassága minden felhaaználő részére minden időben állandő. Az a feltevésünk, hogy az alkalmasságot megítélő azemélyek különböző kategóriái nagy változatosságot mutatnak. A dokumentumok különböző embereket külön­

bözőképpen tájékoztatnak , amiért i s az alkalmasságra vonatkozó 1 - téle tünknél t e k i n t e t b e k e l l v e n n i megismerő képességük különbözősé­

gét. A megítélések különbözősége a r r a vezethető v i s s z a , hogy az i n ­ formációt különfélo okokból kérik.

A dokumentum alkalmassága valamely információ-igény kielégíté­

sére általánosságban nem létezik, hanem létBzik az egyén alkalmassá­

g i Ítélete egy sajátos megítélési h e l y z e t b e n , amely egy meghatáro­

z o t t színvonalra Ó B időpontra v o n a t k o z i k . Az alkalmassági Ítéletek szubjektivitására való t e k i n t e t t e l m i l y e n pszichológiai és környeze­

t i változókat f o g l a l n a k ezek magukban? Ez kutatómunkánk kiindulópont­

j a .

AZ ALKALMASSÁG KUTATÁSA A WESTERN RESBRVE UHIVERSITY-N

Kutatómunkánk alapvető célja az alkalmáésági Ítéletek módsze­

r e i n e k , változatosságának és alapjának meghatározása. Négy fő k i - Bérleti vagy független változó hatásával k e l l f o g l a l k o z n u n k ; ezek:

1 . a kutatás B z i n v o n a l a , 2. a dokumentumok, 3. a dokumentumok ér­

telmezése és 4. az alkalmasságot megítélő személyek. Célunk nagy­

számú adat összegyűjtése, amelyek elemzése és értelmezése utján pontosabb I s m e r e t e k e t szerezhetünk az alkalmasságról és az a l k a l m a s ­ sági ítéleteket befolyásoló változókról. Az ideális az l e n n e , ha a dokumentumok ée dokumentum értelmezések megítélését f o l y a m a t b a n l e ­ vő kutatótevékenységgel k a p c s o l a t b a n figyelhetnénk meg. Miután a¬

zonban ez rendkívül nagy akadályokba ütközik, ugy döntöttünk, hogy az alkalmassági Ítéleteket egy t e l j e s kutatási t e r v összefüggésé­

ben vizsgáljuk meg. Véleményünk s z e r i n t az i l y e n szimuláció nagyon megközelíti az irodalomkutatás és felhasználás valódi körülményeit.

Az alkalmassági Ítéletek tanulmányozására az egyetemen a b i o ­ lógia ós orvostudomány területét választottuk. A kutatómunkát 1961¬

63. között az egyetem orvostudományi karén végezték, az Országos E¬

gészségügyi Intézet támogatáséval. A t e l j e s t e r v három változatét készítették e l abból a célból, hogy a t e r v végrehajtásét három kü­

lönböző kutatási szakaszban mutassák be, az időbelileg d i f f e r e n c i ­ ált f e l a d a t o k n a k megfelelően; ezek: a/ a t e r v j a v a a l a t előkészítése éa a probléma azonosítása; b/ a kutatáe irányitáBa; c/ a kutatási eredmények elemzése ée bemutatása.- Feltevéaünk s z e r i n t az a l k a l m a s ­ sági Ítéletek a megítélést végző azemélyek részéről a különböző k u ­ tatási szakaszokban a s z e r i n t változnak, hogy egyrészt hogyan növe­

kednek a kutatási t e r v r e vonatkozó i s m e r e t e k , és másrészt hogyan változik az információ-igény azakaszról szakaszra. A három kivá-

I M I 15.óvf. 2.azáa 1968.február

l a s z t o t t ás szimulált szakasz - feltevésünk s z e r i n t - eltérő i n f o r ­ máció-Igényeket képvisel a fennálló kutatási h e l y z e t b e n .

Egy másik feltevés a r r a v o n a t k o z i k , hogy a különféle dokumen­

tumok alkalmasságát a különböző kutatási szakaszokban különbözőkép- psn Ítélik meg, hogy bizonyos dokumentumokat valamennyi kutatási szakaszban többre értékelnek, m i n t másokat, s hogy egyes dokumentu­

mok magasabbra értékelése állandóbb jellegű, m i n t másoké.

A vizsgálat során a dokumsntumokat k a p c s o l a t b a hozzák a k u t a ­ tási s z a k a s z o k k a l , éa az előbbiek alkalmasságát az elbírálást vég­

ző személyek az egyes kutatási szakaszokkal összefüggésben vizsgál­

ják. Minden egyes dokumentum címleírásához és bibliográfiai a d a t a i ­ hoz két dokumentum értelmezést adnak. Feltevésünk s z s r l n t a megíté­

lések az értelmezések különbözőségének és a t e l j e s szöveg,valamint az értelmezések közötti eltéréseknek megfelslően változnak.

Változó tényezőnek tekinthetők a megítélést végző személyek i s I t t o l y a n személyről van szó, a k i a dokumentumok alkalmasságát Íté­

l i msg a d o t t dokumentum-csoporton belül, megállapított vagy értelem szerűen adódó információ-igénnyel k a p c s o l a t b a n . I g e n lényeges ebben a vonatkozásban a megítélést végző személy műveltségi és szakmai színvonala és szakmájában való elhelyezkedése. Feltevésünk a z , hogy különböző műveltségi színvonalon álló, különböző biológiai és orvos tudományi kutatói g y a k o r l a t t a l rendelkező, eltérő munkakörben / k u t a tás, oktatás, betegellátás, adminisztráció/ dolgozó személyek j e l e n tősen különböznek egymástól abban a t e k i n t e t b e n , ahogyan a d o t t k u t a tasí probléma leírásából sajátos értékelési kritériumokat határoz­

nak meg. A megítélést végző személyek életrajzi a d a t a i t kérdőíveken gyűjtik össze. E személyek nagyjából három c s o p o r t r a o s z l a n a k : az elsőbe a betegellátást végző, a másodikba a laboratóriumban dolgozó személyek, a harmadikba az o r v o s i könyvtárosok t a r t o z n a k . A fő hangsúly azon van, hogy feltárják a megítélést végző személyek ama

Jellegzetességeit, amelyek az alkalmasság megítélésének folyamatát befolyásolják.

Az alkalmasság megítélésével k a p c s o l a t b a n egy vizsgálati ülés­

s z a k o t t a r t o t t a k másodéves orvostanhallgatókkal, v a l a m i n t két t o ­ vábbi ülésszakot: egyet o r v o s i könyvtárosok értékeléseinek össze­

gyűjtésére, egy másikat p e d i g k l i n i k a i és kísérletező orvosok érté­

keléseinek megszsrzésérs, a c u k o r b a j r a vonatkozó anyagról. Egy-egy Ülésszakot v e t t e k t e r v b e kórházi orvosok, 1 1 1 . biokémikusok és f i -

ziológusok részére.

Az adatok elemzésénél három módszert alkalmaznak: a szóráselem zést, a korrelációs számítást és a t a r t a l m i elemzést. A szőráselem- zést az értékelő c s o p o r t o k , dokumentumok, kutatási szakaszok és do­

kumentum-értelmezések jelentőségének meghatározásánál alkalmazzák.

A c s o p o r t o n belül, a korrelációs számítást az értékelést vég­

zők személyi körülményeinek /képzettség, szakma B t b . / az a l k a l m a s ­ sági értékelésekhez való viszonyítására, v a l a m i n t a r r a használják f e l , hogy megvizsgálják az alkalmassági szempontból történő értéke­

lések és az általános értékelések közötti v i s z o n y t .

GÁSPÁR I . i Dokumentum-visszakeresési r e n d s z e r e k

A t a r t a l m i elemzés keretében összegezik a megítélést végző sze­

mélyek válaszait és megjegyzéseit, az alkalmassági értékelések b e f e ­ jezését követő megbeszélés során.

Az adatok vizsgálata három kérdésre t e r j e d t k i . Az első ugyan­

azon dokumentum értékeléseinek megoszlására v o n a t k o z o t t , v a g y i s egy a d o t t értelmezésre a kutatás meghatározott szakaszában. A megosz­

lást egy-egy szakaszban a megítélést végző személyek s z e r i n t i a l k a l ­ masság különböző aspektusaiból vizsgálták éspedig

1 . a kutatáshoz viszonyított alkalmasság szempontjáből, aho­

gyan az az a d o t t időpontban benyújtott jelentésben s z e r e p e l ; 2. a sajátos kutatási probléma megszövegezéséhez viszonyított alkalmasság szempontjából;

3. az a l k a l m a z o t t klsérlsti eljárásokhoz viszonyított a l k a l ­ masság szempontJáből;

4. a kutatási eredmények értelmezésének problémájához viszonyí­

t o t t alkalmasság szempontjáből.

A második kérdés a r r a v o n a t k o z o t t , hogy m i l y e n mértékben érte­

nek egyet e megítélést végző személyek egymással. Minden egyes cso­

portból harminc e s e t e t választottak k i , és a személyek közötti v a ­ lamennyi lehetséges kölcsönhatást f i g y e l e m b e vették, többféle érté­

kelési h e l y z e t b e n . Az eredmény az, hogy a megegyezés általában na­

gyobb a szakorvosok, m i n t az o r v o s i könyvtárosok között.

Az elemzések harmadik c s o p o r t j a az értékelések közötti különb­

ségek egyes fajtáival f o g l a l k o z o t t . Hat elemzést végeztek az o r v o s i könyvtárosok válaszai közötti eltérésekkel k a p c s o l a t b a n , különféle értékelési h e l y z e t e k b e n , kettőt p e d i g a szakorvosok válaszainak e l ­ téréseit illetően. Az e d d i g i eredmények e z t mutatják, hogy az érté­

kelések között jelentős különbeégek vannak egyének, dokumentumok, kutatási szakaszok s z e r i n t , de nincsenek jelentős eltérések a t a n u l ­ mány során felhasznált dokumentum értelmezések között.

AZ INFORMÁCIÓ VISSZAKERESÉSI RENDSZEREK ALKALMASSÁGÁNAK ELMÉLETE FELÉ

Álláspontunk s z e r i n t az alkalmasság megítélésének f o l y a m a t a - bizonyos jől meghatározott korlátozásokkal - objektív f o l y a m a t , a- mélynek eredményeként az alkalmasság megítélése a visszakeresési rendszerek teljesítményének mérésére alkalmas eszköz.

Az, a k i irodalomkutatás eredményeként a d a t o k a t kap, t u d j a , h o g y azokből melyeket t u d j a felhasználni. A közölt információ alapján módjában van a megfelelő a d a t o k a t r e n d e z n i vagy r a n g s o r o l n i . így t e hét a d o t t időpontban lehetséges az alkalmasság egyéni megítélése,ée ez meg i s történik. A megítélést befolyásoló tényezők száma nagy,és

TMI 15.évf. 2.szám 1968.február

legnagyobb részüket a megítél ént végzi személy nem l s i s m e r i . öt ma­

gát illetően azonban az a d o t t dokumentumcsoport megítélése az a d o t t időpontban objektív és abszolút.

Álláspontunk s z e r i n t az i l y e n megítélések használnatő mérőesz­

közök, bár számos korlátozással. E megítélések az lnfonnáciő v i s s z a ­ keresési r e n d s z e r e k teljesítményének vizsgálatánál hasznos, o b j e k ­ tív mérőeszközök, feltéve, hogy a rendszer meghatározott, r e n d e z e t t , véges számú a d a t a i r a vonatkoznak, meghatározott felhasználói körrel, a k i k meghatározott szakterületen, meghatározott céllal, meghatáro­

z o t t környezetben, meghatározott időpontban, meghatározott funkció­

k a t teljesítenek.

A f e n t e m i i t e t t korlátozások a következőkre vonatkoznak:

a/ A felhasználók vonatkozásában: a megítélést végző és átvevő személyek b i z o n y o s egyéni műveltséggel, t a p a s z t a l a t t a l , megismerŐ- képességgel e t b . r e n d e l k e z n e k .

b/ A funkciók vonatkozásában: a megítélést végző személyek b i ­ zonyos munkát /funkciót/ végeznek / k l i n i k a i o r v o s i g y a k o r l a t , o k t a ­ tás, kutatás, adminisztráció s t b . / .

c/ A szakterületek vonatkozásában: a megítéléseket b i z o n y o s tudományágakban, szakterületeken, problémakörökben végzik / i l y e n e k a c u k o r b a j területén f o l y t a t o t t kutatás, információelmélet s t b . / , utalással a r r a a ezUkebb tárgykörre, amelyre vonatkozólag a megíté­

lést végzik.

d/ A cél vonatkozásában: a megítélést bizonyos célból végzik /bibliográfia összeállítása, t e c h n i k a i probléma megoldása, módszer­

t a n kialakítása s t b . / .

e/ A környezet vonatkozásában: a megítélést végző személyek b i ­ zonyos környezetben működnek /egyetemi, orvostudományi k a r , kutató laboratórium, műszaki könyvtár s t b . / .

f / Az időpont vonatkozásában: a megítélést végzett munkához v l s z o n y i t v a ' i meghatározott időpontban hajtják végre, Így p l . a k u ­ tatás vagy fejlesztés különböző s z a k a s z a i b a n .

g/ Az adatok vonatkozásában: a megítéléseket a r e n d s z e r által szolgáltatott véges számú, megbatározott t i p u s u ós rendezettségü a¬

d a t alapján végzik /dokumentumok, g r a f i k o n o k , ismertetések s t b . / . /A r e n d s z e r t egy másik személy, p l . egy könyvtáros i s képviselheti./

Az alkalmasság ebben a meghatározásban a megítélés által létre­

h o z o t t v i s z o n y v a l a m e l y r e n d s z e r keretében szolgáltatott adatok ás a felhasználók között, amely magában f o g l a l j a a f e n t f e l s o r o l t és egyéb lehetséges korlátozásokat.

G Á S P Á R X . t D o k u m e n t u m - v i s s z a k e r e s é s i r e n ű n z e r e k

K Ö V E T K E Z T E T É S É É

Az alkalmasság m i n t megbatározott k a p c s o l a t o k a t kifejező Je­

lenség, a visszakeresési r e n d s z e r e k alapvető gondolatköre. E j e l e n ­ ség megismerése j e l e n l e g még nagyjából intuíción a l a p u l , és mennyi­

ségileg nem megbatározott, miután általában nem kísérleti megfigye­

lésekből és megalapozott általánosításokból vezették l e . A v i s s z a ­ keresési rendszerek magjavitása i g e n nagy mértékben függ a f e n t i e k ­ ben meghatározott alkalmaeság megértésének fokától ée az a l k a l m a s ­ sági Ítéleteket befolyásoló tényezőktől.

A visszakeresési rendszerek kidolgozását és értékelését a f e l ­ használóval m i n t az információ kezdeményezőjével, igénylőjével és végső f e l d o l g o z d jávai k a l l k a p c s o l a t b a h o z n i . Az Ínformáció közve­

títése magában f o g l a l j a annak a felhasználó által történő f e l d o l g o ­ zását és alkalmazását, kiegészítve e z z e l azokat a beszerzési, táro­

lási, visszakeresési ée ezétsugárzási tevékenységeket, amelyeket a könyvtáros vagy a visszakeresési r s n d s z e r kezelője végez, A dokumen­

tum szolgáltatása nem azonos annak felhasználásával. Az információ végső felhasználásával k a p c s o l a t b a n tanulmányoznunk k e l l a f e l h a s z ­ náló magatartását. P h i l i p AEEISON rámutat a r r a , hogy az i s m e r e t e k felhasználásában nsm a publikációk szűkös v o l t a vagy a megfelelő információ visszakeresés hiánya a szűk k e r e s z t m e t s z e t . Az elmaradás azon a lépoaőfokon k e l e t k e z i k , amely egy ember Íróasztalán f e l h a l ­ mozott könyvek és azok ismeretanyagának részéről való elsajátítása között v a n . Több energiát k e l l fordítanunk annak meghatározására, hogy ml a Jelentós, s e z t tömörített formában k e l l közvetítenünk.

Ahhoz, hogy megkönnyítsük az információ közvstitését, és ezál­

t a l megjavítsuk a tudósok és mérnökök kutatómunkájának termelékeny­

ségét, az osztályozási r e n d s z e r e k , tárgyszavak,tezauruszok jelentő­

ségének elismerése m e l l e t t nagyobb f i g y e l m e t k e l l fordítanunk azok­

r a a pszichológiai és környezeti változókra, amelyek az információ­

igényt és feldolgozást meghatározzák.

Az alkalmasság a r e n d s z e r t és, felhasználóját egyaránt magában f o g l a l j a , miután a gépi u t o n v i s s z a k e r e s e t t dokumentumokat emberek értékelik. A f e s t e m Beeerve D n i v e r e i t y - n f o l y t a t o t t kutatást k i ­ egészíti a k a l i f o r n i a i Santa Uonicában működő, System Development C o r p o r a t i o n laboratórium t i p u s u vizsgálati tevékenysége. Ez utóbbi intézménynél két tudományos munkatársi Dr.CarloB CUADRA és Dr.Róbert KATTER f o l y t a t az alkalmasság megítélésével k a p c s o l a t o s kutatásokat.

A r r a a megállapításra j u t o t t a k , hogy a megítélést végző személyek különbözősége s z e r i n t i eltérések az alkalmasság értékelésében az információ-rendszer értékelésének kezdete óta megfigyelhetők. E z t a Jelenséget általában zavarónak tekintették, amelyet k i k e l l küszö­

bölni vagy e l k e l l kerülni, a h e l y e t t , hogy kellő f i g y e l m e t fordíta­

nának rá. A tanulmány szerzője ugy véli, hogy a kérdést a jelentő­

ségének megfelelő megvilágításba h e l y e z t e .

sSa