Naslovnica O znanosti u Hrvatskoj Što su relativne ljestvice kako bi mogle biti korisne za vrednovanje u hrvatskoj znanosti

Što su relativne ljestvice kako bi mogle biti korisne za vrednovanje u hrvatskoj znanosti PDF Ispis E-mail
Autor Vlatko Silobrčić   
Srijeda, 26 Rujan 2012 09:02

 

ŠTO SU RELATIVNE LJESTVICE I KAKO BI MOGLE BITI KORISNE ZA  VREDNOVANJE U HRVATSKOJ ZNANOSTI

SAŽETAK

          Recenziranje (engl. peer review) je najprikladniji način vrednovanja kvalitete u znanosti. Pri tome je bitno da recenzent bude kompetentan i nepristran. Nepristrano je recenziranje praktično neprovedivo u malim znanstvenim zajednicama kakva je hrvatska, u kojima se svi poznaju, te je jedino pravo rješenje internacionalizacija recenziranja. Za objektivnije  vrednovanje mogu dodatno poslužiti bibliometrijski/scientometrijski pokazatelji, uz uvjet da ih interpretiraju eksperti. Ti se pokazatelji mogu upotrijebiti i za oblikovanje „relativnih ljestvica“, iz kojih se vidi mjesto pojedinca ili skupine znanstvenika, unutar odabrane znanstvene discipline. Relativna se ljestvica može odnositi na lokalnu i(li) na svjetsku ravan.  Određivanjem mjesta pojedinca ili skupina na takvim ljestvicama vidi se njihova relativna uspješnost u odabranim okvirima. Takvi su relativni pokazatelji znatno prikladniji od apsolutnih kao pomoć pri vrednovanju u znanosti, posebno u maloj znanstvenoj zajednici. U tekstu je i primjer  oblikovanja relativnih ljestvica  i njihove upotrebe.

Ključne riječi: vrednovanje u znanosti, recenzija, mala znanstvena zajednica bibliometrijski/scientometrijski podaci, relativne ljestvice


1. UVOD

          Već  godinama ponavljam da se u Hrvatskoj ne može doista provesti objektivna ocjena kompetentnih kolega (recenzija, engl. peer review), ako se kao recenzenti uzimaju  kolegice/kolege iz Hrvatske. To vrijedi za sve vrste recenziranja (projekata, objavljenih djela, itd.). Glavni je razlog tomu ukupno premalena znanstvena zajednica u kojoj se gotovo svi osobno poznaju, te nerazvijena kultura dijaloga i suprostavljanja argumentima a ne emocijama i mnogobrojnim privatnim opterećenjima. Uputit ću na nekoliko tekstova u kojima se, na žalost bez odjeka, pokušava upozoriti na tu činjenicu (1, 2, 3).
          Kako smatram da je pitanje vrednovanja u znanosti jedno od ključnih pitanja za „zdravlje“ svake znanstvene djelatnosti, i u ovome ću tekstu predložiti neke konkretne mogućnosti kako da se taj manjak prebrodi ili barem ublaži.
          Najprije treba reći da je konačno rješenje pitanja vrednovanja znanstvene djelatnosti u Hrvatskoj u njegovoj internacionalizaciji, tj. u tome da recenzenti budu u pravilu kolege koji žive i rade izvan Hrvatske. Tek ćemo se internacionalizacijom vrednovanja u hrvatskoj znanosti približiti međunarodnim standardima. Uz međunardnu recenziju svih dijelova znanstvenoga procesa u Hrvatskoj (prijedlozi projekata, izvještaji o projektima, rukopisi priređeni za tisak, objavljena djela, prijedlozi za nagrade, prijedlozi za napredovanja, prijedlozi za primanja u ustanove sa izabranim članstvom), vjerujem da bi trebalo upotrebljavati i scientometrijske pokazatelje, kako je to već predloženo (3, 4, 5, 6).
          Međutim, čak i ako se potpuno prihvati prijedlog o međunarodnoj recenziji potpomognutoj scientometrijskim pokazateljima, može se pokazati potreba za „lokalnim“ mjerilima. Ovo nikako ne treba shvatiti kao moje zalaganje da bi Hrvatska trebala ipak imati drugačije kriterije vrednovanja nego cijela svjetska znanstvena  zajednica. Ima ipak prigoda kad bismo mogli uvesti lokalno procjenjivanje (ne lokalne kriterije!) radi posebnih potreba. Na primjer, pri odabiru kandidata za nagradu, primanju u članstvo akademija i drugih sličnih ustanova, i druge slične potrebe.
          U takvim bi nam prigodama dobro došlo odmjeravanje položaja pojedinih znanstvenika unutar svoga područja u svjetskim okvirima. Zato ću radi objašnjenja uzeti kao primjer vrednovanje pojedinaca. Kao što će, nadam se, postati jasno na kraju ovoga teksta, isto se načelo može primijeniti i za skupine znanstvenika, za ustanove pa i za cijele države.  
          Predlažem, dakle, da se za takve posebne potrebe posegne za tako zvanim relativnim ljestvicama (engl. relative scales) (7, 8). Riječ je o tome da se odredi  položaj pojedine(og) hrvatske(og) znanstvenice/znanstvenika na svjetskoj ljestvici znanstvenica/znanstvenika u pojedinom užem znanstvenom području. Na primjer, može se napraviti svjetska ljestvica autorica/autora  znanstvenih članaka u časopisima koje registrira stanovita baza podataka, a na toj se ljestvici odredi položaj hrvatske znanstvenice/znanstvenika. Tako se dobije, na primjer, produktivnost koje hrvatske znanstvenice/znanstvenika, izmjerena na temelju svjetske produktivnosti. Dalje se mogu takvi relativni položaji pojedinih naših znanstvenica/znanstvenika međusobno uspoređivati. Može se, na primjer, zaključiti da je znanstvenica A po svojoj produktivnosti među najproduktivnijih 10% posto  autorica/autora u svijetu u svojoj znanstvenoj disciplini. Znanstvenik B može, na primjer, biti na razini 50% svjetske produktivnosti u svojoj disciplini. Ako je za nagradu bitna takva produktivnost, jasno je da bi kandidatkinja A morala imati prednost pred kandidatom B.
          Pokušat ću u ovome tekstu, na primjeru pokazati kako bi se takvo ocjenjivanje moglo  primijeniti u Hrvatskoj. Prije toga želim samo još podsjetiti sve čitateljice/čitatelje da u znanosti kretivnost nije „normalno raspodijeljena“. Znanost se osniva na kreativnim pojedincima ili skupinama, te kriteriji vrednovanja to moraju uvažiti. Kreativni je elitizam u znanosti nužnost i tu činjenicu mora uvažiti svatko tko želi poticati razvoj znanosti i tko želi voditi suvislu znanstvenu politiku.

2. METODOLOGIJA OBLIKOVANJA LJESTVICA
          Pri pripremanju relativne ljestvice ima nekoliko faza: 1) odabir baze podataka koja će poslužiti za oblikovanje ljestvica;  2) odabir znanstvene discipline o kojoj je riječ; 3) odabir pokazatelja koji se želi uzeti za ocjenjivanje;  4) oblikovanje ljestvica; 5) primjena ljestvica.

2.1. ODABIR BAZE PODATAKA
          U svijetu ima više baza podataka o znanosti. Najselektivnija  je ona Instituta za znanstvene informacije u Philadelphiji (6, 9). Druge baze podataka su manje selektivne, ali svaka od njih ima kriterije po kojima bira što će od mnoštva znanstvenih publikacija uzeti u obradbu. O usporedbi baze podataka Science Citation Index (ISI)  i Baze podataka Nacionalne i sveučilišne knjižnice u Zagrebu govori se u članku Jovičić i dr. (10). Važno je razumjeti da se svaka selektivnost u znanosti temelji na načelu da ništa u njoj nije normalno raspodijeljeno. Tako, nisu ni svi znanstveni časopisi jednako važni po tome koliko su informacije objavljene u njima relevantne za svjetsku znanstvenu zajednicu.  Pokazalo se da preko 90 posto relevantnih znanstvenih informacija bude objavljeno u samo nekoliko stotina svjetskih znanstvenih časopisa, premda njihov broj može doseći i 100 000, ovisno o kriterijima uključivanja. I o tim je pitanjima u nas objavljeno nekoliko članaka (3, 6).
          Kad je onaj koji nagrađuje, izborom selektivnije ili manje selektivne baze podataka,  odredio strogost kriterija, odnosno prestiž koji želi dati nagradi, može se ići dalje.


2.2. ODABIR ZNANSTVENE DISCIPLINE
          Odabir relevantne znanstvene discipline nije uvijek lagan jer se neke discipline preklapaju a neke su po svojoj naravi multidisciplinske. Uzmimo na primjer danas jako popularnu ekologiju. U njoj djeluju i kemičari i fizičari i biolozi, inženjeri, sociolozi, psiholozi, pravnici i drugi.. U praktičnome se pogledu, ako je riječ o dostignućima pojedinih znanstvenica/znanstvenika ili njihovih skupina, može osloniti na publikacije u kojima oni objavljuju svoja djela. Te će publikacije u bazama podataka biti svrstavane prema pravilima koje je donijela ta baza podataka. Najvažnije je pri odabiru relevantne znanstvene discipline jasno istaknuti koji su kriteriji, ili koja je osnova za svrstavanje pojedine djelatnosti pod stanoviti naslov.

2.3. ODABIR RELEVANTNOG POKAZATELJA
          Tijelo koje će odabirati kandidatkinje/kandidate  treba odrediti što je najrelevantniji pokazatelj za stanovitu nagradu. Na primjer, ako je riječ o nagradi za znanstvenu produktivnost, glavni će (ne isključivi!) parametar biti produktivnost. Ali to može biti citiranost, objavljivanje knjiga, patenti ili slično.

2.4.  OBLIKOVANJE LJESTVICA
          Da bih na primjeru pokazao kako se oblikuju ljestvice, zamislio sam skupinu od 100 znanstvenika. Uzet ću da me zanima njihova produktivnost u stanovitom razdoblju. Dakako, vrijedi opće pravilo da će rezultati biti to pouzdaniji što je razdoblje dulje, jer se tada u tijeku vremena smanjuju oscilacije koje mogu pratiti kraća vremenska razdoblja.
          Uzet ću da je produktivnost te skupine znanstvenika u pet godina bila kako je prikazano u tablici (tablica 1).
Tablica 1 (vidjeti na kraju)
          Kako je ukupno objavljeno 460 djela, prosjek (X) je 4,6 djela po znanstveniku. Dva  prosjeka (2X) iznose 9,2, a tri prosjeka (3X)  iznose 13,8 djela. Već gruba analiza govori da su, od 100 znanstvenica/znanstvenika u tablici 1, njih 60 ispod prosjeka, a 40 iznad. Dvadeset je znanstvenica/znanstvenika iznad 2x, a 10 iznad 3x, itd.
          Postavljanjem postotnih jedinica ispod apsolutne ljestvice, može se dobiti postotna ljestvica.  Iz nje se na gornjem primjeru vidi da osoba koja je objavila 20 djela ide u red najproduktivnijih 5% znanstvenica/znanstvenika.

2.5. PRIMJENA LJESTVICA
          Kad bismo sada htjeli primijeniti ljestvice za nagrađivanje znanstvenica/znanstvenika za njihovu produktivnost, mogli bismo reći:  u obzir ćemo uzeti samo one kandidatkinje/kandidate koji su objavili više djela od 3X. Tada bi se, u već izdvojenome krugu kandidatkinja/kandidata, mogli uzimati i drugi kriteriji bitni za tu zamišljenu nagradu, ali se nikako ne bi moglo dogoditi (a bojim se da se baš to prečesto događalo!) da nagradu dobije osoba koja je objavila manje od 3X, a ne dobije ona koja je objavila više od toga. Dakako, za nagradu za produktivnost!
          Na osnovi postotne ljestvice mogli bismo na sličan način reći, na primjer, ako želimo još stroži kriterij nego u gornjemu primjeru, da bi kao kandidatkinje/kandidate za nagradu uzeli one koji su među 5 posto najproduktivnijih znanstvenica/znanstvenika. U našem bi primjeru to bilo pet  autorica/autora koji su objavili najmanje  20 djela.
          Jasno je da se, „krećući“ se po ljestvicama lijevo-desno, mogu odabrati razne razine „strogosti“, što bi dugoročno trebalo utjecati i na prestiž nagrade koju smo zamislili.
          Svjesan sam toga da su to veoma simplificirani primjeri, ali mislim da se iz njih može dobro uočiti načelo metode koju predlažem. Mislim da je na ovome mjestu nužno dodati da ljestvice koje sam opisao mogu biti svjetske (osnivati se na svjetskim bazama podataka) ili nacionalne  (osnivati se na nacionalnim bazama podataka). Jasno je iz toga da će se u prvome slučaju dobiti mjesto hrvatskih autorica/autora u svjetskim, a u drugome u nacionalnim okvirima.
          U načelu, slične ljestvice mogu biti i na nižoj hijerarhijskoj razini (npr. regionalne) Budući da sam zagovornik nužnosti primjene međunarodnih kriterija u znanosti, ne mogu preporučiti da se u znanosti primjenjuju takvi lokalni kriteriji, ali mogu zamisliti upotrebu u načelu sličnih ljestvica za neke lokalne nagrade. Na primjer, jedno sveučilište želi podijeliti nagradu svojim najproduktivnijim autoricama/autorima. Na temelju svjetske (ili nacionalne) relativne ljestvice može pronaći mjesta na kojima se nalaze pojedine nastavnice/nastavnici.  To može pomoći pri odabiru užega kruga autorica/autora, a zatim se u obzir uzimaju i drugi kriteriji važni za nagrađivanja (npr. zadovoljstvo studenata nastavom).
          U nešto slobodnijem razmišljanju, moglo bi se pretpostaviti da se slične ljestvice upotrebljavaju ne samo u znanosti. Podsjetit ću ovdje na to da se  sve češće pojavljuju podatci o tome na kojem je mjestu u svijetu koja država po korupciji, po konkurentnosti, po kvaliteti života, i slično. U načelu su to također svojevrsne relativne ljestvice u kojima se, u  okviru svjetskih raspona, pronalazi mjesto pojedine države. Posve se isto može reći za, na primjer, svjetske ljestvice u sportu, u kojima se točno zna položaj pojedinoga sportaša u svakoj godini.
          U svome originalnome članku o relativnim ljestvicama (8) mađarski su ih autori bili i primijenili. Premda je od njihova članka prošlo mnogo vremena i brojke sigurno danas nisu iste, ipak ću, radi ilustracije, pokazati kako je to u tome članku izgledalo.  U njihovome je primjeru bila riječ o citatima objavljenih članaka.
Crtež 1. (vidjeti na kraju)

3.0. ZAKLJUČAK    
          Usporede li se ljestvice koje sam predložio s onima koje su originalno predložili mađarski autori, vidjet će se da sam donekle pojednostavnio postupak. Pojednostavnio sam ga u tome što izračunavam samo jedan prosjek (u primjeru mađaraskih autora X, vidi crtež) i zatim njega udvostručujem ili utrostručujem. X1 je u mome primjeru, dakle, dvostruki prosjek a ne prosjek onih brojaka koje su iznad X. Isto tako se  na postotnoj ljestvici koju sam sastavio nalaze postotci iz kojih se  može vidjeti  koliki je postotak autora vezan uz koju brojku. Takav je postupak nešto jednostavniji a može jednako dobro poslužiti svrsi.
          Premda bi se to moglo naslutiti iz moga teksta, želim  posebno naglasiti moje čvrsto opredjeljenje za to da brojke same ne mogu poslužiti za konačne odluke o pitanjima ocjenjivanja u znanosti. One mogu biti samo pomoćno sredstvo kojim se može postići veća objektivnost  ocjenjivanja (11). Naime, na najjednostavnijoj razini brojka može funkcionirati i sama. Na primjer, kad se  uspoređuje djelatnost dviju kandidatkinja/kandidata od kojih jedna/jedan ima uz svoje ime brojku nula a druga/drugi 10. Dakle, tamo gdje se razlikuje neproduktivnost od produktivnosti. Kad se međutim uspoređuju produktivnost s produktivnošću, apsolutno je nužno ekspertno mišljenje kompetentnih kolega, jer nemaju sva objavljena djela istu vrijednost, a to može doista znati samo dobro upućeni stručnjak.
          Brojke mogu pomoći i u početnom izdvajanju kandidatkinja/kandidata od onih koji to nisu. To sam već bio spomenuo kao komentar ljestvica koje sam predložio. Da ponovim, ako je nagrada za produktivnost i imamo dva kandidata od koji  jedan ima produktivnost veću od 3 prosjeka za određeno područje, a drugi je na razini prosjeka, mislim da je već i to dovoljno za jasno početno opredjeljivanje.
          Bit će vjerojatno onih koji će mi prigovoriti da sam uzeo produktivnost kao najjednostavniji pokazatelj u znanosti. Uzeo sam ga da objasnim načelo predložene metode. Dakako, da su stvari znatno kompliciranije ako je riječ o kojem brojčanom pokazatelju kojem značenje nije posve jednoznačno (npr. citati).  Tu je međutim značenje brojaka znatno manje, ali smatram da ga ipak može biti. U tim je prigodama težište na ekspertnome mišljenju recenzentice/recenzenta. Najkraće mogu reći da čvrsto vjerujem da brojke ne treba potpuno odbaciti, već da ih moraju interpretirari recenzenti koji znaju njihovo pravo značenje.
          I da na kraju kažem i to, što sam već nebrojeno puta ponovio. Mislim da su brojke za malu znanstvenu zajednicu još vrijednije nego za veliku, u kojoj je objektivna recenzija  i u načelu moguća. Za Hrvatsku tvrdim da je ona praktički nemoguća.


LITERATURA
1. Silobrčić V, Milković S. Prijedlog postupka za objektiviziranu procjenu kvalitete znanstvenoistraživačkog rada u prirodnim znanostima u nas. Sci Yugosl 1986; 12:77-79.
2. Lacković Z, Petrak J.  Prosudbe vrsnoće medicinskih istraživanja. u Lacković Z, Čečuk Lj, Buneta Z, ur. Mjera za znanost. Zagreb, Medicinska naklada 1991; 89-105.
3. Silobrčić V. Kako sastaviti, objaviti i ocijeniti znanstveno djelo, (četvrto izdanje). Zagreb, Medicinska naklada 1998.
4. Klaić B. Analysis of the sceintific productivity of researchers from the Republic of Croatia for the period of 1990-1992. Scientometrics 1995; 32:133-152.
5. Klaić B. The use of scientometric parameters for the evaluation of scientific contributions. Coll Antropol 1999; 23: 751-770.
6. Jokić M. Evaluation of Croatian journals covered by the ISI databases (Institute for Scientific Information). Period biol 2003; 105: 95-98.
7. Schubert A, Braun T. Relative indicators and relation charts for comparative assessment of  publication output and citation impact. Scientometrics 1986; 9:281-291.
8. Schubert A, Glaenzel W, Braun T. Subject field characteristic citation scores and scales for assessing research performance. Scientometrics 1987; 12: 267-272.
9. Jokić M. Quality journals – basic evaluation elements. Period biol 2002; 104: 487-493.
10. Jovičić A, Penava Z, Sorokin B, Siladic I, Silobrčić V, Maričić S. Doktori znanosti u Hrvatskoj: Njihova proizvodnost od 1991. do 1996, I. Neproduktivni znanstvenici, Druš istraž 1999; 8: 513-527.
11. Silobrčić V. Can bibliometric and scientometric indicators be useful for evaluating the quality of scientific research. Eur Sci Edit 2001; 27:102.

Tablica 1. Zamišljena produktivnost 100 znanstvenica/znanstvenika u tijeku pet godina

Broj znanstvenika

Broj objavljenih djela

Postotak od ukupnog broja

25

0

25

25

1

25

10

2

10

10

4

10

10

7

10

10

10

10

5

15

5

3

20

3

2

40

2

 

Na temelju tih brojaka može se izraditi apsolutna i postotna ljestvica koje bi izgledale ovako:

 

000000000000000000000000011111111111111111111111112222222222444444444477777

.  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 50 .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .

777771010101010101010101015151515152020204040

.  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .   .  .  .  .  .  .  .  .100   %


 

Crtež 1.   Primjer apsolutne i postotne citacijske ljestvice za potpodručje Opće poljoprivrede (8). Izbrojeni su citati za ukupno 25 678 objavljenih članaka.

A) Apsolutna ljestvica

X0         X            X1                                 X2                                    X3

/. . . . . . . /. . . . . . . /. . . . . . . . . . . . . . . . . . . /. . . . . . . . . . . . . . . . . . . . /. . . . . .

0,00                     1,25                               4,03                                 7,79

 

X   = prosječan broj citata svih članaka

X1 = prosječan broj citata svih članaka citiranih više od X

X2 = prosječan broj citata članaka citiranih više od X1

X3 = prosječan broj citata članaka citiranih više od X2

 

B) Postotna ljestvica

C0                                      C1                   C2           C3      C4

0000000000000000000000000000000011111111112222222222333334444

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

10                                       50                                                       100

 

C0 =  postotak necitiranih članaka

C1 = članci citirani više od X0 ali manje od X1

C2 = članci citirani više od X1 ali manje od X2

C3 = članci citirani više od X2 ali manje od X3

C4 = članci citirani više od X3

 

 

 

 



rifincom_banner_galerija


خرید vpn خرید کریو خرید کریو دانلود فیلم خارجی دانلود فیلم خرید vpn دانلود فیلم خرید vpn خرید vpn خرید کریو دانلود فیلم خرید فیلتر شکن vpn