A ResearchGate Score: egy jó példa egy rossz mérőszámra

A ResearchGate, a tudományos közösségi oldal szerint az RG Score “egy új módszer a tudományos hírnév mérésére”. Ilyen nagy célok mellett Peter Kraker, Katy Jordan és Elisabeth Lex közelebbről is megvizsgálja az átláthatatlan metrikát. A pontszám visszafejtésével azt találják, hogy jelentős súlyt kapnak az “impakt pontok” – a széles körben diszkreditált folyóiratok impakt faktorához hasonló mérőszám. A mérőszámok átláthatósága az egyetlen módja annak, hogy a tudományos mérések kontextusba helyezhetők legyenek, és hogy az elfogultságok – amelyek minden társadalmilag létrehozott mérőszámban benne rejlenek – feltárhatók legyenek.

A 2008-ban indult ResearchGate az egyik legkorábbi tudományos közösségi hálózat volt a világhálón. A platform a kutatási cikkek, egy kérdés- és válaszrendszer, valamint egy állásbörze körül forog. A kutatók létrehozhatnak egy profilt, amely bemutatja publikációs előéletüket és tudományos szakértelmüket. Más felhasználók ezután követhetik ezeket a profilokat, és értesítést kapnak minden frissítésről. Az utóbbi években a ResearchGate egyre agresszívebben marketingeli platformját e-mailen keresztül. Alapértelmezett beállítások mellett a ResearchGate hetente 4 és 10 közötti e-mailt küld, a hálózaton belüli aktivitástól függően. A nagyszámú üzenet nagyon sikeresnek bizonyul a ResearchGate számára: a Nature 2014-es tanulmánya szerint a ResearchGate a legismertebb közösségi hálózat a kutatók körében; a megkérdezett kutatók 35%-a állítja, hogy azért iratkozott fel a ResearchGate-re, “mert kapott egy e-mailt”. Talán nem meglepő, hogy ezt a stratégiát azóta a ResearchGate számos versenytársa, köztük az Academia.edu és a Mendeley is átvette.

A ResearchGate e-mailjeinek egyik fókuszpontja a kutató legutóbbi ResearchGate-pontszáma (RG Score). A hetente frissített RG Score egyetlen szám, amelyet a kutató profiljához csatolnak. A ResearchGate szerint a pontszám magában foglalja a platformon megosztott kutatási eredményeket, a többi taggal folytatott interakciókat, valamint a társai hírnevét (azaz figyelembe veszi a publikációkat, kérdéseket, válaszokat, követőket). Az RG Score minden profilon megjelenik a kutatóra vonatkozó alapvető információk mellett. A ResearchGate jelentős pénzügyi támogatást kapott kockázati tőkésektől és Bill Gates-től, de nem világos, hogy a platform hogyan fog bevételt termelni; a pontszám pénzügyi értékkel való összekapcsolásának lehetősége további vizsgálatot és kritikai értékelést igényel.

Képhitel: Blackbox public domain

Az RG Score értékelésének eredményei meglehetősen elkeserítőek voltak: bár a ResearchGate megközelítésében van néhány innovatív ötlet, azt is megállapítottuk, hogy az RG Score figyelmen kívül hagy számos alapvető bibliometriai irányelvet, és hogy a ResearchGate alapvető hibákat követ el a pontszám kiszámításának módjában. Ezeket a hiányosságokat olyannyira problematikusnak tartjuk, hogy az RG Score jelenlegi formájában nem tekinthető a tudományos hírnév mérőeszközének.” A mérőeszköz merész kijelentésekkel érkezik: az oldal szerint az RG Score “a tudományos hírnév mérésének új módja”; úgy tervezték, hogy “segítsen Önnek mérni és kihasználni a tudományos közösségen belüli tekintélyét”. Ilyen nagy célok mellett helyénvalónak tűnt közelebbről megvizsgálni az RG Score-t, és értékelni a tudományos hírnév mérésére való alkalmasságát. Értékelésünket a kutatási mérőszámokra vonatkozó, jól bevált bibliometriai irányelvekre és a pontszám empirikus elemzésére alapoztuk. Az eredményeket a közelmúltban megrendezett Analysing and Quantifying Scholarly Communication on the Web (ASCW’15 – bevezető bejegyzés itt) című workshopon mutattuk be egy állásfoglalásban és annak vitájában.

Intransparencia és irreprodukálhatóság az idő múlásával

Az RG Score egyik legnyilvánvalóbb problémája az, hogy átláthatatlan. A ResearchGate ugyan bemutatja a felhasználóinak a pontszám egyes részeinek, azaz a publikációknak, kérdéseknek, válaszoknak, követőknek a bontását (kördiagram formájában is megjelenítve), és azt, hogy ezek a részek milyen mértékben járulnak hozzá a pontszámhoz. Sajnos ez nem elegendő információ a saját pontszám reprodukálásához. Ehhez ismernie kellene a használt pontos mérőszámokat, valamint a pontszám kiszámításához használt algoritmust. Ezek az elemek azonban ismeretlenek.

A ResearchGate így egyfajta fekete dobozos értékelőgépet hoz létre, amely a kutatókat találgatni hagyja, hogy milyen tevékenységeket vesznek figyelembe a hírnevük mérésekor. Ezt példázza a ResearchGate saját kérdés- és válaszrendszerének számos kérdése, amelyek az RG Score pontos kiszámítására vonatkoznak. A bibliometriai közösségben elterjedt nézet, hogy az átláthatóság és a nyitottság minden mérőszám fontos jellemzője. A Leideni Kiáltvány egyik alapelve például kimondja: “Az adatgyűjtési és elemzési folyamatok legyenek nyíltak, átláthatóak és egyszerűek”, majd így folytatódik: “A legújabb kereskedelmi belépőkkel szemben ugyanazokat a követelményeket kell támasztani; senki sem fogadhat el egy fekete dobozos értékelőgépet”. Az átláthatóság az egyetlen módja annak, hogy az intézkedések kontextusba helyezhetők legyenek, és hogy az elfogultságok – amelyek minden társadalmilag létrehozott mérőszámban benne rejlenek – feltárhatók legyenek. Ráadásul az átláthatatlanság nagyon megnehezíti a kívülállók számára a rendszer kijátszásának felderítését. A ResearchGate-ben például mások hozzászólásait (azaz a kérdéseket és válaszokat) névtelenül le lehet szavazni. A névtelen lefelé szavazást a múltban kritizálták, mivel gyakran magyarázat nélkül történik. Ezért az olyan online hálózatok, mint a Reddit, elkezdték moderálni a lefelé szavazásokat.

Az RG Score kiszámításához használt algoritmus idővel változik. Ez önmagában nem feltétlenül rossz dolog. A Leideni Kiáltvány kimondja, hogy a mérőszámokat rendszeresen vizsgálni kell, és szükség esetén frissíteni. A ResearchGate sem rejti véka alá, hogy menet közben módosítja algoritmusát és a figyelembe vett adatforrásokat. A probléma azzal, ahogyan a ResearchGate kezeli ezt a folyamatot, az, hogy nem átlátható, és nem lehet rekonstruálni. Ez lehetetlenné teszi az RG Score időbeli összehasonlítását, ami tovább korlátozza annak hasznosságát.

Példaként Péter RG Score-ját ábrázoltuk 2012 augusztusától 2015 áprilisáig. A pontszám bevezetésekor, 2012 augusztusa és 2012 novembere között a 2012 augusztusi 4,76-os kezdeti értékről 0,02-re csökkent a pontszáma. Ezután fokozatosan 1,03-ra emelkedett 2012 decemberében, ahol 2013 szeptemberéig maradt. Meg kell jegyezni, hogy Peter viselkedése a platformon viszonylag stabil volt ebben az időszakban. Nem távolított el kutatási darabokat a platformról, vagy nem követett más kutatókat. Mi történt tehát ez idő alatt? A legvalószínűbb magyarázat az, hogy a ResearchGate módosította az algoritmust – de anélkül, hogy ez miért és hogyan történt, a kutató csak találgatni tud. A Leideni Kiáltványban egyetlen határozott elv van, amely ellenzi ezt a gyakorlatot: “Engedjük meg az értékelteknek, hogy ellenőrizzék az adatokat és az elemzést.”

Kísérlet a ResearchGate Score reprodukálására

Azért, hogy többet megtudjunk az RG Score összetételéről, megpróbáltuk visszafejteni a pontszámot. Számos olyan profilinformáció létezik, amely potenciálisan hozzájárulhat a pontszámhoz; az elemzés idején ezek közé tartoztak a “hatáspontok” (amelyeket az egyén által publikált folyóiratok hatásfaktora alapján számítanak ki), a “letöltések”, a “megtekintések”, a “kérdések”, a “válaszok”, a “követők” és a “követés”. Az RG-pontszámok megoszlásának kördiagramjait tekintve, a profiljukon RG-pontszámmal rendelkező tudósok tehát több alcsoportba sorolhatók:

1. azok, akiknek pontszáma csak a publikációikon alapul;
2. a kérdések és válaszok aktivitásán alapuló pontszámok;
3. a követők és a követésen alapuló pontszámok;
4. és a három közül bármelyik kombinációján alapuló pontszámok.

Eredeti elemzésünkhöz az első csoportra összpontosítottunk: egy kis mintát alkottunk az akadémikusokból (30), akiknek RG-pontszámuk van, és csak egyetlen publikáció szerepel a profiljukon . Ez erős korrelációt mutatott ki a hatáspontok között (ami egy akadémikus egyetlen publikációja esetében egyszerűen a Journal Impact Factor (JIF) az adott publikáció folyóiratában). Érdekes módon a korreláció nem lineáris, hanem logaritmikus. Nem világos, hogy a ResearchGate miért így alakítja át a “hatáspontokat”. A hatáspontok természetes logaritmusának használata a legmagasabb hatáspontokkal rendelkezők számára csökkenő hozamot eredményez, így feltételezhető, hogy a természetes logaritmust a kevésbé tapasztalt tudósok ösztönzésére használják.

Ezután kibővítettük a mintát, hogy a tudósok két további csoportjának példáit is felvegyük: 30 olyan tudóst, akik RG-pontszámmal és több publikációval rendelkeznek; és további 30 olyan tudóst vettünk fel, akik RG-pontszámmal és több publikációval rendelkeznek, és legalább egy kérdést és választ tettek közzé. A többszörös regressziós elemzés azt mutatta, hogy az RG-pontszámot szignifikánsan megjósolta a megtekintések száma, a hatáspontok természetes logaritmusa, a közzétett válaszok és a publikációk száma. Az impaktpontok nagyon fontosnak bizonyultak; legalábbis e feltáró minta esetében az impaktpontok az adatok variációjának nagy részét (68%) fedezték.

A folyóirat impaktfaktorának beépítése az egyes kutatók értékeléséhez

Elemzésünk azt mutatja, hogy az RG Score beépíti a folyóirat impaktfaktorát az egyes kutatók értékeléséhez. A JIF-et azonban nem az egyének értékelésére, hanem a könyvtárak folyóiratvásárlási döntéseinek irányítására szolgáló mérőszámként vezették be. Az évek során az egyes kutatók értékelésére is használták. Számos jó ok van azonban arra, hogy ez miért rossz gyakorlat. Egyrészt az idézések eloszlása egy folyóiraton belül erősen torz; egy tanulmány megállapította, hogy egy folyóiratban a cikkek legtöbbet idézett felében található cikkeket tízszer gyakrabban idézik, mint a legkevesebbet idézett felében található cikkeket. Mivel a JIF az idézések átlagos számán alapul, egy-egy magas idézettségű cikk ezért jelentősen elferdítheti a mérőszámot.

Az 1990-es évek óta ráadásul a JIF és a cikkek egyedi idézettsége közötti korreláció folyamatosan csökken, ami azt jelenti, hogy egyre kevesebbet mond az egyes cikkekről. Továbbá a JIF csak folyóiratokra vonatkozóan áll rendelkezésre; ezért nem használható olyan területek értékelésére, amelyek a kommunikáció más formáit részesítik előnyben, mint például az informatika (konferencia-előadások) vagy a bölcsészettudományok (könyvek). De még a folyóiratokban kommunikáló tudományágakban is nagy a szórás az átlagos idézettségben, amit a JIF nem vesz figyelembe. Ennek eredményeképpen a JIF meglehetősen problematikus a folyóiratok értékelésénél; amikor pedig az egyedi hozzájárulásokról van szó, még inkább megkérdőjelezhető.

A kutatók között széles körű konszenzus van ebben a kérdésben: a San Francisco Declaration of Research Assessment (DORA), amely ellenzi a Journal Impact Factor használatát az egyes kutatók értékelésére, a cikk írásakor több mint 12 300 aláírót gyűjtött össze. Elgondolkodtatónak tűnik, hogy egy olyan pontszám, amely azt állítja, hogy “a tudományos hírnév mérésének új módja”, ilyen módon bukik el.

Végszavak

Az RG Score számos érdekes ötletet tartalmaz: a papírokon kívüli kutatási eredmények (pl. adatok, diák) bevonása mindenképpen egy lépés a helyes irányba, és az interakciók figyelembevételének ötlete, amikor a tudományos hírnévről gondolkodunk, némi érdeme van. Az RG Score célja és az oldal gyakorlati használata között azonban eltérés mutatkozik. A bizonyítékok arra utalnak, hogy a ResearchGate-et használó akadémikusok inkább online névjegykártyának vagy önéletrajznak tekintik, mint a másokkal való aktív interakcióra szolgáló oldalnak. Továbbá a pontszám figyelmen kívül hagy minden olyan tevékenységet, amely a ResearchGate-en kívül zajlik; például a Twitter gyakrabban szolgál a kutatás aktív megvitatására.

Az RG Score kiterjedt használata a marketing e-mailekben arra utal, hogy azt marketingeszköznek szánták, amely több látogatót irányít az oldalra. Bár ezen a téren talán sikerrel járt, számos kritikus problémát találtunk az RG Score-ral kapcsolatban, amelyekkel foglalkozni kell, mielőtt komoly mérőszámnak tekinthetnénk.

A ResearchGate a jelek szerint reagált az RG Score-t övező kritikákra. Szeptemberben egy új metrikát vezettek be “Reads” néven. Az “Olvasások”, amelyet egy kutató munkájának megtekintéseinek és letöltéseinek összegeként határoznak meg, mostantól az e-mailjeik középpontjában áll, és a metrika jól láthatóan megjelenik a kutató profiljában. Ugyanakkor a ResearchGate úgy döntött, hogy megtartja a pontszámot, bár kisebb szerepben. Továbbra is megjelenik minden profilban, és az oldal számos funkciójában, például az ajánlásokban is kiegészítő információként használják.

Végül ki kell emelni, hogy az RG Score nem az egyetlen rossz metrika. Mivel a metrikák a kutatásértékelésben mindenütt jelen vannak, amint azt a HEFCE nemrégiben kiadott “The Metric Tide” (A metrikai áradat) című jelentése is bizonyítja, készen állunk arra, hogy még több metrika megfogalmazását lássuk. Ezeket a fejleményeket szem előtt tartva még fontosabbá válik számunkra, bibliometriai kutatók számára, hogy tájékoztassuk az érdekelt feleket (például a finanszírozó ügynökségeket és az egyetemi adminisztrátorokat) az egyes mérőszámokkal kapcsolatos problémákról. Ha tehát aggályai vannak egy bizonyos metrikával kapcsolatban, ne habozzon megosztani velünk, írjon róla – vagy akár jelölje a Bad Metric-díjra.

Megjegyzés: Ez a cikk a szerző véleményét adja közre, és nem az LSE Impact blog, illetve a London School of Economics álláspontját képviseli. Kérjük, olvassa el a hozzászólási szabályzatunkat, ha bármilyen aggálya van az alábbi hozzászólással kapcsolatban.

A szerzőkről

Peter Kraker a Grazi Műszaki Egyetem Know-Centerének posztdoktori kutatója és 2013/14-es Panton-ösztöndíjas. Fő kutatási területe a webes tudományos kommunikáción alapuló vizualizációk, a nyílt tudomány és az altmetrics. Peter a nyílt tudomány szószólója, aki együttműködik az Open Knowledge Foundationnel és az Open Access Network Austria-val.

Katy Jordan PhD-hallgató a The Open University (Egyesült Királyság) Oktatási Technológiai Intézetében. Kutatási területe az internet és a felsőoktatás metszéspontja. Az akadémiai közösségi oldalakkal kapcsolatos doktori kutatásai mellett a tömeges nyílt online kurzusokkal (MOOC) és az oktatásban használt szemantikus webes technológiákkal kapcsolatos kutatásokat is publikált.

Elisabeth Lex a Grazi Műszaki Egyetem adjunktusa, és a Know-Center GmbH-nál a Social Computing kutatási terület vezetője. Kutatásai során azt vizsgálja, hogy az emberek által a világhálón hátrahagyott digitális nyomok hogyan használhatók fel az emberek munkájának, tanulásának és interakcióinak modellezésére és alakítására. A Grazi Műszaki Egyetemen Elisabeth a webtudományt, valamint a Science 2.0-t tanítja.

Ez a cikk a Quantifying and Analysing Scholarly Communication on the Web workshop sorozatának része. Továbbiak ebből a sorozatból:

Informatív mérőszámokra van szükségünk, amelyek segítenek, nem pedig ártanak a tudományos törekvéseknek – dolgozzunk azon, hogy a mérőszámok jobbak legyenek.

Ahelyett, hogy elvárnánk az emberektől, hogy teljesen hagyjanak fel a metrikák használatával, jobban tennénk, ha arra összpontosítanánk, hogy a metrikák hatékonyak és pontosak legyenek – érvel Brett Buttliere. Ha többféle mutatót vizsgálunk, támogatunk egy központosított, interoperábilis metrikai központot, és több elméletet használunk fel a metrikák kialakításakor, a tudósok jobban megérthetik a kutatás hatásának és a kutatás minőségének különböző aspektusait.

A kontextus minden: Az árnyaltabb idézettségi hatásmérések mellett érvelve.

Az egyre több publikációs és idézettségi adathoz való hozzáférés a hagyományos bibliometriánál hatékonyabb hatásmérések lehetőségét kínálja. Az idéző és az idézett publikációk közötti kapcsolat kontextusának nagyobb mértékű figyelembevétele finomabb és árnyaltabb hatásmérést biztosíthat. Ryan Whalen megvizsgálja, hogy a tudományos tartalmak milyen különböző módon kapcsolódnak egymáshoz, és hogyan lehetne ezeket a kapcsolatokat tovább vizsgálni a tudományos hatás mérésének javítása érdekében.

A különböző tudományágak bibliometriai kutatásainak összehozása – mit tanulhatunk egymástól?

A bibliometria területe iránt érdeklődő különböző közösségek között jelenleg kevés a csere. Egy nemrégiben megrendezett konferencia ezt a szakadékot kívánta áthidalni: Peter Kraker, Katrin Weller, Isabella Peters és Elisabeth Lex beszámolnak a tudományos kutatások kvantitatív elemzésével kapcsolatos témák és nézőpontok sokaságáról. Az egyik fő téma a nagyobb nyitottság és átláthatóság erős igénye volt: a kutatásértékelési folyamatok átláthatósága az elfogultságok elkerülése érdekében, az új pontszámokat kiszámító algoritmusok átláthatósága és a hasznos technológia nyitottsága.