Často kladené otázky

Ukazatel Article Influence Score (AIS) je obdobným ukazatelem jakým je Impact Factor (IF). Na rozdíl od klasického IF nezapočítává autocitace časopisu a navíc zohledňuje potenciální vlivnost citací- citace pocházející z prestižnějších časopisů mají větší váhu a naopak. AIS je navíc odolnější vůči neférovým praktikám („citační bratrstva“). Přes tyto rozdíly je mezi AIS a IF pozitivní korelace, směrnice se však pro různé obory liší.

Citační analýza bude v souladu s plánem implementace M17+ použita po třetím kole hodnocení. Citační analýza se tedy stane integrální součástí hodnocení počínaje rokem 2021.

Celonárodní hodnocení běžně využívají oborové převody (viz též možnosti nastavení takových převodů v InCites), protože detailnost WoS Categories je pro takové účely příliš vysoká. Navíc se převodem do širších oborů posiluje robustnost měření, která je právě pro národní hodnocení vhodnější. Při profilování časopisů do pásem pomocí AIS (nebo IF) se nevýhody pro národní použití ještě zesilují:

• Rozčleněním do WoS Categories dochází u mnoha institucí k významnému poklesu počtu článků na úroveň, kdy analýza v celonárodním kontextu postrádá smysl.
• Objem časopisů pro jednotlivé WoS Categories je v několika desítkách podooborů nízký. Logika, nukleární fyzika, kybernetika a další obsahují například kolem 20 časopisů, některé obory mají počet časopisů dokonce nižší. Stanovit kvartilová pásma je sice matematicky možné, metodologicky však sporné. V případě analýz prováděných s detailní znalostí dané instituce, výzkumných týmu apod., lze taková specifika zohlednit a přizpůsobit konkrétním potřebám. Celonárodní hodnocení, zahrnující téměř dvě stovky institucí, takové možnosti přizpůsobení postrádá. Pro citační analýzy je výchozí použití WoS Categories s následným převodem na vyšší úroveň klasifikace méně problémové. Báze pro výpočet kvartilových pásem je o dva řády vyšší, protože je tvořena na základě článků, nikoliv časopisů. Nevýhodou citačních analýz je potřeba využít data se stářím větším než 3-5 let. Naproti tomu analýza založená na AIS dovoluje pracovat s aktuálnějšími daty.

Oba přístupy - AIS vs. citace - mají tedy své výhody a nevýhody. Proto M17+ v kompletní podobě od roku 2021 zkombinuje oba přístupy.

Analýzy dle AIS vycházejí z oborové afiliace časopisu, citační analýzy využívají oborovou příslušnost indikovanou pro daný článek v databázi InCites, která vždy zahrnuje oborovou příslušnost časopisu a navíc přiřazuje k některým článkům další specifikované obory. Oborová afiliace se zakládá na dlouholetém mapování citačních sítí v kombinaci s expertním posouzením, není tedy arbitrární. Jinými slovy, citační databáze nejsou založené na subjektivním zařazení textů do příslušných oborů.

Druhým argumentem pro odmítnutí individualizovaného posouzení oborové příslušnosti textů je ztráta mezinárodního benchmarku – podobným způsobem upravená data pochopitelně nelze ze zahraničí získat.

Zatřetí je třeba také vzít v potaz spekulace, které by možnost volit oborovost článků vyvolala. Tato skutečnost byla prakticky potvrzena v hodnoceních podle předchozích metodik.

Viz též předchozí otázka. Bibliometrie mapuje oborový publikační vliv. Pokud daná instituce nevidí svojí hlavní působnost v oborech, ve kterých byla vyhodnocena, neznamená to, že v těchto oborech její vliv neexistuje – fakticky jsou bibliometrické metriky těmito přesahy také ovlivněny. Proto by informace o působnosti v ostatních oborech neměla být v datech a priori potlačena. Řešením je intepretace podkladů M2 konvergující k pozornosti právě na ty obory, které daná instituce považuje v souladu s poskytovatelem za klíčová pole své působnosti.

Národní odborné časopisy registrované ve Web of Science mají svůj nepopiratelný smysl a současné hodnocení nezpochybňuje jejich přínos. Poskytuje však data, která mohou nastolit otázku přiměřenosti publikačních praktik.

Národní hodnocení je založeno na oborovém profilování a jeho srovnání s mezinárodní úrovní. V časopisech s nižším kvartilovým zařazením (většina lokálních odborných časopisů), má smysl publikovat a to v proporcích obvyklých pro mezinárodní úroveň konkrétního oboru. To platí zejména pro výzkumné organizace zaměřené na špičkový základní výzkum. U organizací, které z důvodu svého poslání necílí na provádění vynikajícího základního výzkumu, je toto kritérium navíc doplňkové, nebo je zcela irelevantní.

Viz odpověď na předchozí otázku s dodatkem, že mezinárodní benchmarking pochopitelně zahrnuje i publikační činnost doktorandů.

Nejedná se o povinnost, ale zejména velké výzkumné instituce by měly ve svém zájmu tyto záznamy sledovat a v případě nesouladu požádat standardní cestou provozovatele databáze o opravu. Záznamy ve WoS jsou pro instituce mezinárodní vizitkou a ve vztahu k hodnocení nesprávné záznamy nedovolují zařadit výsledky do bibliometrického hodnocení dokud nejsou opraveny.

Národní evaluace a vnitřní institucionální evaluace jsou řízeny odlišnými potřebami, proto jedno nemůže mechanicky nahrazovat druhé. Výzkumné organizace typu vysoká škola či ústavy akademie věd mohou a mají cílit v rámci vlastního hodnocení na větší úroveň detailu a s ohledem na specifika, která národní hodnocení nemůže a ani nemá sledovat.

Národní hodnocení, přestože nehodnotí jednotlivé fakulty, uveřejňuje afiliace výsledků s jejich kvartilovým zařazením i na úroveň organizačních jednotek. V případě potřeby tedy mohou instituce data doplňkově použít i pro nižší organizační úroveň.

Téměř všechny dotazy tohoto typu mají příčinu v jedné nebo ve více následujících okolnostech:

Některé časopisy tuto metriku nemají, AIS se přiděluje po pěti letech od zařazení časopisu do databáze WoS. Část časopisů tuto metriku nebude mít nikdy přidělenou (podobně jako impact factor). Jedná se o frakci časopisů z oblasti společenský a humanitních oborů. Při porovnání výsledků s národním hodnocením je tedy potřeba výpisy z InCites limitovat na časopisy s AIS. Časopisy bez AIS jsou v InCites na náš podnět jednoznačně evidovány znakem N/A.

Web of Science je samostatnou databází, je však také zaužívanou zkratkou označující celou soustavu databází. Vedle samostatné „tradiční“ databáze Web of Science se jedná o databáze pracující s citačními metrikami: JCR (Journal Citation Reports) a InCites. Všechny tři databáze jsou odlišně konstruovány, a přestože pracují se sdílenými údaji, nejsou zcela kompatibilní. Nepříjemným fenoménem jsou například odlišnosti v oborových afiliacích. Od roku 2020 platí, že analýza dle AIS používá oborovou afiliaci přiřazenou k žurnálům podle JCR (Journal Citation Reports), citační analýza od roku 2021 použije pro články oborovou afiliaci danou InCites.

Databáze (RIV, WoS, InCites, JCR) sloužící pro zpracování hodnocení jsou kontinuálně updatovány a opravovány. Z povahy věci tudíž výpisy získané v různých obdobích nebudou zcela identické.

Nejčastější problémy se zápisy v RIV, v jejichž důsledku nedojde k propojení s databází WoS, jsou následující: chybný rok uplatnění výsledku, výsledek neodpovídá platným definicím výsledků, chybný nebo chybějící identifikační číslo WoS ID (alias UT WoS alias Accession Number alias ISI LOC). Specifickým problémem je též následující bod.

Výpisy z databáze WoS jsou definovány jako výsledky za Českou republiku. Pokud autor neuvede v článku svoji českou instituci, ale pouze zahraniční, kde je též zaměstnán (typický příklad), článek se v exportu dat za ČR nemůže objevit.

Minoritní část těchto problémů může plynout z chybného převodu adresy autora na tzv. organization enhanced name, který sjednocuje variantní názvy institucí a je hlavním údajem institucionálních afiliací pro WoS a InCites. Výpis článků pro danou instituci proto může obsahovat položky, které patří jiné instituci a naopak. Obvykle se u velkých institucí ročně jedná o jednotky nebo nižší desítky kusů, které by měly být danými organizacemi u provozovatele databáze reklamovány. Preventivně lze těmto problémům předcházet tak, že organizace svým zaměstnancům stanoví jednotný formát uváděných adres.

Statistiky a jejich podklady jsou zveřejněné na stránkách RVVI a dovolují rekonstruovat hodnocení za ČR i světový benchmarking. Nejsou zveřejňovány zdrojové podklady k EU 15, jejichž objem je v řádu milionů položek.

Zveřejněné podklady neobsahují kvůli licenčním podmínkám hodnoty sledovaných metrik jednotlivých článků/časopisů. Z toho důvodu obsahují transformovaná data, tedy kvartilové zařazení.

Pro konzultace, jak lze pracovat se zveřejněnými podklady, se obracejte na adresu hodnoceniVaVaI@vlada.cz.

Autorské podíly byly nevyhnutelným krokem v hodnocení podle předchozích metodik, protože každý jeden článek obdržel bodovou a zprostředkovaně finanční hodnotu. Bez sledování autorských podílů tedy nešlo distribuovat bodové a návazně finanční alokace pro jednotlivé instituce.

Současná metodika se bez tohoto kroku obejde, protože hlavní otázka nezní, kolik bodů a peněz bylo konkrétní institucí získáno, ale v jakých časopisech z hlediska vlivu se v ČR publikuje a jak tato praxe odpovídá zvolenému benchmarku (svět, EU15).

Počítání podílů navíc vnáší do hodnocení neřešitelná dilemata. Matematický podíl o faktickém podílu jednotlivých autorů a autorek nic nevypovídá. Liší se i oborové praxe spoluautorství a i uvnitř samotných oborů se odlišnosti zakládají například na finanční náročnosti prováděného výzkumu - tj. některé typy výzkumu lze provádět individuálně, jiné z principu nikoliv, přičemž souvislost s kvalitou výzkumu neexistuje. I kdyby se přistoupilo ke sporné matematické operaci mechanického rozdělení podílů, obdobným způsobem nelze transformovat benchmarková data za EU15 (zejména jde o „vyčištění“ o spolupráce mimo okruh zemí EU15).

Aby byly zohledněny výsledky prováděné ve velkých konsorciích, jsou v M2 tyto výsledky vyznačeny a promítnuty do sledovaných statistik. Další podpůrnou informací o tom, z jaké instituce pocházejí nositelé hlavních idejí, je údaj o korespondenčních autorech, který byl v roce 2019 zpracován na oborovou úroveň, od roku 2020 je monitorován i na úrovni jednotlivých výzkumných organizací. Oba tyto údaje dovolují rozumným způsobem odlišit instituce, které jsou ve vzájemné kooperaci tahouny prováděného výzkumu.

Kvartily jsou stanoveny na základě žurnálů, protože ukazatel AIS, stejně jako IF, charakterizuje právě časopisy. V nich však vychází různý počet článků. Proto po promítnutí článků do kvartilů obvykle vidíme jejich mírně nerovnoměrnou distribuci. Můžeme si představit imaginární obor, ke kterému jsou afiliovány pouze čtyři časopisy (jeden v prvním kvartilu, druhý v 2Q, třetí ve 3Q a čtvrtý ve 4Q), přičemž v prvním časopisu je tolik článků, kolik ve zbylých třech dohromady. Tedy v 1Q je 50 % článků a další kvartily se dělí o zbývajících 50 % článků.