Postup výpočtů a konstrukce výstupů

I. Základní ukazatele a příprava dat

Article Influence Score (AIS)

Hlavní ukazatel - Article Influence Score (AIS) reflektuje průměrný vliv článků časopisu v průběhu prvních pěti let po jejich zveřejnění v rámci databáze Web of Science - Journal Citation Reports (JCR). Odpovídá tedy zhruba pětiletému impakt faktoru časopisu (5-Year Journal Impact Factor), ale liší se od něj především tím, že zohledňuje kvalitu časopisů, ze kterých tyto citace pocházejí – vysoce citované časopisy mají větší váhu než časopisy méně citované. Též nezapočítává citační odkazy z jednoho článku na jiný článek v témže časopise. AIS je tedy obecně robustnější ukazatel, výrazně méně náchylný k citačním manipulacím.

Přiřazení AIS a přiřazení oborů k výsledkům

Publikovaným článkům je přiřazena metrika AIS časopisu, ve kterém jsou uveřejněny. AIS se vypočítává pro každý rok zvlášť, článek má tedy přiřazen AIS podle roku vydání. Aktuální hodnoty AIS i hodnoty z předchozích let lze sledovat v Journal Citation Reports (JCR), zprostředkovaně v analytické nástavbě Web of Science - InCites B&A. AIS časopisu se oborově neliší.

JCR eviduje vedle AIS i oborové zařazení časopisů. WoS Categories přiřazené k časopisům, obdobně jako AIS, slouží pro oborovou klasifikaci hodnocených článků. Pro převod WoS Categories na klasifikaci OECD-FORD je použit převodník, který je identický s převodníkem používaným v InCites a JCR (viz Podpůrná data a dokumenty na tomto webu).

Stanovení kvartilových pásem a zaklasifikování článků

Časopisy bez AIS se vyřadí a vyřadí se též vícenásobné výskyty identického časopisu, pokud je v rámci jednoho oboru FORD začleněn vícekrát. Například prestižní časopis Cell je zařazen do WoS Category Cell Biology a též Biochemistry and Molecular Biology. Obě disciplíny patří do FORD 1.6 Biological Sciences, a proto je v něm evidován pouze jedenkrát.

Časopisy příslušného FORDu se seřadí podle výše AIS a vzniklá řada se rozdělí do pásem horního decilu a kvartilů. Vedle samotného rozčlenění časopisů je doplňujícím výsledkem i zjištění hraničních hodnot AIS oddělujících sledovaná pásma (viz Příloha 1 oborových zpráv). Hraniční hodnoty se stanovují pro každý obor a pro každý rok zvlášť. Hraniční hodnoty AIS jsou v průběhu času relativně stabilní - umožňují předvídat i budoucí pásmové zařazení časopisu podle jeho AIS (tj. i když se AIS časopisu může výrazně změnit a následně i jeho pozice, samotné hranice kvartilů jsou relativně stabilní).

Každý článek se spáruje se svým časopisem v příslušném roce vydání, čímž článek převezme jeho kvartilovou pozici a oborové příslušnosti – pozor, kvartilové zařazení se může u téhož článku měnit právě v závislosti na oboru.

Medián

Výpočet oborového mediánu vychází v prvních krocích z postupu, který je popsán výše, tzn. článkům je přiřazena příslušná oborová klasifikace a AIS na základě časopisu podle roku vydání.

Cílem je nalézt pomyslný „průměrný“ článek a jeho AIS. Technicky se postupuje tak, že pro daný obor a daný rok se vytvoří seznam článků (nikoliv časopisů) seřazených podle výše AIS. Článek, který se nachází v polovině seznamu, je hledaným mediánem:

• Identifikace mediánů pro ČR probíhá na souboru článků z ČR.
• V případě EU15 se jedná o články z EU15, přičemž se odstraní duplicity dané mezinárodním spoluautorstvím v rámci EU15.
• Světový medián se určuje pomocí počtu citovatelných dokumentů v jednotlivých časopisech (citable items – viz sloupec „počet dokumentů“ Příloha 2 seznam časopisů v oboru), ze kterých se vytvoří virtuální řady nahrazující konkrétní články.

Každoroční přepočet dat

Údaje pro již hodnocený rok jsou v následujících letech opět přepočítány. Důvodem je kontinuální update databáze WoS, ve které dochází k reklasifikacím oborů (vzácně) a časopisů (častěji), k doplňování i k odstraňování článků a k dalším úpravám. Tyto změny mají retroaktivní účinek, v jehož důsledku se mění i údaje a výpočty v databázi InCites a JCR. Cílem je udržet maximální možnou konzistenci údajů národního hodnocení s touto databází.

Zdrojová data

Zpracování probíhá pomocí kombinování údajů z několika zdrojů:

• Data o časopisech, tzn. AIS, oborové zařazení a počet citovatelných dokumentů, jsou získána jako výpis z Journal Citation Reports (JCR), který eviduje metriky časopisů.
• Data o světové produkci článků jsou odvozená z údajů jednotlivých časopisů – procenta článků v jednotlivých pásmech odpovídají tzv. citovatelným dokumentům (article, review).
• Data o článcích za EU15 jsou získána jako výpis jednotlivých výsledků za země EU15 zvlášť pro časopisy a zvlášť pro sborníky, limitovaná podle citovatelných dokumentů (article, review). Data jsou deduplikována, tudíž každý článek za EU15 je ve výchozím datasetu jedenkrát, i když je vykázán kvůli mezinárodní spolupráci několika členskými státy.
• Dataset národních výsledků je založen na kombinaci dvou zdrojů:
• Údaje z databáze RIV, která určuje institucionální afiliaci výsledků až na úroveň organizačních jednotek. Výsledky, které v databázi RIV chybí, jsou doplněny z Web of Science, pokud takové články disponují sjednoceným názvem institucí (tzv. Organizations-Enhanced).
• Výpis výsledů z Web of Science za ČR je získán zvlášť pro časopisy a zvlášť pro sborníky a následně je limitován tak, aby odpovídal národním definicím výsledků (article, review, letter, proceedings papers).

II. Charakter zveřejněných dat

• Údaje jsou založené na souboru národních výsledků evidovaných v databázi Web of Science, tj. jsou to takové výsledky, jejichž alespoň jeden autor/autorka má v afiliaci evidovanou adresu české instituce. Upozorňujeme, že dochází k zaevidování článků v národní databázi IS VaVaI, přestože takový článek neobsahuje dedikaci k české instituci – obvykle se jedná o české autory/autorky, kteří paralelně působí i na zahraničních institucích. Dochází však i k omylům na straně mezinárodních databází. V obou případech by měla být provedena oprava údajů v databázích.
• Databáze WoS je kontinuálně upravována a aktualizace se odrážejí i v národním hodnocení (viz výše). Prakticky to znamená, že údaje týkající se ČR zveřejněné v posledním hodnocení mohou být mírně odlišné od předchozích let i v případě identického zpracování dat.
• Statistiky z principu zobrazují soubor článků v časopisech s přiděleným AIS (výjimky z tohoto pravidla jsou uvedeny níže v popisech výstupů). Při křížové kontrole výstupů národního hodnocení s databází WoS je zapotřebí mít tuto okolnost na paměti.
• Primární výstupy jsou založeny na datech databáze WoS podle klasifikace OECD v členění FORD (Fields or Research and Development). Hlavní výstupy obsahují i informace o významných oborových specializacích v členění Web of Science Categories (WoSCat). Jako podpůrný materiál jsou i pro tuto velmi detailní úroveň oborového členění k dispozici kompletní oborové zprávy. Podpůrný charakter mají i data z databáze Scopus. Výstupy z této databáze mají příznivější charakter pro daný obor nebo výzkumnou organizaci v porovnání s výstupy z databáze WoS. Je to matematická „zákonitost“ daná větším objemem časopisů sledovaných v databázi Scopus, díky níž jsou pásma kvartilů širší.
• Zveřejněná data národního hodnocení neobsahují konkrétní hodnoty AIS a to z důvodu licenčních podmínek.

III. Oborové zprávy

Součástí zveřejněných zpráv je základní popis výstupů. Zde uvádíme detailnější informace zpřesňující konstrukci jednotlivých tabulek a grafů.

Rozložení národních výsledků v prvním decilu a v kvartilech podle indikátoru AIS

Je vytvořen na základě postupu, který je popsán v předešlé kapitole Základní ukazatele a příprava dat.

Podíly výsledků vytvořených v mezinárodní spolupráci, s velkým počtem autorů (30+) a s korespondenčními autory (reprint author) z ČR

Mezinárodní spolupráce je odvozena z údajů adres autorů. Pokud je mezi afilovanými institucemi některá mimo ČR, výsledek obdrží příznak, že byl vytvořen v mezinárodní spolupráci.

Informace o korespondenčním autorovi/autorce (reprint author) poměrně spolehlivě určuje, která země má klíčový přínos na vzniku výsledku. Reprint author z ČR je u výsledku zaznamenán, pokud má autor/autorka uvedenou adresu české instituce. V případech, kdy reprint author pochází z více zemí, platí stejná podmínka.

Výsledky s velkým počtem autorů jsou definovány jako takové, kde je uveden počet autorů/autorek větší než 29.

Takto zjištěné informace jsou nejdříve přepočteny z hlediska podílu pro celý obor (Souhrn za obor) a následně promítnuty do jednotlivých pásem (Promítnutí údajů do pásem).

Mezinárodní srovnání s EU15 a se světem v prvním decilu a v kvartilech

Mezinárodní srovnání je vytvořeno na základě postupu, který je popsán v předešlé kapitole Základní ukazatele a příprava dat.

Podíl produkce ČR a EU15

Použité údaje vycházejí z mezinárodního srovnání oboru. Počty výsledků v jednotlivých pásmech jsou za ČR (čitatel) a EU15 (jmenovatel) mezi sebou vyděleny s následným převodem na procentuální vyjádření. Tento orientační údaj indikuje významné rozdíly z hlediska objemu produkce. Kontextem je vzájemný poměr obyvatelstva ČR a EU15 (2,59 %) a dále poměr FTE v oblasti vědy a výzkumu (2,29 %).

Mezinárodní srovnání mediánů s EU15 a se světem

Hodnoty mediánů jsou získány na základě postupu, který je popsán v předešlé kapitole Základní ukazatele a příprava dat. Hodnota světového mediánu představuje srovnávací bázi (= 100 %). Procentní vyjádření rozdílů ČR a EU15 se vztahuje k této úrovni.

Nejvýznamnější organizace v oboru podle prvního decilu a prvního kvartilu

Tabulky zobrazují podíly deseti nejvýznamnějších výzkumných organizací v oboru v pásmu prvního decilu a kvartilu. Pokud tabulky zobrazují méně než deset institucí, znamená to, že v daném oboru nejsou další výzkumné organizace produkující v pásmech D1 nebo Q1.

Tabulky jsou ovlivněny nejen kvalitou produkce, ale i jejím objemem. Menší vynikající pracoviště může být v pořadí na nižší pozici, než pracoviště s vysokou produkcí, ale s méně příznivým oborovým profilem. Pro rychlou (zjednodušenou) orientaci v profilech lze využít i údaje z navazující tabulky Nejvýznamnější organizace v oboru z hlediska objemu produkce, kde jsou údaje o celkových počtech výsledků a o podílech v pásmech Q1 a Q2 v rámci organizace. Dalším kontextem mohou být informace o tom, jaký podíl výsledků v D1 nebo Q1 produkuje výzkumná organizace na základě mezinárodní spolupráce a jaký je podíl výsledků domácích (afiliovaných) korespondenčních autorů/autorek.

Celkový počet výsledků v oboru v pásmu D1 či Q1 uvedený pod tabulkou se zpravidla liší od součtu ve sloupci „Počet výsledků organizace“. Též součet procent není obvykle roven 100. Tabulka nezobrazuje všechny instituce, ale pouze deset, další odlišnost způsobuje spolupráce institucí na výsledcích.

Nejvýznamnější organizace v oboru z hlediska objemu produkce

Objem výsledků s AIS každé výzkumné organizace v daném oboru se vydělí počtem národních výsledků. Výsledná hodnota ukazuje, jaký je podíl organizací na produkci oboru v ČR. Tabulka prezentuje deset nejdůležitějších institucí podílejících se na národní produkci.

Pro další kontext je tabulka rozšířena o profilaci výzkumných organizací v pásmech Q1 a Q2. Tyto údaje pocházejí z bibliometrických zpráv jednotlivých institucí. Jedná se tedy o podíly v Q1 a v Q2 spočítané pro úroveň jednotlivých institucí, nikoliv o podíly na národní produkci v Q1 a v Q2.

Další technické poznámky jsou shodné s předchozí sekcí Nejvýznamnější organizace v oboru podle prvního decilu a prvního kvartilu.

Podíly jednotlivých WoS Categories na profilu oboru

Rozložení národních výsledků podle oborové klasifikace FORD je vnitřně rozčleněno podle WoS Categories. Smyslem je zobrazení podílu jemnějších specializací v jednotlivých pásmech.

Protože může mít výsledek v rámci zobrazovaného FORDu připsánu více než jednu WoS Categories, mohou být souhrnné součty vyšší než v případě FORD klasifikace.

Nejvýznamnější WoS Categories

Mezi těmito údaji a údaji uvedenými v předchozí sekci existuje metodický rozdíl spočívající ve způsobu kvartilové identifikace výsledků. Graf z předchozí sekce Podíly WoS Categories pracuje s kvartily ustanovenými pro FORD. Naopak graf Nejvýznamnější WoS Categories vychází z kvartilové identifikace pro úroveň užších specializací WoS Categories. Z toho důvodu jsou podíly a počty článků v pásmech u obou grafů odlišné.

Články ve sbornících

Výpis národních výsledků ve sbornících je oborově rozčleněn obdobně jako výsledky v žurnálech. Jejich podíl na počtu všech národních výsledků evidovaných ve WoS je vypočítán ze základu všech národních výsledků ve WoS, který je tvořen články v žurnálech s AIS i bez AIS a příspěvky ve sbornících.

Příloha 1 hranice pásem AIS pro obor

Příloha obsahuje identifikace konkrétních hodnot AIS určujících spodní hranice kvartilů a decilu pro daný obor v jednotlivých letech.

Příloha 2 seznam časopisů v oboru

Příloha obsahuje časopisy v oboru seřazené sestupně do pásem vytvořených na základě AIS. Řazení periodik uvnitř pásem je sestupné dle výše AIS. Sloupec „počet dokumentů“ ukazuje celkový roční počet článků publikovaných v časopise vstupujících do výpočtu bibliometrických ukazatelů v databázi WoS. V národním hodnocení tento údaj slouží při výpočtu publikací v kvartilových pásmech na světové úrovni a při identifikaci světového mediánu (viz Základní ukazatele a příprava dat).

Soubor obsahuje tři listy, vždy pro každý rok zvlášť.

Příloha 3 seznam analyzovaných výsledků pro obor

Příloha obsahuje národní výsledky v oboru seřazené sestupně do pásem vytvořených na základě AIS. Řazení výsledků uvnitř pásem je abecední.

• CRReprint indikuje, zda reprint author pochází z ČR
• VO pro reprint author identifikuje konkrétní českou instituci v případě, že to získaná data dovolují
• VO vypisuje všechny národní výzkumné organizace podílející se na výsledku
• Instituce doplněné z databáze WoS – část výsledků evidovaných v databázi Web of Science není v době sběru dat vykázána v národní databázi. Doplnění těchto výsledků probíhá pomocí údaje

Organization-Enhanced name, který databáze WoS spravuje pro podstatnou část hodnocených organizací v ČR. Jedná se o unifikovaný název VO sjednocující nepřehledné množství variantních názvů institucí vykázaných autory.

• >= medián EU15, respektive >= světový medián, indikuje, zda je AIS článku rovno nebo větší mediánu AIS podle EU15 nebo podle světového mediánu.
• FORD sloupec vypisuje všechny obory, se kterými je článek formálně identifikován. Připomínáme, že pásmová i mediánová identifikace je platná pouze pro obor, pro který je výpis vytvořen. Související obory FORD mohou takové články evidovat v jiných pásmech.

Příloha 4 seznam výsledků bez AIS, které nevstoupily do analýzy oboru

Část časopisů nemá v daném roce publikování článku přidělenou metriku AIS. Obvykle se jedná o nedávno zaevidované časopisy, u kterých ještě neuplynula pětiletá lhůta pro výpočet indikátoru nebo se jedná o časopisy z oborů, pro které se AIS (ani IF) z principu nevypočítává – to se týká především oborů z oblasti Humanities and the Arts.

Příloha 5 seznam příspěvků ve sbornících

Výpis článků s příznakem Conference proceedings.

IV. Doplňující oborové zprávy podle WoS Categories

Konstrukce výstupů je identická jako u hlavních oborových zpráv podle členění OECD-FORD. Rozdíl spočívá v odlišné oborové klasifikaci. Z toho důvodu zprávy logicky neobsahují sekce Podíly jednotlivých WoS Categories na profilu oboru a Nejvýznamnější WoS Categories.

V. Zprávy pro výzkumné organizace

Zprávy pro výzkumné organizace jsou zpracovány metodicky obdobným postupem jako oborové zprávy, v dílčích ohledech se však liší. V této části jsou popsány pouze tyto dílčí odlišnosti.

Počty výsledků evidovaných ve WoS a jejich oborová struktura

Do dat v této sekci jsou zahrnuty všechny dokumenty propojené s databází WoS bez ohledu na to, zda mají přidělen indikátor AIS. Proto se zde uvedené počty mohou lišit od údajů v dalších statistikách založených právě na AIS.

Graf Oborová struktura článků v časopisech nepřímo vypovídá o publikačním těžišti instituce. Protože se však frekvence publikování v jednotlivých oborech liší, nelze bez další znalosti spoléhat pouze na tyto údaje. Typicky dochází k systematickému potlačení „viditelnosti“ společenských a humanitních oborů v porovnání s ostatními vědními skupinami. Vedle toho, že graf naznačuje, v jakých oborech se instituce převážně profilují, podává důležitý kontext pro doplňující souhrnný profil instituce (sekce 3), který je právě významně ovlivněn celkovým počtem výsledků v jednotlivých oborech.

Grafy Oborová struktura článků v časopisech, Oborová struktura příspěvků ve sbornících a Podíly příspěvků ve sbornících z důvodu přehlednosti nezobrazují (tj. nejsou vykresleny, ale ve výpočtech přítomné jsou) obory s velmi malým počtem výsledků, konkrétně méně než 10 za období tří let, a které zároveň mají menší než 1 % podílu na produkci výzkumné organizace. Prakticky to znamená, že zobrazované výstupy v této sekci jsou limitovány jen u velkých výzkumných organizací s velkým počtem oborů.

Mezinárodní a národní oborové srovnání v pásmech prvního decilu a v kvartilech

Obory jsou ve zprávě seřazeny podle číslování FORD, respektive podle abecedy v případě WoS Categories.

Mezinárodní srovnání je vytvořeno na základě postupu, který je popsán v předešlé kapitole Základní ukazatele a příprava dat. Podklady pro konstrukci grafů a tabulek jsou k dispozici v přílohách oborových a institucionálních zpráv.

Grafy pro Mezinárodní a národní oborové srovnání jsou obsahově identické s grafy oborových zpráv s tím rozdílem, že je do nich promítnuta právě informace o dané výzkumné organizaci. Navazující grafy Profil oboru v jednotlivých letech doplňkově zobrazují samostatně profil instituce rozložený do jednotlivých let tak, aby bylo možné sledovat trendy.

Tabulka Podíly výsledků vytvořených v mezinárodní spolupráci… a tabulka Podíl na objemu produkce ČR vytěžují údaje o národní úrovni z dat zveřejněných v oborových zprávách.

Benchmark mediánů

Benchmark mediánů je vytvořen na základě postupu, který je popsán v první části Základní ukazatele a příprava dat. Hodnota světového mediánu představuje srovnávací bázi (= 100 %). Procentní vyjádření rozdílů mediánů za výzkumnou organizaci, ČR a EU15 se vztahuje k této úrovni.

Doplňující údaje - souhrnný profil výzkumné organizace (roky 2016 – 2018)

Celkový počet výsledků se zde obvykle liší od údajů uvedených v první sekci Počty výsledků evidovaných ve WoS a jejich oborová struktura, neboť souhrnný profil může být vytvořen pouze pro výsledky disponující ukazatelem AIS. Vedle metodických upozornění, která jsou zahrnuta v záhlaví výstupu, zde přidáváme ještě jednu detailní informaci o vlastnosti tohoto grafu.

Bibliometrické kvartily založené na metrikách časopisů jsou zvykově vytvářeny tak, jak je popsáno v úvodní části Základní ukazatele a příprava dat, tj. kvartilovým rozčleněním časopisů. Objemy článků v jednotlivých časopisech se však liší. Proto v jednotlivých oborových grafech vidíme, že se světová úroveň zahrnující veškerou produkci oboru ne vždy podobá ideální distribuci D1= 10 %, Q1 = 25 %, Q2 = 25 %, Q3 = 25 %, Q4 = 25 %. Tento fakt při vnitro-oborovém srovnání nehraje žádnou roli.

V agregovaném profilu za celou výzkumnou organizaci však tato okolnost znemožňuje přiměřenou interpretaci při srovnávání oborově rozdílných institucí. Metodické řešení určené výhradně pro účely vytvoření agregovaného profilu spočívá v odlišné (a nezvyklé) konstrukci kvartilů na základě článků. Jeho zavedení ale závisí na akceptaci českou akademickou obcí.

Nejvýznamnější WoS Categories

Viz poznámka v předchozí části II. Oborové zprávy – Nejvýznamnější WoS Categories.

VI. Doplňkové hodnocení podle databáze Scopus

Doplňkové analýzy z databáze Scopus jsou prováděny pro vybrané oborové skupiny:

• oborová skupina 4. Agricultural and Veterinary Sciences,
• oborová skupina 5. Social Sciences,
• oborová skupina 6. Humanities and The Arts.

Hlavním použitým ukazatelem je indikátor SCImago Journal Rank (SJR). Ten udává průměrný počet vážených citací v rámci databáze Scopus, které získal daný článek za poslední tři roky. Kromě počtu citací se zohledňuje kvalita a prestiž zdrojů, ve kterých se citace objevily. K určení váhy se podobně jako u ukazatele AIS používá míra reflektující počet a kvalitu spojení daného citačního zdroje v rámci celé citační sítě.

Konstrukce výstupů pro hodnocení pomocí databáze Scopus je založená na stejném přístupu jako hodnocení pomocí databáze WoS, ale protože má tato analýza doplňkový charakter, nejsou data obstarávána v identické struktuře a výstupy se tedy liší menším počtem zahrnutých informací:

• není k dispozici benchmark vůči EU15,
• není k dispozici informace o mezinárodní spolupráci,
• není k dispozici informace o „reprint author“,
• není k dispozici informace o výsledcích s velkým počtem autorů,
• na úrovni institucí nejsou doplňovány výsledky chybějící v databázi RIV.

Nejzásadnější rozdíl mezi databází Web of Science a Scopus spočívá v objemu sledovaných periodik. Web of Science cíleně míří na selekci periodik, která jsou v daném oboru nejvlivnější. Databáze Scopus je naopak inkluzivnější a eviduje několinásobně více periodik. Proto kvartilová identifikace podle databáze Scopus není mechanicky porovnatelná s identifikací podle Web of Science, která je v tomto smyslu přísnější a podává striktnější kvalitativní diferenciaci zejména v horních pásmech.