Impact - the game
Transcript of Impact - the game
![Page 1: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/1.jpg)
(except logo’s)
Impact – the game Traditionele en alternatieve mogelijkheden
Ellen Fest & Bianca Kramer
Workshop VoginIP lezing, Amsterdam, 20170309
3.1
Macro
-Inve
rtebrate D
ecline in
Surface W
ater P
ollu
ted w
ith Im
idaclo
prid
P
loS O
ne 8
.5 (2
01
3): e6
23
74
.
24
citation
s in 2
01
5
@MsPhelps @EllenFest
![Page 2: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/2.jpg)
programma
• vraag aan deelnemers
• inleiding bibliometrics
• spel ronde 1
• inleiding altmetrics
• spel ronde 2
• zelf aan de slag
• vraag opnieuw
• afsluiting
![Page 3: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/3.jpg)
Hoe zouden we we wetenschappelijk
onderzoek moeten beoordeelden?
![Page 4: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/4.jpg)
INLEIDING BIBLIOMETRICS
![Page 5: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/5.jpg)
Eugene Garfield – 1925- 2017
By Chemical Heritage Foundation, CC BY-SA 3.0, https://commons.wikimedia.org/w/index.php?curid=39819056
![Page 6: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/6.jpg)
Bekende bibliometrische indicatoren
1. Journal Impact Factor
2. h-index
3. aantal citaties / citaties per publicatie
![Page 7: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/7.jpg)
![Page 8: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/8.jpg)
Hoe vergelijken we citatie-aantallen?
• Onderzoekster Willemijn Wiskunde heeft een publicatie uit 2007 met 22 citaties
• Onderzoekster Beatrix Biologie heeft eem publicatie uit 2011 met 24 citaties
→ Welke onderzoekster heeft met haar publicatie de meeste impact?
![Page 9: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/9.jpg)
0
10
20
30
40
50
60
70
80
0 2 4 6 8 10 12
cum
mu
lati
ef a
anta
l cit
atie
s
aantal jaar na publicatie
baseline
TOP10%
TOP1%
Baseline vakgebied wiskunde
![Page 10: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/10.jpg)
Baseline vakgebied moleculaire biologie
0
50
100
150
200
250
300
350
400
450
500
0 2 4 6 8 10 12
cum
mu
lati
ef a
anta
l cit
atie
s
aantal jaar na publicatie
baseline
TOP10%
TOP1%
![Page 11: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/11.jpg)
Journal Impact factor: DEFINITIE
Journal Impact factor in jaar t is gedefinieerd als de ratio tussen:
• het aantal citaties in jaar t naar publicaties in het tijdschrift in de twee voorgaande jaren, en;
• het aantal publicaties in het tijdschrift in de twee voorgaande jaren.
Voorbeeld:
• een tijdschrift heeft in 2013 en 2014 in totaal 100 publicaties
• in 2015 hebben deze publicaties samen 200 citaties gekregen
• de impact factor is 200 / 100 = 2
11
![Page 12: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/12.jpg)
12
Impact factor: Weaknesses
• geen normalisatie naar vakgebied → gebruik de kwartielen
• citaties naar ‘niet-citeerbare documenten’ (bijv. book reviews, editorials, news articles) in de teller maar niet in de noemer → voordeel voor de tijdschriften met veel editorial material
• gevoelig voor "uitbijters"
• review journals zijn sterk in het voordeel
![Page 13: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/13.jpg)
h-index
balans tussen productiviteit en geciteerdheid
om het effect van een of twee extreem geciteerde publicaties uit te sluiten
niet alleen toepasbaar op auteurs
effect van vakgebied en leeftijd niet gecorrigeerd
serieuze twijfel over robuustheid
*Waltman, L. & N. J. van Eck (2011). The inconsistency of the h-index. Journal of the American Society for Information Science and Technology 63(2):406-415 http://dx.doi.org/10.1002/asi.21678
![Page 14: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/14.jpg)
maar de h-index is overal
![Page 15: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/15.jpg)
waar worden deze "metrics" gebruikt?
• beoordeling financieringsaanvragen (NWO, ERC)
• sollicitatieprocedures (intern beleid, sterk verschillend)
• tenure track procedures (intern beleid, sterk verschillend)
• beoordeling onderzoeksgroepen / faculteiten (SEP) → veel vrijheid voor eigen invulling
• university rankings (m.n. citatie-aantallen)
Meer lezen over NWO en gebruik van de Impact Factor? https://im2punt0.wordpress.com/2017/01/09/nwo-the-impact-factor-paradox/
![Page 16: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/16.jpg)
waar het toe leidt:
Nature newsblog http://blogs.nature.com/news/2013/06/new-record-66-journals-banned-for-boosting-impact-factor-with-self-citations.html
![Page 17: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/17.jpg)
waar het toe leidt:
Retraction Watch d.d. 17-02-2017 http://retractionwatch.com/2017/02/17/editor-resigns-two-journals-considerable-citation-boosting-attempts/
![Page 18: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/18.jpg)
waar het toe leidt:
De Volkskrant, 6-3-2017 http://www.volkskrant.nl/wetenschap/prominente-hoogleraar-voedingspsychologie-beschuldigd-van-zelfplagiaat~a4470769
![Page 19: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/19.jpg)
Let’s play!
![Page 20: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/20.jpg)
Let’s play!
![Page 21: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/21.jpg)
Scheefheid citaties: citaties in 2015 van papers uit 2013-2014
bron: Larivière et al. 2016
![Page 22: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/22.jpg)
Scheefheid citaties: citaties in 2015 van papers uit 2013-2014
bron: Larivière et al. 2016
![Page 23: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/23.jpg)
INLEIDING ALTMETRICS
![Page 24: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/24.jpg)
2 trends in beoordeling van wetenschappelijk onderzoek
Bewustzijn van onjuist gebruik van de IF voor de beoordeling van
individuele onderzoekers
• San Francisco Declaration on Research Assessment (DORA)
• Leiden Manifesto (Hicks et al., 2015)
• Metric Tide report (Wilsdon et al., 2015)
Meer aandacht voor maatschappelijke impact van wetenschappelijk
onderzoek en verschuiving naar meer "Open Science"
• Standaard Evaluatie Protocol 2015 - 2021(SEP) van de VSNU →
"Grotere en systematischere aandacht voor maatschappelijke
relevantie"
• NWO en EU beleid verschuift langzaam richting "Open Science"
• Nationaal Plan Open Science gepresenteerd op 9 februari jl.
![Page 25: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/25.jpg)
Altmetrics Manifesto
• geen algemene definitie
• ‘metrics and qualitative data that are complementary to traditional, citation-based metrics’ (altmetric.com)
• verzameling van metrics
• gebaseerd op online gebruik / platforms
• alternatief voor bibliometrics
J. Priem, D. Taraborelli, P. Groth, C. Neylon (2010), Altmetrics: A manifesto, 26 October 2010. http://altmetrics.org/manifesto
![Page 26: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/26.jpg)
welke bronnen? type
referentie managers, bookmarking Mendeley, CiteULike, Delicious
video, foto en presentatie platforms YouTube, Pinterest, Podcasts, Vimeo, SlideShare, Flickr, DailyMotion
social netwerken Facebook, Google+
blogs Nature blogs, Scientific American blogs, PLOS blogs, Research Blogging, Google blogs, Wordpress
microblogging Twitter, Sina Weibo,
peer review systemen Publons, PubPeer
recommendations / reviews F1000, Reddit, Goodreads, Amazon reviews
online encyclopedie Wikipedia
repositories. PMC, Figshare, RePEc, SSRN
Source code Repositories GitHub, SourgeForge, Bitbucket
others beleidsdocumenten, nieuwsberichten
(Erdt et al., 2016; doi:10.1007/s11192-016-2077-0)
![Page 27: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/27.jpg)
altmetrics aggregators
a) Altmetric.com
b) Impactstory
c) Plum Analytics
d) PLOS ALM
e) Kudos
f) Mendeley
g) …
![Page 28: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/28.jpg)
Altmetric.com
![Page 29: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/29.jpg)
Impactstory
![Page 31: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/31.jpg)
PLOS ALM
![Page 33: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/33.jpg)
Mendeley
![Page 34: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/34.jpg)
beleidsdocumenten
![Page 35: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/35.jpg)
ook overheid.nl
![Page 36: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/36.jpg)
verder lezen?
• Kramer, B. 2015. Altmetrics. Handboek Informatiewetenschap 710. doi:10.5281/zenodo.31899
• Konkiel et al. 2016. Altmetrics for Librarians: 100+ tips, tricks, and examples. doi:10.6084/m9.figshare.3749838
• Glauch & Blümel. 2016. OPENing UP new methods, indicators and tools for peer review, impact measurement and dissemination of research results. http://openup-h2020.eu/2017/03/03/establishment-altmetrics-term/
![Page 37: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/37.jpg)
LET'S PLAY – DE 2E HELFT
![Page 38: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/38.jpg)
Altmetric voorbeeld
![Page 39: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/39.jpg)
Altmetric voorbeeld
![Page 40: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/40.jpg)
![Page 41: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/41.jpg)
![Page 42: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/42.jpg)
Relaties tussen citaties, Altmetric score en Mendeley readers
![Page 43: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/43.jpg)
Who is using (alt)metrics tools ?
![Page 44: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/44.jpg)
Altmetrics – tools / applications
- Niet alle onderzoeksoutput kan getraceerd worden
- Niet alle gebruik kan getraceerd worden
- Hoe robuust zijn de data ?
- Niet het getal, maar het verhaal is belangrijk
![Page 45: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/45.jpg)
Altmetrics – tools / applications
- Niet alle onderzoeksoutput kan getraceerd worden
- Niet alle gebruik kan getraceerd worden
- Hoe robuust zijn de data ?
- Niet het getal, maar het verhaal is belangrijk
![Page 46: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/46.jpg)
Altmetrics – tools / applications
http://tinyurl.com/VoginIP2017-altmetrics
![Page 47: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/47.jpg)
Wat is de context waarin onderzoekers kunnen kiezen voor open & reproduceerbare workflows?
political support at (inter)national level •
pressure from funders •
public stance on Open Science by institution •
user-friendly and powerful tools •
interoperability •
role models •
attention for positive effects •
• assessment criteria • institutional policies/culture • PI demands • learning curves • agreements with collaborators • uncertainty over effects & legitimacy
![Page 48: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/48.jpg)
San Francisco Declaration on Research Assessment
![Page 49: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/49.jpg)
adap
ted
fro
m:
Mar
ina
No
ord
egra
af –
Op
en S
cien
ce: o
p z
oek
naa
r d
e sc
hat
ten
Vo
gin
cu
rsu
s 2
01
6
Open Science
articles posters
presentations
blog posts
social media conversations
study registrations
protocols funding proposals
data management plans
lab notebooks
research data
peer review
![Page 50: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/50.jpg)
Open Science in de gehele onderzoekscyclus
preparation
analysis
writing publication
outreach
assessment discovery
Rounds of grant writing and application
Iterations of search and reading
Drafting, receiving comments,rewriting
Submit, peer review, rejection, resubmitting
Rounds of experiments and measurements
![Page 51: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/51.jpg)
Nationaal Plan Open Science
![Page 52: Impact - the game](https://reader031.fdocuments.us/reader031/viewer/2022030313/58cece5a1a28ab09548b6cd9/html5/thumbnails/52.jpg)
Hoe zouden we we wetenschappelijk
onderzoek moeten beoordeelden?
Met de kennis van nu: