How to Get a Permanent Position

in Academia

Michael SchwartzbachAnders Møller

Computer Science, Aarhus University

Why Should You Listen?

I did get a permanent position in academia ☺

I have been on around 15 evaluation committees

• for assistant and associate professorships

• at all Danish universities

• read hundreds of applications

Since 2007 member of Danish Research Council

• read many hundreds of science CVs

2

Why Should You Care?

3

Industry Academia

The Tenure‐Track Model

• PhD hiring rounds in the Spring

• Assistant Professor 3‐year evaluation (stay or leave        , Department)

• Assistant Professortenure evaluation (stay or leave        , Department+Dean)

• Associate Professor promotion or transfer

• Full Professor

The Non‐Tenure‐Track Model

• PhD apply for a temporary position somewhere, or leave 

• Postdoc (zero or many) apply for a temporary position somewhere, or leave

• Assistant Professor (zero or many)apply for a permanent position somewhere, or leave

• Associate Professor (zero or many)apply for a permanent position somewhere

• Full Professor

Pros and Cons

Tenure Model Non‐Tenure Model

formal process more chaotic

clear expectations more obscure 

one shot try again

can only step down very flexible

set for life 6‐months notice

The Hiring Process

• The Department publicly announces a position• The applications are received• The Dean appoints an evaluation committee• The committee evaluates the applications:

– Qualified (possibly ranked in a partial order)– Not qualified

• The Department may perform interviews• The Department submits a recommendation• The Dean hires one of the qualified applicants

8

Influencing The Process (Academics)

• The Department publicly announces a position• The applications are received• The Dean appoints an evaluation committee• The committee evaluates the applications:

– Qualified (possibly ranked in a partial order)– Not qualified

• The Department may perform interviews• The Department submits a recommendation• The Dean hires one of the qualified applicants

9

Influencing The Process (Politics)

• The Department publicly announces a position• The applications are received• The Dean appoints an evaluation committee• The committee evaluates the applications:

– Qualified (possibly ranked in a partial order)– Not qualified

• The Department may perform interviews• The Department submits a recommendation• The Dean hires one of the qualified applicants

Part of a strategy planRequires qualified applicants

Make yourself indispensable:• research• teaching• administration

10

The Application

• Short bio (education and employment)

• Research statement (results and plans)

• Teaching portfolio

• Professional activities

• Grants, awards and patents

• Sample publications

• Publication list

11

The Evaluation Process

• Read the application• Evaluate the publications

– Google...– Check citations and venues– Ask around

• Evaluate professional experience• Evaluate teaching experience

An absolute evaluation• Combine the individual evaluations

Relative rankings

12

The Kiss of Death• ”... marginal research record”

• ”... limited teaching experience”

• ”... results are very sparse in recent years”

• ”... limited international contacts”

• ”... publications are not at a high international level”

• ”... inexperienced in the academic environment”

• ”... academic credibility cannot be verified”

• ”... no research collaboration”

• ”... too specialized and narrow in scope”

• ”... no clear focus”

• ”... absence of peer recognition”

• ”... no journal publications”

• ”... little or no academic weight”

13

The Application

• Short bio

• Research statement

• Teaching portfolio

• Professional activities

• Grants, awards and patents

• Sample publications

• Publication list

14

The Application

• Short bio

• Research statement

• Teaching portfolio (important, by law!)• Professional activities

• Grants, awards and patents • Sample publications

•Publication list15

Research Statement

The committee is looking for:– overview, motivation, relevance and impact– background and competences– interesting problems that you want to solve– less than science fiction (not: prove P≠NP in 3 years)– more than trivial (not: reduce O(...) by log log log log n)

Ideas and ambitions?Ready to build or extend a research group?

16

Teaching Portfolio

The committee is looking for:– teaching experience– teaching materials– teaching administration– teaching evaluations– teaching qualifications– teaching scope

Ready to lift a teaching load?Ready to advise MSc/PhD students?

17

Professional Activities

The committee is looking for:– international collaboration– referee work for journals and conferences– organizing committees– program committees– PhD committees– administrative committees

International network?Ready to lift an administrative load?

18

Grants, Awards and Patents

The committee is looking for:– involvement in research projects– experience in writing applications– administration of funding– collaboration with industry (if relevant)– recognition by peers– recognition by the public

Eye for collaboration?Ready to generate external funding?

19

The Publication List

The committee is looking for:– quality

– originality

– sustained productivity

– impact

Confidence in future achievements?

Prestige for the Department?

20

Evaluating Publications

• The committee does not use a tape measure

• Quality is factored in heavily:– results– ranking of venues– citation counting– research programs

• Publications are also read, but:– typically only a small selection is submitted (3‐5)– the committee members are rarely experts in the same area!

21

Quality vs. Quantity

• Early in your career:– aim for quantity

– get experience with the writing process, presentations at conferences, etc.

• Later:– aim for quality

– better sense of “what is quality”

22

Not All Venues Are EqualConferences: Journals:

Flagships:

Major:

Minor:

Regional:

PLDI, POPL, OOPSLA

SAS, ESOP,PEPM, ECOOP

PLILP, PLAN‐X

NWPT

TOPLAS, I&C,JCSS, TSE

TCS, SCP,TOIT

WWWJ, JWE 

23

Recent Political Initiative• “Bibliometrics”

• All venues ranked

☺ good

mediocre

worthless 

• Determines Danish University fundings– formally, across all universities only

– likely, soon also across the research areas

24

Journals vs. Conferences

• Flagship conferences are more prestigeousthan even major journals

• Journal papers are more polished and complete• Ideal: first conference, then journal version• Avoid double dipping on your CV!

• Outside Computer Science:– conferences are only lightly reviewed– only journals count in publication lists

25

Order Of Authors• Order by contributions? (emphasis on First Author)

• Alphabetic?

• Student first, advisor last, the remnants in between?

• …

• Very different traditions, even within CS

• If your name is Zaphod Zimmerman, change it to Aaron Aardvark ☺

26

Computer Science Publication Data• DBLP:

– hand‐corrected lists of authors and publications– only meta‐data, often with links to the contents

• CiteSeer:– aggressively collected database of papers and citations– contains lots and lots of errors

• Web of Science:– narrow collection of papers and citations– contains no errors, but plenty of omissions

• Google Scholar/Harzing PoP:– seemingly complete database of papers and citations– seems to be the currently best compromise!

27

Famous CiteSeer Authors

585. P. Thesis 1228. M. Interface 1461. C. Intractability 1644. H. Fortran 2174. W. Web 2447. M. Theory 2909. C. Systems 3264. C. Analysis 3265. M. Analysis 3941. I. Systems 4208. S. Theory 4341. I. Theory 4519. R. Manual 4793. D. Systems 4821. A. Theory 4920. G. Theory 4937. C. Science 5114. C. Theory 

28

5376. U. Manual 5443. D. Thesis 5783. M. Checking 5778. I. Organization 6004. A. Computer 6073. S. Analysis 6147. C. University 6284. M. Systems 6519. A. Systems 7115. S. Goto 7189. C. Loop 7289. S. Version 7169. G. Algorithms 7289. M. Version 7318. P. Theory 7662. P. Types 7876. C. Regression 7886. L. Theory 

http://www.cs.ucla.edu/~palsberg/citeseer-humerous.html

What Is Impact?• Number of (peer reviewed) publications?

• Citations?

• H‐index?

• Appearance in public media?

• Technology transition?

• Effect on standards?

• Downloads?

• Hits on web pages?

29

Citations Count

• DBLP lists 1,413,470 publications in CS• Almost all of those are never read• Almost all that are read are never cited

• Citations indicate:– interest– relevance– usefulness– impact

30

10% published last year

020000400006000080000

100000120000140000160000

1980 1984 1988 1992 1996 2000 2004 2008

DBLP Yearly Production

Examples of Citation Counts

• The NP book by Garey and Johnson (29,847)• The BDD paper by Bryant (7,223)• The Statecharts paper by Harel (5,864)• The Uppaal paper (1,211)• My most cited paper (311)

• The average citation count is around 10(for those papers that have any citations)

31

Different Kinds of Citations

• Combining Theorem 17 from [Finkelstein83] with Lemma 4 from [Schnabelwasser94] we conclude that...

• It then follows that the graph bleaching problem is  NP‐complete [GareyJohnson79]...

• We work in the style of pervasive cache‐oblivious interaction design [2,4,7,9,11,17,28,36,41,52,56,89]...

• Note that our approach should not be confused with the inferior technique of [Grumbelwand99]...

• Using our new validation tool, we are now able to find the famous error in [Hyman66] in only 23ms...

32

The H‐Index

• The largest number k such that the author has kpublications with at least k citations each

• A robust measure of scientific productivity

• Better than the alternatives:– total number of publications

– total number of publications in high‐ranked venues

– total number of citations

33

The H‐Index

34papers

citations

H = 4

Examples of H‐Indices 

• 95 Hector Garcia‐Molina

• 76 Robert Tarjan

• 64 Amir Pnueli

• 50 Robin Milner

• 47 Christian S. Jensen

• 30 Michael Schwartzbach

• 20 Anders Møller

• 14 Alan Turing (but 10,000 citations)*) http://scholar.google.com/scholar?q=(author:"a+møller"+OR+author:"a+moller"+OR+author:"a+moeller"+OR+author:"a+moler"+OR+author:"a+muller")+(+schwartzbach+OR+klarlund+OR+kirkegaard)+‐wismer‐pedersen+‐vestergaard+‐seefeldt+‐perrild+‐tollund+‐viktrup+‐klose+‐scheel+‐hebart+‐fallstrom+‐voigt+‐lindberg+‐fonouni+‐chae+‐1922

35

J. Smith• 129

*

Evaluation and The H‐Index • DBLP lists 883,587 authors

• Almost all of those have H‐index zero or one

• You must get off the ground

36

In all of CS, only around 250 people have H ≥ 40

Self‐Citations

• Good reasons to cite your own work:– building on earlier results– necessary background – use survey papers as related work

• But avoid padding your citation count:– it is very easy to spot– it looks bad– it does little for the H‐index anyway

37

Are Patents Relevant?

38H-index

#patentsTop 50 USTop 50 non-USAarhus

Academic Spam

• Bogus conferences:– no academic credibility– accepts all papers (even autogenerated)

• Designed to transfer money from research budgets to the conference organizers:– high registration fees– hotel kickbacks

• Artificially inflates CVs:– publication lists– program committees– workshop organization

Latest trick:reject enough real or fake papersto get an accept rate < 25%(but still no real reviews)

39

How To Recognize Academic Spam

• Hundreds of people in the program committee• No referee reports (or fake ones)• Any of the words:

– multi‐conference– multi‐disciplinary– cybernetics– world congress

• Any of these acronyms:– WSEAS, CSIT, IASTED, WCCI, IPSI, SSCCII, KCPR, IADIS– IIIS/SCI, WMSCI, CEC, INFO, GESTS, CITSA, IMETI– WCE, WCECS, IMCSE, IAENG, CIIIS, ISAS, IARIA, IIIS– KGCM, KGPR, ICCCT, PISTA, CISCI, WCAC, ...

• And be careful about IEEE these days!

40

Comparing Conferences

Aiken, Alex

Walker, David

H‐index:max =    40min =       9avg  =    24.8

41

Abusitta, Adel

Zydney, Janet

H‐index:max =   12        (3% ≥ 10)min =      0        (32%)avg  =     1.9

22 489...

.

.

.

Avoid Academic Spam

• Spam counts negatively on your CV

• It indicates a serious lapse of judgement

• ... or just poor guidance by senior colleagues

• And it is poison for the academic community

• Unfortunately, increasingly difficult to spot

• And there is a grey‐zone

42

Interviews / Job TalksBe prepared for questions like

• Which result are you most proud of, and why?

• What is your research plan?

• Give me a summary of your work.

• Why did you apply here?

(Could you answer the first

three questions now, without

time for preparation?)43

Final Advice

• Plan ahead

• Use these slides as a “checklist”– don’t fall through on any of the minor criteria

• Focus on your research and publications:– aim for high‐ranked venues (but not exclusively)

– don’t hesitate:  train your killer instinct

– build a network

– don’t try to fake it

44

45

The juvenile sea squirt wanders through the sea searching for a suitable rock or hunk of coral to cling to and make its home for life. For this task it has a rudimentary nervous system. When it finds its spot and takes root, it doesn't need its brain any more so it eats it. It's rather like getting tenure.

– Daniel Dennett, Consciousness Explained

“

”