Nicolas Maisonneuve, research associate Centre for Advanced Learning Technologies, INSEAD

Application of a simple visual attention model to the communication overload problem

Tags:  Information overload, Community, Social Media, Attention‐based Ranking model, visual attention model, Social computing 

Context: European research project   www.atgentive.com

Sept. 2007

Scenario 1: Online Community

Problem : 

Is there a way to recommend me the most important messages ?

1) Avoiding uninteresting messages according my interests,

2) … except if it’s about an important issue in the community

Situation• Member of an active community• I’m overwhelmed by the unread messages• I only have 10 minutes to understand the highlights since my last login. 

Scenario 2:  Weblogs & Social Media

Situation 

• I have subscribed to a lot of interesting blogs 

• Now I’ m overloaded by too many posts

• I only have 10 minutes to read all my feeds

Same Question:

How rank them and read only the most important ones for me ? 

Research problem

Question:In a rich information (and social) environment,  How do I choose items (message, blog posting, .. )  due to my limited resources (e.g. time, or people) ? 

Answer:  in a rich information environment,  information competes  for the user’s attention (c.f Attention Economy)

I choose the most attractive items

Conception of an Attention‐based Ranking Model to select items

How does an item attract the user’s attention?

Similarity in vision• In a scene (visual rich environment),  which area (item) will attract my attention? • how to predict where my attention will be guided? (Visual Search problem)

Approach • Use of a visual search model: “guided Search2.0” (J. Wolfe, 1994)• Turn visual signals  into  communication signals (Message Reader = eye to  perceive the social activity)

How does an item attract the user’s attention?

Attention guiding the 2 types of features:• Top‐down features (User guidance)e.g.  user searching a green object

• Bottom‐up features (Stimuli guidance) e.g. flashy object in a dark scene

Saliency (i.e. attractivity) of a signalThe saliency of a signal is computed as the (weighted) sum of the saliency for each attractive feature of the signal (e.g. color, size, intensity, motion,etc…)

The Visual attention model “Guided Search 2.0”  ‐ 1/2

Process 1) For each attractive feature,  the signals are computed into a Feature Map (i.e. their levels of saliency according to the feature)2) Mix of the feature Maps into a global Saliency Map

The Visual attention model  Guided Search 2.0  ‐ 2/2

How does an item attract the user’s attention?

In your context of communication signals… 

Question 1: What are the top‐down features (user’s interest profile) ? Question 2: What are the bottom‐up features? (i.e. attractive features without knowing the user’s  intention)Question 3: How to compute a feature map?Question 4: how to  compute the saliency map? 

Question 1: What are the top‐down features?  (User driven attention)

Top‐down features•Message’s Topic: focus on specific topics

•Message’s User:  focus on specific users

VG Market IT Industry Research

User's vigilance profile in a IT Community (scenario 1)

userA userB userC

User's vigilance profile in a Social Network (Scenario3)

Simple Vigilance profile P For a given context K (e.g. a task to do) ,

P(k)  =  (C,W)  with:‐ C = The set of concepts c (user, topic) I want to pay specially attention to in a signal‐W = their respective levels of  vigilance wcfor the user 

‐ + Limited capacity H ( ∑wc<H  and wc>wmin )(I can’t want to pay attention to everything)

Vigilance feature map

Question 2: What are attractive bottom‐up features? (i.e. without knowing the user’s  intention)

1) Exception (temporal/spatial)

‐ Unusual sender

‐ Unusual topic

‐ Unusual activity (cf 5) 

2) About me 

‐message audience focussed on me (mailing‐list vs. personal  message)

3) User’s effort

‐ Type of Medium 

(Text < Sound< Video)

4) Urgency

Lifecycle of the message  (3 months<now)

‐ See also 5)

5) Other’s influence

‐ Collective attention  (burst of activity)

‐ Explicit Attention asked (Subject: [URGENT]… )

Question 3: How to compute a feature map?

Computation of a bottom‐up feature mapE = the set of unread items  e1, e2, .. , en • For each feature k , each item is computed  by a  function fk to give its saliency [0, 1] related to this feature•A feature map is Mk={fk (e1), fk (e2), .. , fk (en)} 

Example: Simple Computation of the Burst of  (reading) Activity  featureDefinition: Burst = an abnormal high level of activity :  Last week, in average, a message has been read  10 times,  but the message A has been read  30 times. 

Computation:r(e,∆t) = the number of readings of  the message e during the interval ∆t, m = the mean of r(e, ∆t) for the set of messages read during ∆tfburst(e)= with 1<t1<t2 the bounds

0

1

m m*t1 m* t2 inf

Conclusion

Future work

• Partially implemented  (collective activity observer,  burst of Activity, Vigilance Profile) 

• Need to be evaluated (how to configure  the weight of each Feature in the global saliency map computation?)

Features of the Ranking Model• Based on a Visual Attention Model 

Not only what the user expects ( bottom up feature)• Use of social factors to rank items. • Try to integrate the notions of  limited capacity & vigilance•Adaptive to the context (possible change of the vigilance profile)

Thanks for your attention.  ☺

Scenario 3:  Traditional Communication

Problem 

Is there a way to notify me  on a new emails only if :

‐ it  is related to my current task (e.g. message from UserB)

‐ Or it  delivers unexpected but important information.

Situation :  

• Growth of the user’s connectivity (globalization + internet)

• I’m currently collaborating on a specific task with userA and specially with userB. 

• I receive a lot of emails that interrupt my work

• 4 hours spent managing emails per day by senior management (Guardian Unlimited Newspaper, 2007) 

• Economic Impact of the interruption caused by email+online tools:  $588 billion/year  for the Us Economy  (Basex Research, 2005)