Social Influence bias; a randomized experiment

19
Anno Accademico 2013/2014 - Atteggiamento e opinioni Social Influence Bias: A randomized Experiment. Lev Muchnik, Sinan Aral, Sean J. Taylor Lentini S., Morgillo G., Peronace D., Raineri I., Sindoni C., Pogliani G.

description

Analyzing the study of L. Muchnik, S. Aral, & S.J. Taylor, we examined a large-scale randomized experiment on a social news aggregation website which investigated whether knowledge of such aggregates distorts decision making.

Transcript of Social Influence bias; a randomized experiment

Page 1: Social Influence bias; a randomized experiment

Anno Accademico 2013/2014 - Atteggiamento e opinioni

Social Influence Bias:

A randomized Experiment.

Lev Muchnik, Sinan Aral, Sean J. Taylor

Lentini S., Morgillo G., Peronace D., Raineri I., Sindoni C., Pogliani G.

Page 2: Social Influence bias; a randomized experiment

La riprova

sociale Esperimento

Risultati Discussione

#1

#2

#3 #4

Anno Accademico 2013/2014 - Atteggiamento e opinioni

Indice

Lentini S., Morgillo G., Peronace D., Raineri I., Sindoni C., Pogliani G.

Page 3: Social Influence bias; a randomized experiment

Anno Accademico 2013/2014 - Atteggiamento e opinioni

#1 La riprova sociale

La riprova sociale è una strategia cognitiva della persuasione. Le persone, in media, tendono a

ritenere maggiormente validi i comportamenti o e le scelte che vengono effettuati da un elevato

numero di persone.

Lentini S., Morgillo G., Peronace D., Raineri I., Sindoni C., Pogliani G.

Page 4: Social Influence bias; a randomized experiment

Anno Accademico 2013/2014 - Atteggiamento e opinioni

Alcuni esempi di come la riprova sociale sia utilizzata nelle strategie di marketing:

✗  esercizi commerciali e discoteche pagano figuranti per creare file;

✗  pubblicità Mc Donald’s;

✗  comizi politici reclutano comparse per incrementare la partecipazione.

#1 Esempli applicativi

Lentini S., Morgillo G., Peronace D., Raineri I., Sindoni C., Pogliani G.

Page 5: Social Influence bias; a randomized experiment

Per quantificare quanto l'influenza sociale incida sul processo decisionale, i ricercatori in Israele

e negli U.S.A. hanno progettato un esperimento su larga scala su un popolare sito di social news.

 

Pubblicato sulla rivista Science, il 9 agosto 2013, lo studio “Social influence bias: a randomized

experiment" è stato condotto da L. Muchnik presso l'Università Ebraica di School of Business

Administration, da S. Aral al MIT Sloan School of Management di Gerusalemme, e S. Taylor alla

New York University Stern School of Business.

Anno Accademico 2013/2014 - Atteggiamento e opinioni

#2 Esperimento

Lentini S., Morgillo G., Peronace D., Raineri I., Sindoni C., Pogliani G.

Page 6: Social Influence bias; a randomized experiment

Nell'era del web si fa sempre più affidamento sulle opinioni e i rating degli altri utenti. La cosiddetta

saggezza delle folle però, può produrre informazioni che ci aiutano a prendere decisioni migliori?

Oppure la sottile pressione online crea una mentalità di gruppo con conseguenze negative per i

mercati, la politica e la salute?    

Qualcosa è popolare, perché in realtà è buono, o sembra buono solo perché è popolare?

 

Anno Accademico 2013/2014 - Atteggiamento e opinioni

#2 Ipotesi

Lentini S., Morgillo G., Peronace D., Raineri I., Sindoni C., Pogliani G.

Page 7: Social Influence bias; a randomized experiment

✗  Quantificare la grandezza del bias dell’influenza sociale a livello di utente.

✗  Stimare il bias dell’influenza sociale attraverso campi diversi.

✗  Stimare l’effetto del bias dell’influenza sociale su amici/nemici.

✗  Identificare i meccanismi che riconducono all’influenza sociale.

✗  Analizzare questi effetti in un ambiente online e fortemente attivo.

Anno Accademico 2013/2014 - Atteggiamento e opinioni

#2 Obiettivi

Lentini S., Morgillo G., Peronace D., Raineri I., Sindoni C., Pogliani G.

Page 8: Social Influence bias; a randomized experiment

I ricercatori hanno condotto l’esperimento su un social news site, in cui potevano manipolare il

rating di alcuni commenti. Gli utenti possono commentare gli articoli o mettere voti su singoli

commenti di tipo up-vote o down-vote. Per oltre 5 mesi, ai ricercatori vengono assegnati

casualmente oltre 100.000 osservazioni sul sito per uno dei seguenti tre gruppi:

✗  gruppo positivamente manipolato (up-treated),

✗  un gruppo manipolato negativamente (down-treated),

✗  un gruppo di controllo.

Anno Accademico 2013/2014 - Atteggiamento e opinioni

#2 Disegno sperimentale

Lentini S., Morgillo G., Peronace D., Raineri I., Sindoni C., Pogliani G.

Page 9: Social Influence bias; a randomized experiment

Questa manipolazione ha creato cosi un segnale di giudizio positivo o negativo da parte di utenti

successivi, consentendo agli autori di poter fare stime sugli effetti dell’influenza sociale. I

101,281 commenti sperimentali, di cui 4,049 erano stati trattati positivamente e 1,942

negativamente (proporzione che rispecchia l’andamento naturale di rating del sito), sono stati

visualizzati più di 10 milioni di volte e valutati 308,515 volte dai successivi user.

Anno Accademico 2013/2014 - Atteggiamento e opinioni

#2 Disegno sperimentale

Lentini S., Morgillo G., Peronace D., Raineri I., Sindoni C., Pogliani G.

Page 10: Social Influence bias; a randomized experiment

Anno Accademico 2013/2014 - Atteggiamento e opinioni

#3 Risultati

✗  La manipolazione up-vote crea effetti-herding, aumentando le valutazioni positive medie finali

dei commenti del 25% rispetto ai commenti del gruppo di controllo.

✗  La probabilità che il primo visitatore voti positivamente aumenta significativamente nel

gruppo up-treated di oltre il 32% rispetto al gruppo di controllo.

✗  Un voto già negativo espresso non crea nessuna influenza riguardo le probabilità di voto

negativo.

Lentini S., Morgillo G., Peronace D., Raineri I., Sindoni C., Pogliani G.

Page 11: Social Influence bias; a randomized experiment

Anno Accademico 2013/2014 - Atteggiamento e opinioni

#3 Risultati

Si è notato che solo nelle sette categorie di argomenti più attive sul sito, ci sono stati significativi

effetti positivi per l’effetto-herding, come ad esempio sui commenti/valutazione di politica, cultura

e lavoro. Non c'era invece nessun effetto-herding negativo significativo in nessuna categoria.

Come è visualizzabile nel grafico seguente...

Lentini S., Morgillo G., Peronace D., Raineri I., Sindoni C., Pogliani G.

Page 12: Social Influence bias; a randomized experiment

Anno Accademico 2013/2014 - Atteggiamento e opinioni

#3 Risultati

Lentini S., Morgillo G., Peronace D., Raineri I., Sindoni C., Pogliani G.

Page 13: Social Influence bias; a randomized experiment

Anno Accademico 2013/2014 - Atteggiamento e opinioni

Inoltre l’effetto-herding positivo risente del fatto che gli individui visualizzavano al momento del

voto le opinioni di amici o nemici. Gli amici di un commentatore erano più propensi a correggere

un punteggio negativo, mentre i nemici non ritenevano valesse la pena perdere il loro tempo.

#3 Risultati

Lentini S., Morgillo G., Peronace D., Raineri I., Sindoni C., Pogliani G.

Page 14: Social Influence bias; a randomized experiment

Anno Accademico 2013/2014 - Atteggiamento e opinioni

#4 Discussione

✗  Manipolazione Positiva: effetto-herding causa un aumento del rating positivo/rating

bubbles.

✗  Manipolazione Negativa: non si riscontra l’effetto-herding.

Secondo gli autori non si riscontra perché l’aspetto negativo viene compensato da alcuni

utenti che considerano questo giudizio come eccessivamente negativo, neutralizzando così

l'effetto di influenza sociale.

Lentini S., Morgillo G., Peronace D., Raineri I., Sindoni C., Pogliani G.

Page 15: Social Influence bias; a randomized experiment

Anno Accademico 2013/2014 - Atteggiamento e opinioni

"Nella nuova comunicazione le tecnologie di lavorazione assumono un ruolo più

dominante nel nostro processo decisionale (...). Per interpretare il giudizio

collettivo con maggiore precisione e fare un uso migliore dell’intelligenza

collettiva, dobbiamo utilizzare un opportuno voto on-line e delle tecnologie di

revisione adatte per tenere conto dell’ influenza della polarizzazione sociale."

- Dottor Lev Muchnik -

#4 Limiti e applicazioni future

Lentini S., Morgillo G., Peronace D., Raineri I., Sindoni C., Pogliani G.

Page 16: Social Influence bias; a randomized experiment

Anno Accademico 2013/2014 - Atteggiamento e opinioni

Un esempio di soluzione all’effetto herding potrebbe essere quella già applicata dal sito social

news di Reddit.com. Permette agli utenti di votare i commenti tramite up-vote e down-vote. I

moderatori però, nascondono le valutazioni per un determinato periodo di tempo, per aumentare

la probabilità che un commento sia votato per reale merito.

#4 Limiti e applicazioni future

Lentini S., Morgillo G., Peronace D., Raineri I., Sindoni C., Pogliani G.

Page 17: Social Influence bias; a randomized experiment

Anno Accademico 2013/2014 - Atteggiamento e opinioni

Un limite che abbiamo notato è che il sito scelto dagli autori ospiti topic che vengono

commentati prevalentemente in modo positivo (nella proporzione da loro trovata i commenti

positivi sono più del doppio di quelli negativi), quindi questo può spiegare perché non si

verifichi un effetto herding anche nel gruppo down-treated.

#4 Limiti e applicazioni future

Lentini S., Morgillo G., Peronace D., Raineri I., Sindoni C., Pogliani G.

Page 18: Social Influence bias; a randomized experiment

Anno Accademico 2013/2014 - Atteggiamento e opinioni

Quattro sottogruppi:

✗  effetto del trattamento della manipolazione negativa sulla positività;

✗  effetto del trattamento della manipolazione positiva sulla positività;

✗  effetto del trattamento della manipolazione negativa sull'affluenza (tasso di partecipazione);

✗  effetto del trattamento della manipolazione positiva sull’affluenza (tasso di partecipazione).

Manipolazione negativa Aumento positività dei valutatori negativi

Manipolazione positiva Diminuzione positività dei valutatori positivi

Effetto manipolazioni P/N Aumento affluenza

#5 Effetti della manipolazione su affluenza positiva

Lentini S., Morgillo G., Peronace D., Raineri I., Sindoni C., Pogliani G.

Page 19: Social Influence bias; a randomized experiment

"Il più grande ostacolo al

successo è solo farsi notare”

Duncan J. Watts

(scienziato di Microsoft Research)

Anno Accademico 2013/2014 - Atteggiamento e opinioni Lentini S., Morgillo G., Peronace D., Raineri I., Sindoni C., Pogliani G.