Can a single line of code change society? The systemic risks for global information flow, opinion dynamics and social structures of recommender systems optimizing engagement

David Chavalarias (1, 2) , Paul Bouchaud (1, 2) , Maziyar Panahi (2)

1 CAMS - Centre d'Analyse et de Mathématique sociales
2 ISC-PIF - Institut des Systèmes Complexes - Paris Ile-de-France

As the last few years have seen an increase in online hostility and polarization both, we need to move beyond the fack-checking reflex or the praise for better moderation on social networking sites (SNS) and investigate their impact on social structures and social cohesion. In particular, the role of recommender systems deployed at large scale by digital platforms such as Facebook or Twitter has been overlooked. This paper draws on the literature on cognitive science, digital media, and opinion dynamics to propose a faithful replica of the entanglement between recommender systems, opinion dynamics and users' cognitive biais on SNSs like Twitter that is calibrated over a large scale longitudinal database of tweets from political activists. This model makes it possible to compare the consequences of various recommendation algorithms on the social fabric and to quantify their interaction with some major cognitive bias. In particular, we demonstrate that the recommender systems that seek to solely maximize users' engagement necessarily lead to an overexposure of users to negative content (up to 300\% for some of them), a phenomenon called algorithmic negativity bias, to a polarization of the opinion landscape, and to a concentration of social power in the hands of the most toxic users. The latter are more than twice as numerous in the top 1\% of the most influential users than in the overall population. Overall, our findings highlight the urgency to identify harmful implementations of recommender systems to individuals and society in order better regulate their deployment on systemic SNSs.

Alors que ces dernières années ont connu une augmentation de l'hostilité et de la polarisation en ligne, il est nécessaire de dépasser le réflexe du fack-checking ou de l'appel à une meilleure modération sur les réseaux sociaux numériques afin d'étudier leurs impacts sur les structures sociales et la cohésion sociale. En particulier, le rôle des systèmes de recommandation déployés à grande échelle par des plateformes numériques telles que Facebook, Twitter, TikToc ou Instagram n'a pas été assez étudié. Cet article s'appuie sur la littérature relative aux sciences cognitives, aux médias numériques et aux dynamiques de l'opinion pour proposer une modélisation de l'enchevêtrement entre les systèmes de recommandation, la dynamique de l'opinion et les biais cognitifs des utilisateurs sur les réseaux sociaux comme Twitter. Ce modèle est calibrée sur une base de données massives et longitudinale de tweets portant sur le militantisme politique. Une fois calibré sur des données réelles, ce modèle permet de comparer les conséquences de divers algorithmes de recommandation sur le tissu social et de quantifier leur interaction avec certains biais cognitifs majeurs. En particulier, nous démontrons que les systèmes de recommandation qui cherchent uniquement à maximiser l'engagement des utilisateurs, conduisent nécessairement à une surexposition des utilisateurs aux contenus négatifs (jusqu'à 300% pour certains d'entre eux) --un phénomène appelé biais de négativité algorithmique--, à une polarisation du paysage de l'opinion, et à une concentration du pouvoir social dans les mains des utilisateurs les plus toxiques. La proportion de ces derniers est plus de deux fois plus élevée dans le top 1% des utilisateurs les plus influents que dans l'ensemble de la population. Dans l'ensemble, nos résultats soulignent l'urgence d'identifier les implémentations des systèmes de recommandation délétères pour les individus et la société afin de mieux réglementer leur déploiement sur les réseaux sociaux numériques systémiques.

Mots clés: social networking sites; recommender systems; opinion dynamics; polarization; social cohesion

Domaines: Sciences de l'Homme et Société; Mathématique discrète [cs.DM]; Réseaux sociaux et d'information [cs.SI]; Informatique

David Chavalarias, Paul Bouchaud, Maziyar Panahi. Can a single line of code change society? The systemic risks for global information flow, opinion dynamics and social structures of recommender systems optimizing engagement. Journal of Artificial Societies and Social Simulation, inPress. ⟨hal-04031304⟩