Fréquence d'affichage : optimiser l’ergonomie de nos smartphones

Téléphones intelligents, tablettes numériques, ordinateurs portables ou écrans tactiles : ces objets font partie de notre quotidien et l’une des priorités de leurs concepteurs est de rendre leur usage le plus agréable possible. Ainsi, quand un géant du numérique développe il y a quelques années une nouvelle version de son smartphone, il choisit d’augmenter la fréquence de rafraichissement de l’écran, car plus celle-ci est élevée, plus l’affichage apparaît fluide. Toutefois, les retours des premiers usagers ne sont pas à la hauteur des espérances : le défilement des pages web n’est pas aussi fluide qu’attendu. En effet, l’affichage semble pris de tremblements. Un phénomène connu des experts sous le nom de « jitter »…

Si une parade technique est rapidement trouvée, il reste à comprendre d’où vient le problème – afin d’éviter qu’il ne se reproduise sur des versions ultérieures ; l’image du concepteur est en jeu ! C’est le défi brillamment relevé par deux chercheurs et un doctorant en informatique, tous les trois membres de l’équipe-projet Loki, commune entre Inria et l'Université de Lille au sein du Centre Inria de l'Université de Lille et du laboratoire CRIStAL (UMR 9189) : Mathieu Nancel, Géry Casiez – qui est aussi professeur à l’Université de Lille – et Axel Antoine.

Le résultat de leurs travaux, publié dans un article remarqué par la communauté scientifique et industrielle, ne doit rien au hasard : les deux scientifiques travaillent en effet de longue date sur l'interaction humain-machine. « Nous visons à améliorer des technologies génériques afin de développer des systèmes permettant aux utilisateurs d’expérimenter et de manipuler l’information numérique de manière plus intuitive et immersive », résume Géry Casiez. Ce processus passe par exemple par des casques de réalité virtuelle, des écrans interactifs ou des surfaces tactiles.

Comment en sont-ils venus à étudier le problème du « jitter » ? Grâce à des chercheurs de l’Université de Waterloo au Canada (avec qui ils collaborent régulièrement), Mathieu Nancel et Géry Casiez ont eu l’opportunité de présenter à des ingénieurs de Google leurs travaux sur les problèmes de « latence » – soit le temps nécessaire à un système informatique pour traiter et réagir à une action de l'utilisateur. Leur approche du sujet retient l’attention : le projet de recherche qu’ils proposent reçoit un « Google Research Award », dans le cadre du programme de mécénat du géant américain. Une belle surprise pour les deux chercheurs – la sélection est draconienne, Google ne retenant qu’à peine plus de 15% des candidatures –, mais surtout l’occasion de s’attaquer ensemble au « jitter » !

La cause du phénomène est rapidement identifiée : « Lorsque les ingénieurs de Google ont développé le Pixel 4.0 en 2019, ils ont augmenté la fréquence d’affichage de 60 Hz à 90 Hz : les données affichées sur l’écran du téléphone étaient ainsi mises à jour à un rythme 1,5 fois plus élevé que dans la version précédente, explique Mathieu Nancel. Mais dans le même temps, la fréquence d’acquisition des informations tactiles (par exemple le mouvement du pouce de l’utilisateur pour faire défiler l’écran, ou la tape d’un doigt pour sélectionner une information, etc.) est restée la même : 120 Hz. Et c’est ce changement du rapport de fréquence d’acquisition et de la fréquence d’affichage qui est responsable du ‘jitter’. »

Pour bien comprendre ce phénomène, utilisons l’illustration suivante : imaginez un enfant (l'affichage) qui marche à côté d’un adulte (la captation tactile). Les pas de l'enfant sont deux fois plus courts mais s’il marche à une fréquence deux fois plus élevée, il peut caler son pas sur celui de l’adulte. Et si tous les deux pas, l’enfant pose le pied en même temps que l’adulte, leur marche est synchrone. Mais si la fréquence de pas de l’enfant n’est pas un multiple de celle de l’adulte, leur marche perd cette synchronicité. C’est exactement ce qui se produit avec l’écran du smartphone : la fréquence d’affichage de 60 Hz permet d’être synchrone avec la fréquence d’acquisition de 120 Hz (qui est double), mais la synchronicité n’est plus possible à 90 Hz ! À chaque rafraichissement de l'écran, le système considère par défaut que la dernière position du doigt vient juste d'être captée, alors que dans le cas de figure 90Hz-120Hz elle a lieu avec un écart de temps qui varie à chaque pas.

La réalité s’avère évidemment plus complexe, mais le principe est là : la clé du problème réside dans la perte de synchronicité. Comment l’éviter ?  À l’aide d’un modèle mathématique, répondent les chercheurs. « La modélisation présente un caractère très général et c’est tout son intérêt, souligne Géry Casiez. On peut l’appliquer pour analyser le fonctionnement de systèmes existants ou pour simuler les performances de nouveaux systèmes, voire développer des solutions techniques puis analyser et démontrer leur efficacité, ce qui réduit grandement les besoins et les coûts des tests de matériel physique. » Un gain de temps et de ressources inégalables.

La modélisation proposée par Mathieu Nancel et Géry Casiez et les premières conclusions de leur étude du « jitter » sont présentées en 2020 à la prestigieuse conférence UIST (User Interface Software and Technology). Une version d’un algorithme utilisant le modèle mathématique est diffusée quelques mois plus tard dans le logiciel open source Chromium. Le travail des trois chercheurs s’avère donc remarquable tant par sa qualité que sa rapidité : de la conception initiale du modèle à son application aux produits concernés, quatre petites années – seulement – se sont écoulées !

Une aventure scientifique particulièrement enthousiasmante aux yeux des chercheurs :

Cette expérience formidable nous a apporté tout ce dont on peut rêver dans un travail de recherche : identifier un problème, développer un modèle pour le comprendre et fabriquer un outil pour y apporter une solution, se réjouit Géry Casiez.

« Nous sommes plutôt fiers de ce projet, car notre contribution illustre parfaitement la haute technicité nécessaire au développement de ces produits numériques si familiers ! », renchérit Mathieu Nancel. Et loin de se reposer sur leurs lauriers, les deux scientifiques rêvent désormais de concevoir de nouvelles applications à leurs travaux, toujours en vue d’améliorer l’expérience utilisateur.

• Géry Casiez : « Il ne devrait y avoir aucune latence dans un système tactile », Chut! 19/4/2023.
• Séminaire « Capacités humaines et systèmes interactifs » avec Géry Casiez au Collège de France (vidéo), 22/3/2022
• Un écran qui obéit vraiment au doigt et à l’œil, Inria, 22/5/2019.