Un écran qui obéit vraiment au doigt et à l’œil

Pourquoi un objet qui se déplace sur un écran tactile ne suit-il pas fidèlement le doigt qui le guide ? Pour trois raisons au moins. D’abord, le mouvement exact du doigt n’est pas reproduit à l’identique sur l’écran, par exemple quand on sélectionne un objet. Et pour les tâches de défilement, on fait intervenir des fonctions mathématiques complexes, baptisées "fonctions de transfert".

Moins de retards, mais des effets secondaires

Ensuite, le signal d’entrée du doigt transite par la surface tactile, le système d’exploitation, la carte graphique, l’écran… Il en découle un retard, une "latence", qui se chiffre en dizaines de millisecondes (ms). Or, l’utilisateur commence à percevoir cette latence à partir de 10 ms, voire moins !

Enfin, les concepteurs développent des algorithmes dits de "compensation de latence" pour réduire ce décalage, qui peut affecter les performances des utilisateurs. Ces algorithmes sont efficaces, mais au prix d’effets secondaires qui s’aggravent avec l’intensité de la compensation : par exemple l’objet déplacé prend du retard, tremble, sautille, fait du yo-yo, va trop vite, se trompe de direction…

On peut donc compenser la latence en partie, mais pas en totalité. En engageant en 2014 le projet de l'Agence nationale de la recherche ANR TurboTouch, les chercheurs d’Inria épaulés par une équipe marseillaise se sont attaqués à la fois aux "fonctions de transfert" et à la compensation de la latence. Leur principal fait d’armes, cinq ans plus tard ? Un algorithme de compensation de latence innovant qui intéresse déjà un célèbre éditeur de logiciels.

Trois équipes ont collaboré sur ce projet : Loki (Inria), spécialiste en interaction humain-machine ou IHM ; Valse (Inria), spécialiste en automatique et traitement du signal ; et l’Institut des Sciences du mouvement (Université Aix-Marseille – CNRS).

« Nous disposions ainsi d’expertises en mathématiques, en IHM, et sur le corps humain en mouvement », précise Géry Casiez, de Loki. 

Les complémentarités étaient fortes et il a fallu connecter des cultures différentes. Un mathématicien valide un algorithme avec un outil de simulation numérique comme Matlab. Pour un spécialiste en IHM, c’est l’utilisateur qui a toujours raison !

À l’heure du bilan, Géry Casiez évoque plusieurs avancées significatives. Ainsi, pour les fonctions de transfert, le projet a donné naissance à un mode de défilement d’écran qui utilise la force appliquée sur l’écran. Il est d’ores et déjà disponible.

Mesurer la latence, premier pas pour la réduire

Pour le pointage d’objets, les mathématiciens de Valse ont développé un modèle dynamique qui décrit l’ensemble de la tâche : « jusqu’ici, pour rendre un pointage plus efficace, on créait sa fonction transfert à l’aveugle et on l’évaluait par rapport à d’autres, explique Denis Efimov, de Valse. Avec notre modèle, il devient possible d’optimiser pas à pas chaque étape de la tâche. » 

Pour la latence, où l’enjeu est de bien doser compensation et effets secondaires, les chercheurs manquaient d’outils de mesure simples et précis. Ils les ont donc créés. Ils ont inventé par exemple un dispositif qui chronomètre la latence à partir d’un capteur de vibrations placé sur le doigt et d’une photodiode qui détecte la réponse de l’écran. « Nous pouvons ainsi faire des mesures en continu pendant qu’un utilisateur interagit avec l’écran », précise Géry Casiez. 

Autre avancée, des outils logiciels de détection et de comptage des effets secondaires. Les chercheurs savent ainsi s’il s’agit de sauts, de tremblements, d’erreurs de trajectoire, etc. Ils peuvent comparer ces mesures au ressenti des utilisateurs : si un algorithme de compensation de latence provoque un effet secondaire fréquent mais peu gênant, il est exploitable.

L’algorithme TurboTouch, une fusée à trois étages

Mais ce qu’on retiendra surtout de TurboTouch, c’est ce nouvel algorithme de compensation de latence qui permet de la réduire de 32 jusqu'à même 48 ms sans que l’utilisateur perçoive des effets secondaires gênants. Par comparaison, les outils existants ne dépassent pas 10 et 15 ms de réduction ! Ces algorithmes recourent tous au même principe : prédire à partir des mouvements du doigt la suite de sa trajectoire, afin de réaliser avec précision la tâche en cours ; par exemple, positionner au bon endroit l’objet qu’on déplace. Mais pour affiner sa prédiction, l’algorithme TurboTouch combine trois techniques. 

La première consiste à estimer non seulement la vitesse et l’accélération du doigt, mais aussi ses à-coups (soit les dérivées première, deuxième et troisième du mouvement). Puis l’algorithme ajuste cette prédiction en fonction de la vitesse du doigt : si le déplacement est lent, inutile de trop pousser le calcul car la position réelle de l’objet déplacé est facile à prédire.

Un filtre développé par Loki en 2012 termine le travail en estompant ses tremblements. « La plupart des algorithmes de compensation de latence calculent des écarts entre les positions successives du doigt et de l’objet déplacé , explique Rosane Ushirobira, de l’équipe Valse. Le nôtre ne prend en compte que les positions à l’instant t, d’où sa simplicité, mais pousse jusqu’à la dérivée troisième, d’où sa précision.  » Enfin, l’algorithme boucle ses calculs en quelques microsecondes, soit mille fois plus vite que les millisecondes de latence qu’il doit compenser : il aura toujours une bonne longueur d’avance.