Effects of Social Touch on the Perception of a Pedagogical Agent in Immersive Virtual Reality

(French below)

Effects of Social Touch on the Perception of a Pedagogical Agent in Immersive Virtual Reality

Selyan Quesnot

https://youtu.be/gT3yHcmkORA

ABSTRACT

Social touch is a key element in human interaction, fostering closeness, trust, and prosocial behavior. This study explores the effect of social touch (in the form of a haptic handshake) on the user's perception of an educational agent in virtual reality. Participants, equipped with a VR headset, a haptic glove with tactile feedback, and a motion controller, were divided into two groups: one group was greeted by the agent with a physical handshake, the other with a verbal greeting only. The agent then assisted the participants with a construction task requiring interaction. We evaluate the effect of social touch on perceptions of the agent’s friendliness, competence, and helpfulness, as well as on the frequency and nature of interactions.

Keywords: Social Touch, Immersive Virtual Environment, Pedagogical Agent.

1. INTRODUCTION

Social touch is a fundamental aspect of nonverbal communication. Even a simple handshake can influence interpersonal perception, increasing trust, likability, and cooperation. These effects (often referred to as the Midas touch) have been observed in various settings, from commerce to education [1], [2]. Cultural metaphors like "a warm person" reflect the implicit link between physical warmth and emotional warmth.

The rise of immersive virtual reality and haptic devices now enables the reproduction of such social interactions in digital environments. Recent studies have shown that adding haptic feedback to a virtual agent, particularly via a handshake, improves first impressions and reduces perceived interpersonal distance [3].

It has also been demonstrated that social touch can evoke varied emotional responses similar to those in the real world [4], [5], and can humanize a virtual avatar [3]. This study investigates whether social touch can also enhance interactions between a pedagogical agent and the user.

2. METHODOLOGY

2.1 Participants

The study will include right-handed participants, randomly divided into two experimental groups: a "Social Touch" group greeted by the agent with a haptic handshake, and a "Control" group greeted only verbally.

2.2 Equipment

VR Headset: Oculus Quest 3, with left controller for locomotion

Haptic Glove: TouchDIVER (WEART) on the right hand

Virtual Environment (Unity): includes a welcome room, test room, task room, and questionnaire room

Pedagogical Agent: animated using Mixamo; reacts to user voice, can respond, move, point to objects, and has limited environmental awareness to provide contextual advice

2.3 Procedure

The agent welcomes the user in VR. The "Social Touch" group experiences a handshake via the haptic glove; the "Control" group receives only a verbal greeting.
The agent explains its role and the upcoming task.
Free test room: The user explores the glove’s capabilities and the agent’s responses to satisfy technical curiosity and avoid biasing the main experience.
When ready, the user is guided to the main experience room.
Main task: Assemble a machine using vaguely described instructions based on object shapes. The correct components are scattered among similar items. A minimal level of interaction with the agent is required to succeed.
Upon completion, the user proceeds to a final room to complete a questionnaire using a 5-point Likert scale.

3. HYPOTHESES

H1: Social touch improves perception of the agent.

• H1a: The agent is perceived as more friendly.

• H1b: The agent is perceived as more competent and helpful.

• H2: Social touch increases interaction.

• H2a: The user speaks more often to the agent.

• H2b: Interactions last longer.

• H2c: The user solicits the agent more (questions, movement, pointing).

• H2d: The user interacts earlier and more consistently throughout the experience.

4. DATA COLLECTED

Total task duration per participant
Total number of user-initiated interactions
Average interaction duration
Breakdown of interaction types:
- Questions asked
- Requests for movement
- Requests for pointing
Temporal distribution of interactions:
- Frequency per time segment after task start
- Frequency per time segment as a % of total task time

Post-task Questionnaire (rated 1–5):

• The assembly task was easy

• The environment was immersive

• The agent was friendly

• The agent was competent

• The agent helped me complete the task

• The agent encouraged me to interact

• The agent motivated me

Questionnaire inspired and adapted from the Likert scale in the study "Pedagogical Agents as Team Members: Impact of Proactive and Pedagogical Behavior on the User" [6]

5. PRELIMINARY RESULTS

Initial results show a significant difference in the time taken to complete the task between the two groups. On average, participants in the "Social Touch" group completed the task faster than those in the control group.

This time difference appears to be primarily due to earlier engagement with the agent by participants in the "Social Touch" group. These participants initiated conversations or asked for help sooner after the task began compared to the control group. However, once interaction began, the average duration and number of interactions were similar across both groups.

Regarding the post-task questionnaire, scores were generally similar between the groups. However, a notable difference emerged on the item "The agent encouraged me to interact", where the control group gave a higher rating. This might be explained by the fact that these participants waited longer to interact, prompting the agent to take more initiative, which created a perception of greater proactivity.

6. CONCLUSION

This initial study highlights the impact of haptic social touch in educational virtual reality environments. A simple simulated handshake at the start of an interaction can prompt faster engagement. However, users did not perceive the agent as more friendly or more competent compared to the control group.

Although subjective evaluations of the agent were similar across groups, the timing of interactions reveals subtle but meaningful effects of social touch in the design of pedagogical agents. These results support integrating haptic devices in immersive environments to improve interaction flow and encourage user engagement from the very first moments of an educational experience.

Further analysis with a larger sample is needed to confirm these effects and explore other dimensions, such as emotional response, memory retention, or overall satisfaction.

7. REFERENCES

[1] P. J. Stamatis, « Comunicación no verbal en las interacciones de aula: una perspectiva pedagógica sobre el contacto físico », Electron. J. Res. Educ. Psychol., vol. 9, no 3, p. 1427‑1442, 2011.

[2] S. El Hakim et D. Farsani, « From contact to connection: a comprehensive examination of affective touch in educational settings », Front. Psychol., vol. 15, p. 1230796, 2024.

[3] B. Biancardi, M. Barange, M. Vigilant, P.-L. Lefour, et L. Chaby, « Warming the Ice: The Role of Social Touch and Physical Warmth on First Impressions in Virtual Reality », in 2025 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW), IEEE, 2025, p. 1396‑1397.

[4] P. Sykownik et M. Masuch, « The experience of social touch in multi-user virtual reality », in Proceedings of the 26th ACM Symposium on Virtual Reality Software and Technology, 2020, p. 1‑11.

[5] V. Smekal et al., « Influence of haptic feedback on perception of threat and peripersonal space in social VR », IEEE Trans. Vis. Comput. Graph., 2025.

[6] M. Barange, J. Saunier, et A. Pauchet, « Pedagogical agents as team members: Impact of proactive and pedagogical behavior on the user », in Proceedings of the 16th Conference on Autonomous Agents and MultiAgent Systems, 2017, p. 791‑800.

[7] A.-S. Milcent, A. Kadri, E. Geslin, et S. RICHIR, « Les humains virtuels expressifs dans les simulateurs en santé », 2019.

[8] M. Hoppe, B. Rossmy, D. P. Neumann, S. Streuber, A. Schmidt, et T.-K. Machulla, « A human touch: Social touch increases the perceived human-likeness of agents in virtual reality », in Proceedings of the 2020 CHI conference on human factors in computing systems, 2020, p. 1‑11.

[9] P. G. Samudra, I. Min, K. S. Cortina, et K. F. Miller, « No second chance to make a first impression: The "thin-slice" effect on instructor ratings and learning outcomes in higher education », J. Educ. Meas., vol. 53, no 3, p. 313‑331, 2016.

[10] P. C. Medrano, J.-P. Jessel, et C. Sanza, « Simulation Comportementale dans les Environnements Virtuels », 2012.

Effets du toucher social sur la perception d’un agent pédagogique en réalité virtuelle immersive

Selyan Quesnot

https://youtu.be/gT3yHcmkORA

ABSTRACT

Le toucher social est un élément clé de l'interaction humaine, favorisant la proximité, la confiance et les comportements prosociaux. Cette étude explore l'effet du toucher social (sous la forme d'une poignée de main haptique), sur la perception que l’utilisateur a d'un agent éducatif en réalité virtuelle. Les participants, équipés d'un casque de réalité virtuelle, d'un gant haptique avec retour tactile et d'un contrôleur de mouvement, sont divisés en deux groupes : l'un est accueilli par l'agent par une poignée de main physique, l'autre uniquement par une salutation verbale. L'agent aide ensuite les participants dans une tâche de construction nécessitant des interactions. Nous évaluons l'effet du toucher social sur la perception de la convivialité, de la compétence et de l'utilité de l'agent, ainsi que sur la fréquence et la nature des interactions.

Mots clefs : Toucher Social, Environnement virtuel immersif, agent pédagogique.

1. INTRODUCTION

Le toucher social est un élément fondamental de la communication non verbale. Même une simple poignée de main peut induire des effets sur la perception interpersonnelle, comme l'augmentation de la confiance, de la sympathie et de la coopération. Ces effets (souvent décrits comme le Midas touch) ont été observés dans divers contextes, du commerce à l’éducation [1], [2]. Les métaphores culturelles comme “une personne chaleureuse” soulignent ce lien implicite entre chaleur physique et chaleur humaine.

L’émergence de la réalité virtuelle immersive et des dispositifs haptiques permet aujourd’hui de reproduire ces interactions sociales dans des environnements numériques. Des travaux récents ont montré que l’ajout d’un retour haptique à un agent virtuel, notamment via une poignée de main, améliore la première impression et réduit la distance interpersonnelle perçue [3].

Il a déjà été démontré que le toucher social peut évoquer des réactions émotionnelles variées, similaires au monde réel [4], [5] et qu’il peut humaniser un avatar virtuel [3]. Nous cherchons ici si le toucher social peut aussi favoriser les interactions entre l’agent pédagogique et l’utilisateur.

2. METHODOLOGY

2.1 Participants

L’étude inclura des participants droitiers, répartis aléatoirement en deux groupes expérimentaux. Un premier groupe « Toucher Social », accueilli par l’agent avec une poignée de main haptique. Et un groupe « contrôle » qui sera salué verbalement uniquement.

2.2 Matériel

Casque de Réalité Virtuelle (VR) Oculus Quest 3, avec manette gauche pour la locomotion.

Gant haptique à retour tactile TouchDIVER (WEART) sur la main droite.

Environnement virtuel Unity : salle d’accueil, salle de test, salle de tâche, salle de questionnaire.

Agent pédagogique virtuel : avec des animations provenant de Mixamo. Réagit à la voix de l’utilisateur. Peut répondre, se déplacer, pointer des objets. Capacité de conscience limitée de l’environnement pour donner des conseils adaptés.

2.3 Procédure

Accueil en VR par l’agent. Le groupe "Toucher Social" ressent une poignée de main via le gant haptique ; le groupe "Contrôle" reçoit seulement une salutation verbale.
L’agent explique son rôle et la tâche à venir.
Salle de test libre : l’utilisateur explore les capacités du gant et les réponses de l’agent, afin de satisfaire sa curiosité technique pour qu’elle ne vienne par biaiser l’expérience.
L’utilisateur signale quand il est prêt puis est guidé par l’agent vers la salle d’expérience.
Tâche principale : assembler une machine en suivant des instructions vagues basées sur la forme des pièces. L’utilisateur doit retrouver les bons éléments dispersés parmi d'autres objets similaires. Une interaction minimale avec l'agent est nécessaire pour réussir.
Une fois la tâche complétée, l’utilisateur se rend dans une dernière salle où il répond à un questionnaire utilisant l’échelle Likert (1 à 5).

3. HYPOTHESES

H1 : Le toucher social améliore la perception de l’agent.

• H1a : L’agent est perçu comme plus amical.

• H1b : L’agent est perçu comme plus compétent et utile.

• H2a : L’utilisateur parle plus souvent à l’agent.

• H2b : Les interactions durent plus longtemps.

• H2c : L’utilisateur sollicite davantage l’agent (questions, déplacements, désignations).

• H2d : L’utilisateur interagit plus tôt et de manière plus constante durant l’expérience.

4. MESURES COLLECTÉES

Durée totale de la tâche par participant
Nombre total d’interactions (déclenchées par l’utilisateur)
Durée moyenne des interactions
Répartition des types d’interactions :
- Questions posées
- Demandes de déplacement
- Demandes de désignation
Distribution temporelle des interactions (Fréquence par tranche de temps après le début de l’expérience ET fréquence par tranche de temps en % de temps durant l’expérience)

Questionnaire post-tâche (sur 5) :

• Le montage était facile

• L’environnement était immersif

• L’agent était amical

• L’agent était compétent

• L’agent m’a aidé à réaliser la tâche

• L’agent m’encourage à interagir

• Grâce à l’agent, j’étais plus motivé

Questionnaire inspiré et adapté du questionnaire Likert de l’étude « Pedagogical Agents as Team Members: impact of Proactive and Pedagogical Behavior on the User » [6].

5. RÉSULTATS PROVISOIRS

Les premiers résultats montrent une différence significative de la durée totale nécessaire pour réaliser la tâche entre les deux groupes. En moyenne, les participants du groupe « Toucher Social » ont mis moins de temps à compléter la tâche que ceux du groupe contrôle.

Cette différence de durée semble principalement s’expliquer par un démarrage plus précoce des interactions avec l’agent chez les participants du groupe « Toucher Social ». En effet, ceux-ci ont engagé une conversation ou demandé de l’aide plus rapidement après le début de la tâche que ceux du groupe contrôle. Cependant, une fois les premières interactions amorcées, les durées moyennes des interactions ainsi que le nombre total d’interactions sont restées similaires entre les deux groupes.

Concernant le questionnaire post-tâche, les scores sont globalement comparables entre les deux groupes. Cependant, une différence notable émerge sur l’item « L’agent m’encourage à interagir », où le groupe contrôle a attribué une meilleure note. Cette différence pourrait s’expliquer par le fait qu’ils attendent plus longtemps avant d’interagir, ce qui déclenche plus souvent des initiatives de l’agent pour les inciter à communiquer, créant une perception plus proactive de l’agent dans ce contexte.

6. CONCLUSION

Cette première étude met en lumière l’impact du toucher social haptique dans les environnements de réalité virtuelle éducative. Une simple poignée de main simulée au début de l’interaction rend l’engagement plus rapide. Cependant les utilisateurs ne rapportent pas avoir perçu l’agent comme plus amicale ou plus compétent que le groupe contrôle.

Bien que les évaluations subjectives de l’agent restent comparables entre les groupes, la différence de temporalité des interactions souligne des effets subtils mais significatifs du toucher social dans la conception d’agents pédagogiques. Ces résultats encouragent l’intégration de dispositifs haptiques dans les environnements immersifs pour renforcer la fluidité des interactions et favoriser l’engagement utilisateur dès les premières secondes d’une expérience éducative. Des analyses plus approfondies avec un échantillon élargi sont nécessaires pour confirmer ces effets et explorer d’autres dimensions comme l’émotion ressentie, la mémorisation ou la satisfaction globale.

7. RÉFÉRENCES