Multimodal Communication in Virtual and Face-to-Face Settings: Gesture Production and Speech Disfluency

Burcu Arslan; Can Avcı; Demet Özer

Makale detayları

Multimodal Communication in Virtual and Face-to-Face Settings: Gesture Production and Speech Disfluency

Yazarlar:

Burcu Arslan | Can Avcı | Demet Özer

Yayıncı:

Istanbul University

Ana Başlıklar:

Bilişsel ve Hesaplamalı Psikoloji (Diğer)

Dergi:

Psikoloji Çalışmaları Vol.44 Issue 3, pp.349-363

Belge Tipi:

Makale

Yayın Tarihi:

12/2024

Belge Dili:

İngilizce

Document ID (Org No.):

2001340081

pISSN:

1304-4680

Anahtar kelimeler:

Özet:

 The COVID-19 pandemic has made online data collection a popular choice. It is important to evaluate how comparable online studies are to face-to-face studies, particularly in multimodal language research where modes of communication significantly impact the results. In this study, we examined individuals rates and patterns of speech disfluency and gesture use across face-to-face and online videoconferencing settings as they described their daily routines N  64. We asked whether and how multimodal language is affected across different communication settings and gesture use, particularly iconic gestures, is associated with speech fluency regardless of the context. Our results have showed that the participants overall disfluency rate was higher for the speech communicated via videoconferencing than the speech communicated face-to-face. However, the type of disfluencies changed across contexts, such that filled pauses and repairs were more common in online communication, whereas silent pauses were more common in face-to-face communication. These f indings signal an interplay between the cognitive functions of different disfluency types and communicative strategies. Results indicate that the overall gesture frequency and iconic gesture use were similar in both settings. Furthermore, the use of iconic gestures was found to negatively predict the overall disfluency rate, regardless of the setting. This finding suggests that using iconic gestures might facilitate cognitive processes, paving the way for a more fluent speech. This study demonstrates that multimodal language and communication strategies may vary across different communication settings and nuanced understanding of the differences in multimodal language between online and face-to-face communication can be gained using different contexts. The findings contribute to understanding the impact of increasingly widespread online communication on multimodal language production processes and provide foundation for future research.

 The COVID-19 pandemic has made online data collection a popular choice. It is important to evaluate how comparable online studies are to face-to-face studies, particularly in multimodal language research where modes of communication significantly impact the results. In this study, we examined individuals rates and patterns of speech disfluency and gesture use across face-to-face and online videoconferencing settings as they described their daily routines N  64. We asked whether and how multimodal language is affected across different communication settings and gesture use, particularly iconic gestures, is associated with speech fluency regardless of the context. Our results have showed that the participants overall disfluency rate was higher for the speech communicated via videoconferencing than the speech communicated face-to-face. However, the type of disfluencies changed across contexts, such that filled pauses and repairs were more common in online communication, whereas silent pauses were more common in face-to-face communication. These f indings signal an interplay between the cognitive functions of different disfluency types and communicative strategies. Results indicate that the overall gesture frequency and iconic gesture use were similar in both settings. Furthermore, the use of iconic gestures was found to negatively predict the overall disfluency rate, regardless of the setting. This finding suggests that using iconic gestures might facilitate cognitive processes, paving the way for a more fluent speech. This study demonstrates that multimodal language and communication strategies may vary across different communication settings and nuanced understanding of the differences in multimodal language between online and face-to-face communication can be gained using different contexts. The findings contribute to understanding the impact of increasingly widespread online communication on multimodal language production processes and provide foundation for future research.

 The COVID-19 pandemic has made online data collection a popular choice. It is important to evaluate how comparable online studies are to face-to-face studies, particularly in multimodal language research where modes of communication significantly impact the results. In this study, we examined individuals rates and patterns of speech disfluency and gesture use across face-to-face and online videoconferencing settings as they described their daily routines N  64. We asked whether and how multimodal language is affected across different communication settings and gesture use, particularly iconic gestures, is associated with speech fluency regardless of the context. Our results have showed that the participants overall disfluency rate was higher for the speech communicated via videoconferencing than the speech communicated face-to-face. However, the type of disfluencies changed across contexts, such that filled pauses and repairs were more common in online communication, whereas silent pauses were more common in face-to-face communication. These f indings signal an interplay between the cognitive functions of different disfluency types and communicative strategies. Results indicate that the overall gesture frequency and iconic gesture use were similar in both settings. Furthermore, the use of iconic gestures was found to negatively predict the overall disfluency rate, regardless of the setting. This finding suggests that using iconic gestures might facilitate cognitive processes, paving the way for a more fluent speech. This study demonstrates that multimodal language and communication strategies may vary across different communication settings and nuanced understanding of the differences in multimodal language between online and face-to-face communication can be gained using different contexts. The findings contribute to understanding the impact of increasingly widespread online communication on multimodal language production processes and provide foundation for future research.

 Çevrimiçi veri toplama, COVID-19 salgını nedeniyle öne çıkan bir seçenek haline gelmiştir. Çevrimiçi çalışmaların, özellikle bağlamın çok önemli bir etkiye sahip olduğu dil ve iletişim alanlarında, yüz yüze yapılan çalışmalarla ne ölçüde karşılaştırılabileceğini anlamak çok önemlidir. Bu çalışma, yüz yüze ve video konferans ortamlarında multimodal iletişimi araştırmak amacıyla, kişilerin N 64 günlük rutinlerini anlatırken kullandıkları konuşma akıcılıklarına ve sözlü dile eşlik eden jest üretimlerine odaklanmaktadır. Çalışmada, el jestlerinin ve sözlü dildeki akıcılığın farklı iletişim ortamlarında çevrim içi ve yüz yüze nasıl değiştiği ve iletişim ortamından bağımsız olarak jest kullanımının özellikle ikonik jestlerin konuşma akıcılığıyla ilişkisi araştırılmaktadır. Çalışmanın sonuçları, konuşma akışındaki bozulma oranının video konferans yoluyla iletişim kuranlarda, yüz yüze iletişim kuranlara göre daha yüksek olduğunu göstermiştir. Fakat konuşma akıcılığındaki farklı bozulma türlerinin iki ortamda farklılık gösterdiği bulunmuştur. Konuşmacıların video konferans ortamında daha fazla dolgulu duraksama ve onarım kullanırken, yüz yüze iletişim ortamında daha fazla sessiz duraksama kullandığı bulunmuştur. Bu bulgular, konuşmanın akıcılığındaki bozulmaların iletişim ortamına göre değişebileceğini ve farklı iletişim stratejileri doğurabileceğini göstermektedir. Bunun yanında, genel jest kullanımının ve özel olarak ikonik temsili jest kullanımının iki ortam arasında fark göstermediği bulunmuştur. Ayrıca, iletişim ortamından bağımsız olarak, ikonik jest kullanım sıklığının konuşma akıcılığını artırdığı bulunmuştur. Bu bulgu, özellikle ikonik jest kullanımının bilişsel süreçleri kolaylaştırarak daha akıcı bir konuşmaya zemin hazırlayabileceğini göstermektedir. Bu çalışma, multimodal dil ve iletişim stratejilerinin farklı iletişim ortamlarında değişebildiğini göstermekte ve bu anlamda bağlamın araştırılmasının önemini vurgulamaktadır. Sonuçlar, günümüzde özellikle yaygınlaşan çevrimiçi iletişimin multimodal dil üretim süreçleri üzerindeki etkilerini anlamaya katkı sağlamaktadır ve ileride yapılacak çalışmalar için önemli bir temel sunmaktadır.

Makale detayları

Multimodal Communication in Virtual and Face-to-Face Settings: Gesture Production and Speech Disfluency

Yazarlar:

Burcu Arslan | Can Avcı | Demet Özer

Yayıncı:

Istanbul University

Ana Başlıklar:

Bilişsel ve Hesaplamalı Psikoloji (Diğer)

Dergi:

Psikoloji Çalışmaları Vol.44 Issue 3, pp.349-363

Belge Tipi:

Makale

Yayın Tarihi:

12/2024

Belge Dili:

İngilizce

Document ID (Org No.):

2001340081

pISSN:

1304-4680

Gesture production

speech disfluency

virtual communication

face-to-face communicationJest kullanımı

konuşmanın akıcılığının bozulması

çevrimiçi iletişim

yüz yüze iletişim

Sayı

Makale detayları

Yazarlar: Burcu Arslan | Can Avcı | Demet Özer

Yayıncı: Istanbul University

Ana Başlıklar: Bilişsel ve Hesaplamalı Psikoloji (Diğer)

Dergi: Psikoloji Çalışmaları Vol.44 Issue 3, pp.349-363

Belge Tipi: Makale

Yayın Tarihi: 12/2024

Belge Dili: İngilizce

Document ID (Org No.): 2001340081

pISSN: 1304-4680

Sayı

Yazarlar:

Burcu Arslan | Can Avcı | Demet Özer

Yayıncı:

Istanbul University

Ana Başlıklar:

Bilişsel ve Hesaplamalı Psikoloji (Diğer)

Dergi:

Psikoloji Çalışmaları Vol.44 Issue 3, pp.349-363

Belge Tipi:

Makale

Yayın Tarihi:

12/2024

Belge Dili:

İngilizce

Document ID (Org No.):

2001340081

pISSN:

1304-4680