Examining the Effects of Audiovisual Associations on Motion Perception through Task-based fMRI

Examining the effects of audiovisual associations on motion perception through task-based fMRI Objective: Previous studies showed that associative learning can lead to drastic changes in perceptual experience and unexpected levels of sensory plasticity in the adult brain. However, how associative learning is involved in shaping perception and the underlying neural mechanisms are quite poorly understood. In the current study, by taking advantage of well-studied visual motion-processing hierarchy, the roles of different brain areas in audiovisual association-induced changes in motion perception are investigated. Method: Using a previously developed audiovisual associative paradigm, behavioral and Blood Oxygen Level Dependent (BOLD) data were collected from adult human participants (n=13) before and after the association phase. Behavioral data were collected through reports on visual motion direction. Functional magnetic resonance imaging (fMRI) was based on block design and the functional data were analyzed according to a general linear model. Results: Audiovisual associations, acquired within a short time and without any feedback, significantly affected the perception of motion direction. This effect was much more salient when the physical direction of visual motion was ambiguous. Moreover, fMRI findings pointed out that the BOLD activities across different cortical regions changed after the associative phase. Conclusion: Taken together, these findings indicate that low-level sensory, multisensory and high-level cognitive areas play a role in the effects of audiovisual associations on motion perception. In general, this suggests that our prior experiences acquired through associations may affect perceptual processing at different hierarchical levels and over different cortical areas.

İşitsel-görsel çağrışımların hareket algısı üzerine etkilerinin görev temelli fMRG ile incelenmesi

Amaç: Daha önce gerçekleştirilen çalışmalar yetişkin bireylerde çağrışımsal öğrenmenin algısal deneyimler üstünde beklenmeyen önemli etkilerine ve bu etkilere dayalı duyusal değişimlere işaret etmektedir. Fakat, çağrışımların algıyı şekillendirmede nasıl rol aldığı ve bu etkilerin temelindeki sinirsel mekanizmalar hakkında çok kısıtlı bilgi mevcuttur. Bu çalışmada, üzerinde çok çalışılmış hareket işleme hiyerarşisinden faydalanılarak, farklı beyin bölgelerinin işitsel-görsel çağrışımlarla tetiklenen hareket algısı değişimlerindeki rolleri araştırılmıştır. Yöntem: Daha önce geliştirilmiş bir işitsel-görsel çağrışımsal paradigma kullanılarak, çağrışımsal faz öncesi ve sonrasında davranışsal ve Blood Oxygen Level Dependent (BOLD) verileri yetişkin insan katılımcılardan (n=13) toplanmıştır. Davranışsal veriler görsel hareket yönüne ve algısına dayalı olarak toplanmıştır. Fonksiyonel manyetik rezonans görüntüleme (fMRG) blok dizayna dayalı olup, analizler genel lineer modele göre gerçekleştirilmiştir. Bulgular: Hiçbir geri bildirim olmadan kısa zamanda elde edilen öğrenme fazlarıyla kazanılmış işitsel-görsel çağrışımlar hareket yönü algısını önemli ölçüde değiştirmiştir. Bu etki görsel bilginin muğlak olduğu durumlarda çok daha fazladır. Ek olarak, fMRG bulguları, çok çeşitli ve farklı kortikal bölgelerdeki BOLD aktivitesinin çağrışımsal faz sonrasında değiştiğine işaret etmektedir. Sonuç: Elde edilen tüm veriler düşünüldüğünde, bu çalışmada hem erken seviye duyusal hem de ileri seviye çoklu-duyusal ve bilişsel alanların işitsel-görsel çağrışımların hareket algısına etkilerinde rolü olduğu gösterilmiştir. Genel olarak, bu durum bize çağrışımlar yoluyla elde ettiğimiz tecrübelerin algısal işlemleri farklı hiyerarşik seviyelerde ve kortikal alanlarda etkileyebileceğini önermektedir.

PDF

___

Albright TD. On the perception of probable things: neural substrates of associative memory, imagery, and perception. Neuron 2012; 74:227-245. [CrossRef]

Hebb DO. The Organization of Behavior: A Neuropsychological Theory. New York: Wiley, 1949.

James W. Principles of Psychology. New York: Henry Holt, 1890.

Konorski J. Integrative Activity of the Brain: An Interdisciplinary Approach. Chicago: University of Chicago Press, 1967.

Schlack A, Albright TD. Remembering visual motion: neural correlates of associative plasticity and motion recall in cortical area MT. Neuron 2007; 53:881-890. [CrossRef]

Schlack A, Vivian V, Albright TD. Altering motion perception by motion – colour pairing. Perception 2007; 36(Suppl.1):52.

Shams L, Wozny DR, Kim R, Seitz A. Influences of multisensory experience on subsequent unisensory processing. Front Psychol 2011; 2:264. [CrossRef]

Hidaka S, Teramoto W, Kobayashi M, Sugita Y. Soundcontingent visual motion aftereffect. BMC Neuroscience 2011; 12:44. [CrossRef]

Teramoto W, Hidaka S, Sugita Y. Sounds move a static visual object. PLoS One 2010; 5:e12255. [CrossRef]

Brainard DH. The psychophysics toolbox. Spat Vis 1997; 10:433-436. [CrossRef]

Pelli DG. The video toolbox software for visual psychophysics: transforming numbers into movies. Spat Vis 1997; 10:437-442. [CrossRef]

Kafaligonul H, Oluk C. Altering perception of low-level visual motion by audiovisual associations. Perception 2014; 43(Suppl.):36.

Kafaligonul H, Oluk C. Audiovisual associations alter the perception of low-level visual motion. Front Integr Neurosci 2015; 9:26. [CrossRef]

Britten KH, Shadlen MN, Newsome WT, Movshon JA. The analysis of visual motion: a comparison of neuronal and psychophysical performance. J Neurosci 1992; 12:4745-4765. [CrossRef]

Jenkinson M, Beckmann CF, Behrens TE, Woolrich MW, Smith SM. FSL. Neuroimage 2012; 62:782-790. [CrossRef]

Smith SM, Jenkinson M, Woolrich MW, Beckmann CF, Behrens TE, Johansen-Berg H, Bannister PR, De Luca M, Drobnjak I, Flitney DE, Niazy RK, Saunders J, Vickers J, Zhang Y, De Stefano N, Brady JM, Matthews PM. Advances in functional and structural MR image analysis and implementation as FSL. Neuroimage 2004; 23(Suppl.1):208-219. [CrossRef]

Woolrich MW, Jbabdi S, Patenaude B, Chappell M, Makni S, Behrens T, Beckmann C, Jenkinson M, Smith SM. Bayesian analysis of neuroimaging data in FSL. Neuroimage 2009; 45(Suppl.1):173-186. [CrossRef]

Smith SM. Fast robust automated brain extraction. Hum Brain Mapp 2002; 17:143-155. [CrossRef]

Jenkinson M, Bannister P, Brady M, Smith S. Improved optimization for the robust and accurate linear registration and motion correction of brain images. Neuroimage 2002; 17:825- 841. [CrossRef]

Jenkinson M, Smith S. A global optimisation method for robust affine registration of brain images. Med Image Anal 2001; 5:143- 156. [CrossRef]

Worsley KJ. Statistical Analysis of Activation Images: In Jezzard P, Matthews PM, Smith SM (editors). Functional Magnetic Resonance Imaging: An Introduction to Methods. Oxford: Oxford University Press, 2001, 251-270. [CrossRef]

Claeys KG, Lindsey DT, De Schutter E, Orban GA. A higher order motion region in human inferior parietal lobule: evidence from fMRI. Neuron 2003; 40:631-642. [CrossRef]

Ho CS, Giaschi DE. Low- and high-level first-order random-dot kinematograms: evidence from fMRI. Vision Res 2009; 49:1814- 1824. [CrossRef]

Fitzgerald JK, Freedman DJ, Assad JA. Generalized associative representations in parietal cortex. Nat Neurosci 2011; 14:1075- 1079. [CrossRef]

Cappe C, Barone P. Heteromodal connections supporting multisensory integration at low levels of cortical processing in the monkey. Eur J Neurosci 2005; 22:2886-2902. [CrossRef]

Clavagnier S, Falchier A, Kennedy H. Long-distance feedback projections to area V1: implications for multisensory integration, spatial awareness, and visual consciousness. Cogn Affect Behav Neurosci 2004; 4:117-126. [CrossRef]

Falchier A, Clavagnier S, Barone P, Kennedy H. Anatomical evidence of multimodal integration in primate striate cortex. J Neurosci 2002; 22:5749-5759. [CrossRef]

Yildirim FZ. Changes in FMRI resting state networks due to audiovisual association induced effects on visual motion perception. Master’s Thesis, Bilkent University, Ankara, 2016.

Petro LS, Vizioli L, Muckli L. Contributions of cortical feedback to sensory processing in primary visual cortex. Front Psychol 2014; 5:1223. [CrossRef]

Petro LS, Paton AT, Muckli L. Contextual modulation of primary visual cortex by auditory signals. Philos Trans R Soc Lond B Biol Sci 2017; 372:20160104. [CrossRef]

Petro LS, Muckli L. The brain’s predictive prowess revealed in primary visual cortex. Proc Natl Acad Sci U S A 2016; 113:1124- 1125. [CrossRef]