Dergiler / Nöropsikiyatri Arşivi / 2020 / Cilt: 57 - Sayı: 2

Towards Automaticity in Reinforcement Learning: A Model-Based Functional Magnetic Resonance Imaging Study

Pekiştirmeli Öğrenmede Otomatikleşme: Model Tabanlı Fonksiyonel Manyetik Rezonans Görüntüleme Çalışması

Sayfa
98–107
DOI
—
🏛️Bu makalenin bibliyografik verileri ve tam metin bağlantısı DergiPark üzerinden sağlanmıştır.
DergiPark Kaydı ↗
✨

Yapay Zeka Hızlı Bakış & Çıkarımlar

AI Insight
⚡ TL;DR(1 Cümlede Hızlı Çıkarım)

These findings suggest that there are two separable (early goal directed and late habitual) learning systems in the brain.

📌 3 Maddede Bu Makale

🎯
Amaç & Hipotez:Introduction: Previous studies showed that over the course of learning many neurons in the medial prefrontal cortex adapt their firing rate towards the options with highest predicted value reward but it was showed that during later learning trials the brain switches to a more automatic processing mode governed by the basal ganglia.
📊
Temel Bulgular & Veri:Methods: In this study, using a 3 Tesla functional magnetic resonance imaging scanner (fMRI), blood oxygen level dependent signal (BOLD) data was collected whilst participants (N=12) performed a reinforcement learning task.
💡
Sonuç & Katkı:These findings suggest that there are two separable (early goal directed and late habitual) learning systems in the brain.
🔬Tür:Modelleme & Sayısal Simülasyon
📍Kapsam:Genişletilmiş Akademik Örneklem
⚙️Değişkenler:Alan Parametreleri

Özet

Introduction: Previous studies showed that over the course of learning many neurons in the medial prefrontal cortex adapt their firing rate towards the options with highest predicted value reward but it was showed that during later learning trials the brain switches to a more automatic processing mode governed by the basal ganglia. Based on this evidence, we hypothesized that during the early learning trials the predicted values of chosen options will be coded by a goal directed system in the medial frontal cortex but during the late trials the predicted values will be coded by the habitual learning system in the dorsal striatum. Methods: In this study, using a 3 Tesla functional magnetic resonance imaging scanner (fMRI), blood oxygen level dependent signal (BOLD) data was collected whilst participants (N=12) performed a reinforcement learning task. The task consisted of instrumental conditioning trials wherein each trial a participant choose one of the two available options in order to win or avoid losing money. In addition to that, depending on the experimental condition, participants received either monetary reward (gain money), monetary penalty (lose money) or neural outcome. Results: Using model-based analysis for functional magnetic resonance imaging (fMRI) event related designs; region of interest (ROI) analysis was performed to nucleus accumbens, medial frontal cortex, caudate nucleus, putamen and globus pallidus internal and external segments. In order to compare the difference in brain activity for early (goal directed) versus late learning (habitual, automatic) trials, separate ROI analyses were performed for each anatomical sub-region. For the reward condition, we found significant activity in the medial frontal cortex (p<0.05) only for early learning trials but activity is shifted to bilateral putamen (p<0.05) during later trials. However, for the loss condition no significant activity was found for early trials except globus pallidus internal segment showed a significant activity (p<0.05) for later trials. Conclusion: We found that during reinforcement learning activation in the brain shifted from the medial frontal regions to dorsal regions of the striatum. These findings suggest that there are two separable (early goal directed and late habitual) learning systems in the brain.

Abstract

Amaç: Önceki çalışmalar, medyal prefrontal kortekste bulunan birçok nöronun öğrenme süreci boyunca ateşlemelerini tahmin edilen en yüksek değere sahip olan ödüle yönelik yaptığını, ancak daha sonraki denemeler sırasında ateşlemelerini azaltıp, striatum tarafından kontrol edilen daha otomatik bir bilgi işleme tarzına geçtiğini göstermiştir. Mevcut araştırmada önceki kanıtlara dayanarak, öğrenmenin erken dönemlerinde yapılan seçimler için önce öngörülen ödül değerinin medyal frontal korteks tarafından yürütülen hedefe yönelik bir sistem tarafından kodlandığını, fakat ilerleyen denemelerde öngörülen değerin striatum tarafından temsil edildiği hipotezinde bulunulmuştur. Yöntem: Bu çalışmada, 12 katılımcıdan her biri bir pekiştirmeli öğrenme görevi gerçekleştirirken fonksiyonel manyetik rezonans görüntüsü (fMRG) verisi toplanmıştır. Bu görev, bir katılımcının para kaybetmek veya kazanmaktan kaçınmak için mevcut iki seçenekten birini seçtiği denemelerden oluşmuştur. Buna ek olarak, katılımcılara her bir seçimden sonra para ödülü (para kazanma), para cezası (para kaybetme) veya nötr geri bildirim verilmiştir. Bulgular: Olayla ilgili fonksiyonel manyetik resonans görüntülüme (fMRG) verileri model tabanlı analiz kullanılarak, olayla ilgili bölgeler olan medyal frontal korteks, kaudat çekirdeği, putamen ve globus pallidus iç ve dış segmentlerine yapılmıştır. Beyin aktivitesindeki farklılığın erken (hedefe yönelik) ve geç öğrenme (alışılmış, otomatik) ile karşılaştırılması amacıyla her anatomik alt bölge için ayrı birer ilgili bölge istatistiksel analizi yapılmıştır. Ödül koşulu için, sadece erken öğrenme denemelerinde medyal frontal kortekste anlamlı aktivite bulunmuş (p<0,05), ancak daha sonra bu aktivite iki taraflı putamenlere doğru kaydığı gözlenmiştir (p<0,05). Kayıp durumunda ise erken dönem öğrenme denemeleri için anlamlı bir aktivite bulunmamıştır, ancak öğrenme deneyiminin ileri safhalarında globus pallidus iç segmentinde anlamlı bir aktivite görülmüştür (p<0,05). Sonuç: Olayla ilişkili fMRG tasarımı için modele dayalı analizi kullanarak oluşan aktivasyonun öğrenme süresince medyal frontal korteksten dorsal striatuma kaydığı gözlenmiştir. Bu bulgular, erken öğrenme dönemi ve daha sonraki alışkanlık dönemi için iki ayrılabilir sistem olduğunu göstermektedir.

🔖

Bu Makaleye Atıf Yap

ERDENİZ, B., DONE, J. (2020). Towards Automaticity in Reinforcement Learning: A Model-Based Functional Magnetic Resonance Imaging Study. Nöropsikiyatri Arşivi, Cilt: 57 - Sayı: 2, 98–107. https://ajindex.com/articles/292788

📄 Tam Metin PDF Okuyucu

📄

PDF görüntüleyici hazırlanıyor...

Kaynakça (2)

  1. Schultz W, Dickinson A. Neuronal coding of prediction errors. Annu Rev Neurosci 2000;23:473–500. [CrossRef] 2. Schultz W. Predictive reward signal of dopamine neurons. J Neurophysiol 1998;80:1–27. [CrossRef] 3. Bromberg-Martin ES, Matsumoto M, Hikosaka O. Dopamine in motivational control: rewarding, aversive, and alerting. Neuron 2010;68:815–834. [CrossRef] 4. Sutton RS, Barto AG. Reinforcement learning: An introduction 1998
  2. Cambridge, MA. MIT Press. [CrossRef] 5. O’Doherty J, Dayan P, Friston KJ, Critchley HD, Dolan RJ. Temporal difference models and reward-related learning in the human brain. Neuron 2003 38:329–337. [CrossRef] 6. Schultz W, Tremblay L, Hollerman JR. Changes in behavior-related neuronal activity in the striatum during learning. Trends Neurosci 2003;26:321–328. [CrossRef] 7. Niv Y, Schoenbaum G. Dialogues on prediction errors. Trends Cogn Sci 2008;12:265–272. [CrossRef] 8. O’Doherty JP. Contributions of the ventromedial prefrontal cortex to goaldirected action selection. Ann N Y Acad Sci 2011;1239:118–129. [CrossRef] 9. Morita K, Morishima M, Sakai K, Kawaguchi Y. Reinforcement learning: computing the temporal difference of values via distinct corticostriatal pathways. Trends Neurosci 2012;35:457–467. [CrossRef] 10. Kawagoe R, Takikawa Y, Hikosaka O. Expectation of reward modulates cognitive signals in the basal ganglia. Nat Neurosci 1998;1:411–416. [CrossRef] 11. Hassani OK, Cromwell HC, Schultz W. Influence of expectation of different rewards on behavior-related neuronal activity in the striatum. J Neurophysiol 2001;85:2477–2489. [CrossRef] 12. Hélie S, Cousineau D, The cognitive neuroscience of automaticity: Behavioral and brain signatures. Cog Sci 2011;6:25–43. [CrossRef] 13. Poldrack RA, Sabb FW, Foerde K, Tom SM, Asarnow, RF, Bookheimer, SY, Knowlton, BJ. The neural correlates of motor skill automaticity. J Neurosci 2005;25:5356–5364. [CrossRef] 14. Garrison J, Erdeniz B, Done J. Prediction error in reinforcement learning: a meta-analysis of neuroimaging studies. Neurosci Biobehav Rev 2013;37:1297–1310. [CrossRef] 15. Erdeniz B, Rohe T, Done J, Seidler R. A simple solution for model comparison in bold imaging: the special case of reward prediction error and reward outcomes. Front Neurosci 2013;7:116. [CrossRef] 16. Erdeniz B, Done J. Neural correlates of opponent processes for financial gains and losses. Neurol Sci Neurophysiol 2019;36:69–77. [CrossRef] 17. Erdeniz B, Done, J. Common and Distinct Functional Brain Networks for Intu