как человеческий мозг распознает речь
LiveInternetLiveInternet
—Метки
—Рубрики
—Ссылки
—Цитатник
Альфа в гробнице фараона? Считается, что наиболее известная египетская пирамида б.
Арина: поздравляю нашего Админа с рунного форума с восхождением! Сама гора (вулкан) оказыва.
Геометрическое выражение сознания. Геометрическое выражение сознания. Пе.
Учение о реинкарнации. Арийская версия (книга) Сегодня у писателя Константина Михайлова.
—Новости
—Музыка
—Всегда под рукой
—Подписка по e-mail
—Поиск по дневнику
—Статистика
Учёные разобрались, как мозг воспринимает речь
Учёные разобрались, как мозг воспринимает речь
Исследователи из Калифорнийского университета в Сан-Франциско (UC San Francisco) представили подробный отчёт о том, как звуки речи обрабатываются в человеческом мозге. Результаты их исследования помогут медицине и науке в понимании различных языковых расстройств, в том числе дислексии.
Учёные уже знали, в каких областях мозга происходит интерпретация речевых звуков. Однако о тонкостях самого процесса обработки речи до настоящего момента было известно немного. Команда исследователей сообщает, что мозг не реагирует на отдельные сегменты звуков, известные как фонемы (например, на звук б в слове «бой»), но вместо этого способен распознавать простейшие языковые элементы.
Для любого человека понимание разговоров других людей − само собой разумеющийся процесс, и мало кто задумывается, что для мозга разбирать поток чужих слов – настоящее испытание. Речь представляет собой сложные и переменные звуковые сигналы, и наша способность мгновенно разбить этот сигнал на отдельные фонемы, а затем собрать их воедино в слова, предложения и понять смысл, поистине феноменальна.
Исследование было сосредоточено на восприятии привычных для англоязычного человека предложений, содержащих большую часть фонем английского языка.
Для того чтобы зафиксировать очень быстрые изменения в работе мозга, задействованные в обработке чужой речи, учёные получали данные из нейронных записывающих устройств, которые были размещены непосредственно на поверхности мозга шести пациентов во время хирургического лечения эпилепсии.
Добровольцам пришлось прослушать 500 уникальных предложений, произнесённых 400 различными людьми. В это время исследователи фиксировали активность той области коры головного мозга, что называется верхней височной извилиной (или областью Вернике). Предыдущие научные работы показали, что именно она играет главную роль в восприятии речевой информации. Предложения, которые приходилось слушать испытуемым, содержали несколько примеров каждого звука английской речи.
Многие исследователи предполагали, что клетки области Вернике будут реагировать на фонемы. Но, как оказалось, вместо этого они реагируют на элементарные акустические единицы, генерируемые вокальным трактом человека.
«Когда мы слышим чью-то речь [разные звуки], «загораются» различные области мозга, – комментирует один из авторов работы Нима Месгарани ( Nima Mesgarani ). – По сути, мы слышим поток различных элементов речи».
По мнению специалистов, это исследование поможет не только лучше понять расстройства восприятия речи, но и, возможно, однажды позволит разработать устройства, отвечающие за «искусственный слух». Например, при дислексии больной не в состоянии соотнести печатные слова со звуками речи. Его мозг уже не изменить, но помочь ему преодолеть трудности медики когда-нибудь будут в состоянии.
Научная статья Чана и его коллег была опубликована в журнале Science.
| Рубрики: | Сила слова и Руский язык |
Метки: язык лингвистика
Процитировано 1 раз
Понравилось: 1 пользователю
Ученые: мозг воспринимает слова не по буквам, а в виде единого целого
МОСКВА, 25 мар — РИА Новости. Человеческий мозг запоминает незнакомые для него слова на родном или иностранном языке не по буквам или слогам, а в виде своеобразной картинки, единого целого, что позволяет нам быстро читать и воспринимать информацию, заявляют нейрофизиологи в статье, опубликованной в Journal of Neuroscience.
«Мы не распознаем слова, быстро проговаривая их по буквам про себя или выделяя отдельные части слова, как считали некоторые наши коллеги. На самом деле, нейроны в той небольшой части мозга, что отвечает за речь, помнят то, как выглядит слово в целом, используя особую систему, которую можно назвать «визуальным словарем», — заявил Максимилиан Ризенгубер (Maxuimilian Riesenhuber) из университета Джорджтауна (США).
Ризенгубер и его коллеги пришли к такому выводу в ходе необычного эксперимента с участием двух дюжин добровольцев, которые пытались запомнить небольшой словарик из 150 бессмысленных слов, придуманных авторами статьи путем замены одной или нескольких букв в обычных английских выражениях.
Во время этого нелегкого занятия за работой их мозга следили ученые, наблюдая за малейшими изменениями в его активности при помощи модифицированного магнитно-резонансного томографа. Эти наблюдения помогли ученым понять, какие области мозга участвуют в запоминании новых слов и какие его регионы управляют их распознаванием.
Как выяснилось, центры речи запоминают новые слова не по буквам и даже не по слогам, а целиком, в виде некой картинки. В пользу этого говорит то, что за восприятие слов отвечает область мозга, которая расположена рядом с цепочкой нейронов в зрительной коре, отвечающей за распознавание лиц окружающих.
Как полагают ученые, это открытие будет интересно не только их коллегам-нейрофизиологам, но и лингвистам и педагогам. Сегодня детей и взрослых людей учат читать на родной речи и говорить на иностранном языке, заставляя их произносить слова по слогам и буквам.
Многие люди испытывают трудности с обучением, и открытие Ризенгубера и его коллег может объяснять то, почему они возникают и как можно их обойти. Как признается сам ученый, идею провести подобное исследование ему подали преподаватели языков и люди с языковым барьером, которые узнали о его прошлых исследованиях и рассказали о том, что им легче даются новые слова в тех случаях, когда они пытались запомнить их целиком.
«Для людей, которые не могут учить слова фонетическим способом, запоминание всего слова целиком может быть хорошей стратегией обучения. Области мозга, которая отвечает за распознавание слов, абсолютно все равно на то, как звучит слово, она лишь обращает внимание на то, как выглядят соединенные друг с другом буквы. То, что подобная способность к обучению заложена в очень небольшом регионе мозга, является отличным примером его способности формировать новые связи и обрывать старые», — заключает Ризенгубер.
Как слова влияют на наш мозг. Интервью с нейролингвистом Ириной Симановой
Ɔ. Как именно слова могут влиять на структуру мозга?
Представьте, что мы видим какой-то предмет. Информация поступила с сетчатки глаза в зрительную кору, но на первом этапе мозг не «видит» картинки целиком, а узнает только линии, углы, очертания. Далее из этих признаков мозг строит изображение: это многоступенчатый процесс, и на каждой ступени формируется все более сложный, осмысленный образ. Сегодня все больше исследований говорят о том, что слова, которые есть в нашем лексиконе, могут влиять на то, какой именно образ возникнет в итоге.
Ɔ. «Возникает в нашем мозге» — что имеется в виду? В каком формате образы там существуют?
За отражение любого предмета отвечает нейросеть. Она активируется при взаимодействии человека с этим предметом. Пусть это будет яблоко. Если мы видим яблоко, точнее, когда мозг принимает решение, что перед нами яблоко, он активирует воспоминания о свойствах этого предмета (картинка, звуки, вкус). Получается, что наш опыт — все, что мы по жизни делали с яблоками, — влияет на то, каким мы этот предмет себе представляем. Но, когда мы слышим или употребляем слово «яблоко», активируется та же сеть. Таким образом, использование слов, названий — это тоже опыт взаимодействия с предметом, и он влияет на последующее восприятие.
Ɔ. Могут ли наши представления нас в некоторой степени обмануть?
Да, потому что на восприятие, как я уже говорила, в огромной степени влияет предыдущий опыт, ожидания, контекст. Возникновение иллюзий — это очень естественный процесс. Огромное количество вещей мы можем воспринимать неправильно. Например, мы смотрим на небольшой дом с двумя окошками и дверью, а видим лицо с глазами и носом. Что происходит? Наш мозг старается как можно быстрее интерпретировать информацию и предлагает самый подходящий вариант: лицо. Просто потому, что мы очень часто видим лица, глаза-нос — это очень ожидаемый паттерн. Мозг строит догадки, исходя из имеющейся информации и предыдущего опыта. Чаще всего эти догадки правильны, но иногда — нет.
Ɔ. Вернемся к разнице между языками: какие различия в восприятии могут быть у носителей разных языков?
В разных языках категории для обозначения предметов и явлений могут различаться. Один из самых известных примеров: в русском языке используются разные слова для обозначения голубого и синего цветов. Это означает, что мозг человека, говорящего на русском языке, распознает голубой цвет как отдельную категорию. А в английском языке есть только одно слово — синий, отдельного слова для светло-синего нет, такой категории не существует.
Ɔ. Означает ли это, что если сло́ва, которое называет явление, не существует, то и воспринимается этот объект совсем иначе? Грубо говоря, отличают ли американцы на самом деле голубой цвет от синего?
Хороший вопрос. Чтобы на него ответить, специально проводились исследования: сравнивали восприятие цветов между русскоговорящими и англоговорящими участниками. Конечно, англоговорящие участники замечают разницу между темно-синим и светло-синим, но, кажется, делают это чуть-чуть медленнее, чем русскоговорящие. Кроме того, категории языка могут влиять на память: вот в русском языке нет отдельного слова для обозначения «светло-зеленого» цвета. Если ты увидишь человека в майке такого цвета, то решишь, что эта майка зеленая, и возможно, не запомнишь точно, светлая она была или темная. Со светло-синей майкой такого не будет: ты просто запомнишь, что она была голубая.
Ирина Симанова Фото: 2xЛекторий
Ɔ. А есть ли еще подобные примеры кроме цветов?
Категория цветов — популярная тема в психолингвистике. Еще одна такая тема — слова для обозначения времени. Ведь прошлое и будущее время — это абстракция, ни того, ни другого нельзя увидеть. В большинстве языков для разговора о времени используются пространственные метафоры. Например, на русском, так же как на английском языке, мы говорим о будущем — «впереди», а о прошлом — «позади». А китайцы измеряют время по вертикальной шкале: говорят о прошлом — «вверху», а о будущем — «внизу». Есть ли разница в мышлении, в представлении о прошлом и будущем, между людьми, которые используют разные метафоры? И можно ли «натренироваться» видеть мир по-другому через изучение иностранного языка? Есть очень интересные исследования на эту тему.
Ɔ. А в чем разница головного мозга людей, в языке которых есть определенные звуки, и тех, у кого этих звуков нет?
Для того чтобы воспринимать речь на слух, человек должен распознавать фонемы — звуки, характерные для его языковой среды. В слуховой коре формируется что-то вроде фонетической карты. Чем больше разных звуков (фонетических категорий) в окружающей нас речи, тем сложнее будет устроена эта карта.
Ɔ. Верно ли утверждение, что чем больше различных звуков, языков и слов мы знаем, тем выше наши когнитивные способности?
Мне кажется, это утверждение ошибочно. Например, в японском нет различия между звуками [р] и [л]. В карте звуков у японцев есть один звук, который находится посередине. Но дело в том, что им-то не нужно различать звуки [р] и [л]. Мозг приспосабливается к той среде, в которой человек живет, и для тех действий, которые человек совершает. Если человек, выросший в Японии и не умеющий различать [л] и [р], вдруг попадет в среду, где это разные звуки, то у него будет много проблем. Например, у меня был коллега-японец, а с нами еще работала девушка по имени Лила. И он ее имя все время произносил неправильно, что, конечно, мешало ему с ней общаться. Но если бы он жил в Японии, то таких проблем не возникало бы. К общим когнитивным способностям это не имеет отношения, нельзя сказать, что один человек умнее другого, если он различает больше звуков.
Ɔ. А есть ли примеры, когда изучение иностранного языка все-таки делает нас умнее?
Раньше считалось, что двуязычная среда или раннее обучение второму языку может даже навредить развитию ребенка, потому что было такое наблюдение, что дети из семей, где говорят на двух языках, позже начинают говорить. Сейчас точка зрения изменилась. Считается, что у билингвов лучше развивается функция когнитивного контроля — контроля над действиями. Ведь они в любой момент должны понимать, в каком контексте они находятся и на каком языке им необходимо говорить, и быть готовыми переключиться. Исследования в этой области ведутся постоянно, думаю, нас еще ждет множество открытий.
Изучение иностранного языка во взрослом возрасте в любом случае хорошо. При изучении нового алфавита перестраивается зрительное и слуховое восприятие, через артикуляцию увеличивается контроль над мышцами, задействуются связи между отделами мозга. Мы все знаем, что учиться чему-то новому полезно, а язык — это комплексный навык, он использует все возможные системы мозга. Кроме того, категории и метафоры иностранного языка, которых в нашем языке нет, дают возможность буквально по-другому взглянуть на мир.
Почему человек воспринимает музыку и речь разными полушариями мозга?
Канадские нейрофизиологи выяснили, почему речь и музыка распознаются разными полушариями мозга. В своем исследовании они наблюдая за работой нервной системы добровольцев, слушавших искаженное пение без аккомпанемента. Об этом сообщила пресс-служба университета Макгилла со ссылкой на статью в журнале Science.
«Мы десятилетиями знали о том, что полушария мозга по-разному реагируют на звуки речи и музыки, однако физиологическая подоплека существования этих различий оставалась загадкой. Нам удалось показать, что подобная „специализация“ полушарий связана с базовыми акустическими характеристиками речи и музыки», — сказал нейрофизиолог из университета Макгилла в Монреале Филипп Альбуй.
Ученые отмечают, что музыка особым образом влияет на работу нервной системы человека, значительно отличаясь от его речи и других звуковых сигналов. К примеру, семь лет назад шведские психологи обнаружили, что совместное пение «синхронизирует» пульс участников хора, а еще полвека назад исследователи выяснили, что человек воспринимает музыку не левым полушарием, как речь, а правым. К тому же в прошлом году биологи обнаружили, что человек может распознать знакомую ему мелодию примерно за 100−300 мс — крайне короткое время по меркам нейрофизиологии. Это указало на то, что в мозге присутствуют специализированные цепочки нейронов, отвечающие за решение этой узкой задачи.
Альбуй и его коллеги попытались выяснить, почему за распознавание музыки отвечает правое полушарие мозга, организовав необычный эксперимент, в котором участвовало несколько профессиональных певцов-сопрано, а также пять десятков добровольцев, говоривших на французском и английском языке.
Эксперимент
Ученые попросили музыкантов спеть в формате «а капелла» несколько коротких народных песен, каждая из которых была записана и обработана так, что у аудиозаписи был сильно искажен или спектр, или ее временная структура. Подобная процедура привела к тому, что в первом случае «потерялась» мелодия напевов, а во втором — их смысловая часть.
Во время следующей фазы эксперимента ученые просили добровольцев прослушать эти записи, сравнить две разных мелодии или распознать напетую строчку. В это же время ученые наблюдали за сдвигами в активности их мозга, используя магнитно-резонансные томографы.
Эти наблюдения показали, что обработка музыки сильно изменила характер работы нервной системы. В том случае, если ученые искажали спектр мелодии, активизировалось только левое полушарие добровольцев, а в противоположном случае «включалась» правая половина мозга.
Открыв этот феномен, канадские нейрофизиологи попытались выяснить, что именно заставляло мозг добровольцев переключаться между полушариями при прослушивании искаженного пения.
Проанализировав рисунок его активности, биологи пришли к выводу, что это было связано с тем, что акустическая кора правого и левого полушария настроена на распознавание различных аспектов пространственно-временной модуляции звуков. В данном случае левое полушарие распознает в основном временную модуляцию, а правое — спектр сигналов.
Подобное разделение, считает Альбуй, возникло по той причине, что это деление значительно упрощает архитектуру мозга и уменьшает количество вычислительных ресурсов, которые требуются для распознавания и музыки, и речи, а также их комбинации, что, вероятно, было важно для выживания и продолжения рода далеких предков современных людей.
Ученые выяснили, как наш мозг кодирует речь
Такие люди, как покойный Стивен Хокинг, могут подумать о том, что они хотят сказать, но вот сказать это не могут из-за того, что их мышцы парализованы. Чтобы общаться, они вынуждены использовать устройства, которые реагируют на движение глаз или мышц в щеке, чтобы считывать по одной букве за раз. Увы — этот процесс крайне медленный и неестественный.
Ученые хотят помочь этим полностью парализованным и «запертым в себе» людям общаться более интуитивно, создав нейрокомпьютерный интерфейс (НКИ), чтобы декодировать команды, которые мозг посылает на язык, небо, губы и гортань (артикуляторы, с помощью которых мы говорим). Человек будет просто пытаться произнести слова, а НКИ будет переводить эти мозговые импульсы в речь.
Новые исследования, проведенные Вайнберским колледжем искусств и наук, приблизили ученых к созданию речевых машинных интерфейсов, открыв новую информацию о том, как мозг кодирует речь. Ученые обнаружили, что мозг управляет речью так же, как и контролирует движения рук (кстати, возможно, это еще одна причина того, почему при общении мы часто помогаем себе руками — прим. перев.). Для этого исследователи записали сигналы из двух областей мозга и расшифровали, за что они отвечают. Они выяснили, как мозг представляет обе цели — то, что мы пытаемся сказать (звуки типа «ма», «па», «ба» и т.д.), и отдельные движения, которые мы используем для достижения этого (как мы двигаем своими губами, небом, языком и гортанью). За это отвечают два разных отдела мозга.
«Это может помочь нам создать лучшие речевые декодеры для НКИ, что приблизит нас к нашей цели — помочь парализованным людям снова разговаривать», — сказал ведущий автор исследования Марк Слуцкий, доцент неврологии и физиологии в Северо-Западном университете.
Это открытие может также потенциально помочь людям с другими нарушениями речи, такими как апраксия, которая наблюдается у детей или после инсульта у взрослых. При речевой апраксии человек испытывает трудности с переводом мыслей в разговорную речь.
Как мозг переводит слова в речь
Речь состоит из отдельных звуков, называемых фонемами, которые создаются скоординированными движениями губ, языка, неба и гортани. Однако ученые точно не знали, как именно эти движения, называемые артикуляторными жестами, планируются мозгом. В частности, не было полностью понятно, как кора головного мозга контролирует производство речи и интерпретирует жесты.
«Мы предположили, что речевые моторные области мозга будут иметь организацию, схожую с областями, контролирующими движения рук», — сказал Слуцкий. «Предцентральная кора отвечает за движение губ, языка, неба и гортани, а более высокие уровни коры головного мозга будут отвечать в большей степени за фонемы».
И они, в общем-то, не ошиблись. «Мы изучили два отдела мозга, которые помогают производить речь», — сказал Слуцкий. «Предцентральная кора в большей степени ответственна за жесты, чем за фонемы. Нижняя лобная кора, представляющая собой область для воспроизведения речи более высокого уровня, отвечает и за фонемы, и за жесты».
Расшифровка сигналов головного мозга
Ученые из Северо-западного университета регистрировали сигналы мозга с поверхности коры, используя электроды, размещенные у пациентов, перенесших операцию по удалению опухолей головного мозга. Пациенты должны были бодрствовать во время операции, поэтому исследователи попросили их прочитать слова с экрана.
После операции ученые отмечали время, когда пациенты воспроизводили фонемы и жесты. Затем они использовали записанные сигналы мозга из каждой области коры и сопоставляли их с тем, какие фонемы и жесты использовали пациенты, и измеряли точность расшифровки. Сигналы головного мозга из предцентральной коры лучшим образом совпадали с жестами, чем с фонемами, в то время как сигналы из нижней лобной коры были одинаково хороши для декодировании как фонем, так и жестов. Эта информация помогла подтвердить лингвистические модели речевого производства, а также в будущем поможет инженерам в разработке нейрокомпьютерных интерфейсов для декодирования речи из этих областей мозга.
Следующим шагом для исследователей является разработка алгоритма для НКИ, который мог бы не только расшифровывать жесты, но и объединять их для формирования слов.