Купить мерч «Эха»:

Человек и искусственный интеллект. Кто кого? - Михаил Бурцев - Наука в фокусе - 2014-04-27

27.04.2014
Человек и искусственный интеллект. Кто кого? - Михаил Бурцев - Наука в фокусе - 2014-04-27 Скачать

Н. АСАДОВА - Добрый день. У микрофона Наргиз Асадова и мой постояный соведущий Егор Быковский, главный редактор журнала "Наука в фокусе".

Е. БЫКОВСКИЙ - Здравствуйте, друзья.

Н. АСАДОВА - Да, сегодня мы в нашей передаче будем говорить на очень интересную тему - "Человек и искусственный интеллект". Кто кого?

Е. БЫКОВСКИЙ - Скорее, даже второе - искусственный интеллект - нас интересует.

Н. АСАДОВА - Да, нас интересует, конечно же, искусственный интеллект, но всё равно интересно, как человек будет взаимодействовать с этим самым искусственным интеллектом, когда он будет создать подобный человеку. И мы сегодня будем говорить с нашим гостем Михаилом Бурцевым, заведующим Лабораторией нейроинтеллекта и нейроморфных систем Национального исследовательского центра.

Е. БЫКОВСКИЙ - Курчатовский институт.

Н. АСАДОВА - Здравствуйте.

МИХАИЛ БУРЦЕВ - Добрый день.

Н. АСАДОВА - Мы как всегда для начала послушаем "Науку в фокусе", чтобы войти в тему, а затем уже будем обсуждать.

"НОВОСТИ НАУКИ".

М. МАКСИМОВА - Робот "MU" научился перемещаться в сложной изменчивой окружающей среде. Представители компании Хитачи недавно объявили об очередной модернизации программного обеспечения робота, который получил некоторую долю искусственного интеллекта и обрёл способность самообучаться, приспосабливаясь к перемещению в сложных изменчивых условиях окружающей среды.

К примеру, в офисных помещениях и помещениях медицинских учреждений. Сейчас робот способен выполнить ряд примитивных действий, таких как доставка кофе или завтрака к определённому рабочему месту, доставка документов, медикаментов, офисных принадлежностей и других малогабаритных предметов. Но теперь, получив в своё распоряжение новую интеллектуальную самообучающуюся навигационную систему, робот сможет расширить функциональные возможности и выполнять обязанности экскурсовода, мобильной справочной системы и даже кибернетического охранника.

Первого в мире биоробота, который способен ходить и разговаривать, представила в Национальном музее авиации и космонавтики США английская компания Shadow Robot Co. Реализация этого проекта стала возможной благодаря российской компании iPay, которая безвозмездно предоставила систему искусственного интеллекта. Она передала британским исследователям API для управления текущей базой знаний робота. Специалисты особо указывают на способность биоробота к лёгкому общению с людьми, он может понимать голосовые команды, поддерживать диалог и даже пытается шутить.

Отдел, который займётся изучением биотехнологий на стыке биологии и машиностроения, будет создавать Американское оборонное агентство перспективных исследовательских проектов. Новое подразделение будет называться "Biological Technologies Office". В задачи и цели нового отдела будет входить создание искусственных живых сверхматериалов, которые можно использовать для следующего поколения механической и электротехнической продукции, самовосстанавливающихся материалов, возобновляемого топлива, солнечных батарей и многого другого. Biological Technologies Office также должен будет работать лучший искусственный интеллект для машин на поле боя.

Н. АСАДОВА - Это были новости науки с Мариной Максимовой. Сейчас мы прервёмся на рекламу, затем вернёмся. Никуда не уходите.

РЕКЛАМА

Н. АСАДОВА - И это была реклама на "Эхе Москвы". А мы в передаче "Наука в фокусе" говорим сегодня о том, "Человек или искусственный интеллект. Кто кого?". Говорим с нашим гостем Михаилом Бурцевым, заведующим Лабораторией нейроинтеллекта и нейроморфных систем.

Е. БЫКОВСКИЙ - Отлично, Наргиз.

Н. АСАДОВА - Ещё раз здравствуйте для тех, кто только что присоединился.

М. БУРЦЕВ - Да, на самом деле мне не очень нравится такое противопоставление. Мне кажется, что искусственный интеллект как раз должен помогать человеку, и это скорее симбиотические отношения, чем "кто кого?".

Н. АСАДОВА - Ну, посмотрим, есть ли такая интрига или нет. Но давайте начнём с базы, да? Что такое искусственный интеллект? Потому что большинство людей думают, что это умные роботы.

Е. БЫКОВСКИЙ - Я работаю в научно-популярном журнале, но сотрудники мои, как ни странно, все считали, что искусственный интеллект - это искусственный мозг, встроенный в умного робота. Тогда как в первую очередь это наука, да? Или технология, создание интеллектуальных машин. И интеллектуальные машины не обязательно равны человеку, они просто способны решать некие задачи, более или менее сложные.

М. БУРЦЕВ - Тут мне кажется, что следует разделить просто два понятия. Первое понятие - это искусственный интеллект как некоторая цель, которую мы хотим добиться, которая возникла в середине прошлого века из гипотезы о том, что в принципе при помощи машины можно воспроизвести интеллект человека. И тогда перед наукой появилась такая цель, что если это можно сделать, значит в какой-то момент нам нужно проводить исследование, как же это сделать, в какой-то момент придти к такой машине, которая будет мыслить так же, как человек.

Е. БЫКОВСКИЙ - А можно тогда сразу вопрос - а у кого появилось это определение полвека назад? Потому что я скорее помню классическое определение Маккарти, в котором он сказал, что мы пока не можем определить в целом, какие мыслительные процедуры мы хотим называть интеллектуальные. Некоторые механизмы интеллекта мы понимаем, некоторые - нет. И поэтому мы никак не можем повторить.

Н. АСАДОВА - В частности, Маккартни говорит: "Мы понимаем некоторые механизмы интеллекта и не понимаем остальные. Поэтому под интеллектом в пределах этой науки понимается только вычислительная составляющая способности достигать цели в мире".

М. БУРЦЕВ - Смотрите, если быть точным, то то, о чём я говорил - это было не то, что было дано определение, что такое интеллект. На мой взгляд, до сих пор нет консенсуса в определении, что такое интеллект. А у учёных появилась гипотеза о том, то есть это не то чтобы они доказали или что-то, а просто у них появилась гипотеза, что при помощи машины можно смоделировать, создать такую машину, которая будет мыслить так же, как человек в принципе.

То есть не определив, что такое интеллект, мы просто предполагаем, что такое сделать можно. И раз мы считаем, что такое можно сделать, мы должны это проверить, мы ещё должны попытаться это сделать.

И уже делая это, мы выдумываем определение, как мы будем этот интеллект измерять, то есть насколько наша машина приблизилась к той цели, которую мы хотим получить или нет.

Н. АСАДОВА - В общем, мы как-то так попытались объяснить, о чём мы сегодня будем говорить. Поэтому сейчас предлагаю сразу же послушать ещё одну нашу постоянную рубрику "Статья по теме", озвученную Львом Гулько, а затем мы уже углубимся в нашу тему.

"СТАТЬЯ ПО ТЕМЕ".

Л. ГУЛЬКО - Разум - хитрая штука. Перед его определение интуиция пасует. Компьютеру можно поручить поиски сложных слов и фраз среди миллиардов веб-страниц, и он легко решит эту задачу.

Разум - хитрая штука. Перед его определение интуиция пасует. Компьютеру можно поручить поиски сложных слов и фраз среди миллиардов веб-страниц, и он легко решит эту задачу.

Кто-то надеется, что в обозримом будущем мы сможем понять, как работает мозг, и написать программное обеспечение, делающее нечто подобное, но функционирующее на иных принципах. Кто-то считает, что для воссоздания мозга в компьютере необходимо воспроизвести эволюцию этого органа, формирование нейронной сети, возможно, придется даже выстраивать целые виртуальные миры. Другие исследователи верят, что решением станет аналитический подход: для всего в мире у нас есть свои обозначения («стул», «стол», «подушка»), и есть правила, объясняющие, как эти вещи взаимодействуют (подушка кладется на стул, а не на стол). Или можно хранить специальные смысловые значения для каждой «этикетки» (на стуле сидят, со стола едят) и тогда можно работать с обширной сетью из объектов и их смысловых значений. А может быть, нужно дать самому компьютеру изучить разницу между столом и стулом путем анализа данных, описывающих тысячи существующих столов и стульев.

На самом деле, эти подходы к искусственному интеллекту действительно ведут к созданию более интеллектуальных устройств, и все они благополучно сейчас развиваются.

Исследователи считают эмоции важным аспектом разума. Когда случается что-то хорошее, мы счастливы, испытываем радость или возбуждение и всё это остается в памяти. Когда мы попадаем в неприятные ситуации, это сопровождается негативными эмоциями, душевной болью, разочарованием, страхом или гневом — и это мы тоже не забываем. В следующий раз, когда нужно принять решение, мы руководствуемся этими воспоминаниями. Нам не нужно взвешивать сотни разных привходящих факторов, а достаточно лишь помнить, что делает нас счастливыми, а что расстраивает. Таким образом, эмоции позволяют как-то оптимизировать сложный процесс принятия решений.

Это дает нам ряд идей относительно того, как можно было бы сделать компьютеры эмоциональными. Например, им можно придать искусственные чувства, которые меняются в зависимости от того, насколько хороши были их прежние решения. И они могли бы принимать решения в будущем, основываясь на том, как эти решения повлияют на их чувства.

Но для нас чувства — это не числа. В действительности наши эмоции представляют собой сложную последовательность химических реакций, влияющих на работу мозга. Даже справившись с моделированием на компьютерах работы сети нейронов, исследователи лишь задумываются о том, как искусственные гормоны могли бы влиять на работу искусственных нейронов, формируя эмоции.

Кто-то скажет, что эмоциональная сдержанность — не так уж и плохо. Разве не опасен неуравновешенный робот, который решил бы вдруг , что вы ему совсем не нравитесь?!

С другой стороны, разве не было бы полезно, чтобы наши компьютеры любили нас, как преданные домашние питомцы? Чтобы они предугадывали наши желания и стремились оградить нас от неприятностей? На худой конец, у них могло бы появиться чувство самосохранения, помогающее следить за собой и работать дольше?

Это одна из самых любимых страшилок среди фантастов. Компьютеры становятся слишком умными и независимыми и решают наконец, что человечество должно исчезнуть. Они создают огромную армию беспощадных боевых роботов, которые начинают охоту за людьми.

Чтобы появилась даже отдаленная возможность подобного сценария, в области искусственного интеллекта предстоит решить еще огромное количество проблем. В настоящий момент наши лучшие компьютеры не более разумны, чем садовая улитка (правда, эти «улитки» специализируются на перемалывании чисел, а не листьев салата). Наши компьютеры намного быстрее нас, но они всё равно остаются совсем-совсем тупыми. У них не больше шансов захватить мир, чем у садовой улитки — совершить революцию и выкинуть вас за забор на соседскую клумбу.

Но если мы в конце концов создадим разумные компьютеры, наделенные эмоциями, что тогда? В ближайшем будущем мы, скорее всего, получим верных помощников, вроде наших любимых домашних животных. Это будут компьютеры, которые знают и любят нас. Да, если чем-то их расстроить, они могут нагадить на странице в «Фейсбуке», но при правильной дрессировке станут помогать прокладывать путь во всё более сложном мире, в котором мы живем, и охранять нас от различных угроз. Наши компьютеры никогда не станут столь же комфортно чувствовать себя в физическом мире, как мы сами. Мы живем здесь миллиарды лет.

Н. АСАДОВА - Это был Лев Гулько и "Статья по теме", а тема у нас сегодня - "Человек и искусственный интеллект. Кто кого?". И мы уже с Михаилом тут начали обсуждать буквально за кадром - всё-таки как измерить эту интеллектуальность и какие есть подходы в определении искусственного интеллекта. Я слышала про тест Тьюринга. Давайте про него для начала поговорим.

М. БУРЦЕВ - Ну да. Тест Тьюринг - это как раз из разряда того, очень похоже кто на кого. Так как придумать определение искусственного интеллекта трудно, нужно придумать какой-то способ, чтобы понять, когда же мы его создали. Может, мы его уже давно создали, а всё деньги тратим на его создание.

Е. БЫКОВСКИЙ - Я бы тут добавил пару копеек. Может быть, то, за что мы зацепились в начале - это следствие не очень удачного русского перевода, потому что intelligence - это всё-таки не интеллект, потому что у "интеллекта" есть слово "intellect" по-английски. А artificial intelligence - это просто умение рассуждать разумно.

Н. АСАДОВА - Это то, что называется "когнитивное мышление"?

М. БУРЦЕВ - Искусственная разумность.

Н. АСАДОВА - Смотрите, это возможность рассуждать или логически мыслить, или способность приспосабливаться к незнакомым каким-то обстоятельствам?

Е. БЫКОВСКИЙ - В данном случае - рассуждать. Если мы заговорили про тест Тьюринг, сейчас Михаил нам про него расскажет поподробнее, то там имеется в виду не наличие интеллекта, а умение разумно рассуждать, то есть это всё-таки разные вещи. А поскольку на русский перевели не очень правильно, то получилась какая-то такая фантастическая человеческая окраска у этого термина.

М. БУРЦЕВ - Да, я особо не думал над этими окрасками, поэтому мне как-то трудно понять, человеческое или не человеческое, но то, что способности человека с точки зрения его интеллекта - это как цель направлений исследований искусственного интеллекта - это так и есть, то есть именно как цель мы должны построить интеллект, равный интеллекту человека.

То есть может быть название и не такое должно быть, но с точки зрения определения цели это так.

Е. БЫКОВСКИЙ - Давайте всё-таки про тест Тьюринга. Я думаю, что многие про него слышали, но не очень многие расскажут, в чём он, собственно, заключается.

М. БУРЦЕВ - Тест Тьюринга очень прост. Как раз это такая экспертная оценка. То есть даже не зная определения интеллекта, мы можем, так как человек может отличать, даже сортировать людей по интеллектуальности, то давайте использовать человека, для того чтобы определить, с кем он общается, обладает интеллектом некоторое существо или нет.

И вообще он был придуман достаточно давно, когда компьютеры и интернет так развиты не были, а сейчас его объяснять очень просто. Представьте, что есть некоторый чат, где вы можете переписываться с кем-то. И вы не знаете, кто на другой стороне. У вас есть некоторое количество людей и некоторое количество...

Е. БЫКОВСКИЙ - В классической постановке, по-моему, трое. То есть машина, человек и другой человек.

Н. АСАДОВА - Неважно. Принцип один и тот же. То есть ты должен определить, ты говоришь с машиной интеллектуальной, или говоришь с человеком.

Е. БЫКОВСКИЙ - Все трое друг друга не видят.

Н. АСАДОВА - Вы знаете, я недавно, кстати говоря, тест Тьюринга прошла на сайте IKEA.

Е. БЫКОВСКИЙ - Ты прошла тест Тьюринга? Наргиз, ты меня пугаешь.

Н. АСАДОВА - Там есть такое окно - "задайте вопрос Марии". И я задаю вопрос, и мне просто буквально через доли секунд хоп - ответ. И, в общем, ответ был вполне себе на мой вопрос. Я уверена, чо там сидит не человек, конечно же, а это компьютер, который отсортировывает базовые вопросы.

Е. БЫКОВСКИЙ - Это скорее всего... инф сидит. Мы сейчас не будем затрагивать... они сейчас строят таких роботов.

Н. АСАДОВА - Это тоже искусственный интеллект, я правильно понимаю? Я общалась с искусственным интеллектом.

М. БУРЦЕВ - Это называется экспертная система.

Е. БЫКОВСКИЙ - Так вот, прошёл ли кто-то уже тест Тьюринга, или нет?

М. БУРЦЕВ - Нет, никто не прошёл. Здесь просто нужно одну важную вещь отметить, что тот человек, который распознаёт, что он общается с человеком или с нечеловеком, искусственным интеллектом, у него задача выявить, действительно ли там человек или нет. То есть не то чтобы он просто не знает вообще, то есть он сидит, с кем-то общается, потом его спрашивают - это были все люди? Он скажет - да, конечно. Это злобный человек, который прямо у него выпытывает, может задавать вопросы, чтобы у него выяснить, что это искусственный интеллект. В этом вся соль этого теста. И я подробно этот вопрос не изучал, но я знаю, что существуют конференции, где как бы соревнования программ по такому тесту Тьюринга. И ещё ни одна не прошла.

Н. АСАДОВА - А какие есть ещё.

Е. БЫКОВСКИЙ - А вы можете предсказать, пройдет ли когда-нибудь, и когда? Во-вторых, есть ли какие-то другие интересные тесты на выявление интеллекта. Это же будет главным критерием - построили искусственный интеллект или нет.

Н. АСАДОВА - Даже я читала, что есть разные ещё подходы - логические какие-то подходы, гибридные...

М. БУРЦЕВ - Может быть. На первый вопрос сначала про то, сможет ли когда-нибудь кто-нибудь его пройти. Здесь я бы не хотел никаких прогнозов давать, потому что очень много анекдотов конца 1960-х годов, когда все давали прогнозов, что через 5 или 10 лет искусственный интеллект будет мыслить на уровне среднестатистического гражданина.

Е. БЫКОВСКИЙ - Науч-поп. литература тех лет просто блещет оптимизмом.

М. БУРЦЕВ - Это не науч.поп, вы представляете, это люди, которые сейчас считаются основателями искусственного интеллекта, Марлин Минский, Аллан Ньюэлл, и так далее. Они все говорили одни и те же вещи. То есть я не знаю, они действительно думали, что они эту задачу смогут так легко решить.

Н. АСАДОВА - Михаил, во что упёрлись эти учёные. То есть если они разделяли такой оптимизм поначалу, значит им казалось, что эта задача более легко достижима. И уперлись они во что?

Е. БЫКОВСКИЙ - Это стена или просто болото, которое надо преодолеть?

М. БУРЦЕВ - Сложно понять. Мне кажется, что это больше похоже на болото, но основная проблема, с которой они столкнулись, в том, что все усилия были сосредоточены на таком символьном искусственном интеллекте, который как раз пытался смоделировать рассуждения. Оказалось, что такой подход, во-первых, требует привязки этих рассуждений к реальности. То есть на самом деле то, что для нас кажется очевидным, мы легко переходим от окружающей действительности, формализуем её, пытаемся как-то рационализировать и обсудить. А на самом деле переход от формальной системы к окружающей реальности и обратно оказался не так просто. И внутри таких формальных систем в принципе искусственный интеллект достиг достаточно значительных успехов, например, Deep Blue, который обыграл Гарри Каспарова больше 15 лет назад.

Е. БЫКОВСКИЙ - Я бы скорее даже Ватсона вспомнил.

М. БУРЦЕВ - И Ватсон тоже сюда относится, просто это более естественный...

Е. БЫКОВСКИЙ - Расскажите пару слов про Ватсона, может, кто-то не знает. Это очень...

М. БУРЦЕВ - Ватсон - это такая экспертная система, построенная компанией IMB, так же как и Deep Blue и которая выиграла соревнования в таком телешоу, где нужно выбирать правильный ответ на вопрос, сформулированный на естественном языке. Причём, эта система воспринимала тоже вопрос на естественном языке и отвечала на естественном языке, то есть она не отвечала, она выбирала ответ, насколько я понимаю. И она обыграла чемпионов США многолетних, то есть на самом деле такой достаточно сильный результат. Я думаю, немногие ожидали, что так случится.

Е. БЫКОВСКИЙ - Основная проблема построения такой системы, насколько я понимаю, состоит из трёх условных блоков - это данных, решатель и интерфейс для общения. Что сложнее - интерфейс для общения, естественный язык, который должна машина понимать, или этот решатель? Или это всё сложно.

М. БУРЦЕВ - Мне кажется, что решатель здесь была самая сложная часть. Но, насколько я понял, что скорее Ватсона можно назвать очень умной поисковой системы, именно поисковый интеллект, не интеллект с точки зрения рассуждений, то есть он не может вам составить текст какой-нибудь разумный, то есть если вы попросите его что-нибудь описать в виде текста хотя бы в нескольких предложениях...

Е. БЫКОВСКИЙ - Наверное, он может сделать реферат, я так предполагаю.

М. БУРЦЕВ - Может сделать реферат, но в какой-то узкой области, по каким-то заданным шаблонам. Это как та программа, которая пишет спортивные новости и так далее. Но он был именно заточен под эти ответы на вопросы, то есть он, зная вопрос, мог связать несколько понятий в связное предложение, которое сравнивал с правильным ответом.

Н. АСАДОВА - Смотрите, а вот в статье по теме. которая у нас прозвучала, там речь шла о том, что машину можно даже научить испытывать чувства и эмоции, то есть понятно, что не в прямом смысле, как мы с вами испытываем, но тем не менее задать какие-то параметры, которые будут примерно работать у нас, как чувства и эмоции.

Е. БЫКОВСКИЙ - Испытывать чувства, по-моему, очень легко, то есть сложно сделать биохимию, такую же как у человека, а сами по себе чувства зачем, если можно обойтись какими-то механическим вещами, по-моему, очень легко. Вот, разрядилась батарейка - вот у тебя чувство голода и так далее.

М. БУРЦЕВ - На мой взгляд...

Н. АСАДОВА - Я хотела сказать, что если говорят же в статье в таком уважаемом журнале, как "Наука в фокусе", наверное, это направление тоже имеет значение.

Е. БЫКОВСКИЙ - Потому что если поставлена цель сделать интеллект, равный или превосходящий человеческий, то эмоции тут понадобятся.

М. БУРЦЕВ - У человека есть эмоции - значит у робота должны быть. Здесь есть два аспекта. Первый аспект заключается в том, что он как бы сутевой, смысловой, заключается в том, что у нас эмоции связаны с регуляцией некоторого целенаправленного поведения. То есть мы испытываем эмоции в зависимости от того (одна из теорий, объясняющих, откуда эмоции берутся) не на таком механистическом уровне, а на адаптивном, что это некоторый процесс, который нам сигнализирует, насколько хорошо или плохо мы достигаем той или иной цели. Понятно, что когда в эволюции у нас были примитивные организмы, у них не было сложных сетей, то нужен был какой-то широковещательный сигнал, например, какая-то система, в ней что-то плохо, ей нужно было всем быстро передать, что мне плохо, и чтобы они все мобилизировались на удовлетворение этой потребности - половой или потребности, связанной с потреблением пищи, голод и так далее. Поэтому выбрасывались определённые гормоны, которые регулировали всю систему, переключали с одного режима работы на другой.

Но потом постепенно весь интерес в использовании эмоций для искусственного интеллекта заключается в том, что если посмотреть мой любимый пример, объясняющий силу эмоций для математика, который доказывает какую-то теорему, вот он год бьётся над этой теоремой, если мы посмотрим на его эмоциональное состояние, то он находится на грани депрессии и так далее.

Е. БЫКОВСКИЙ - Достаточно угнетённый.

М. БУРЦЕВ - Вопрос... напрямую же никак это не связано с никакой витальной потребностью - его кормят. Я думаю, с половой жизнью у него тоже может быть всё в порядке, но в принципе он...

Е. БЫКОВСКИЙ - Самосохранению тоже ничего не угрозает...

М. БУРЦЕВ - Но невозможность достижения цели загоняет его в дикую депрессию. Зато потом когда ему приходит в голову решение, когда он начинает записывать, он выбегает на улицу в трусах, бегает вокруг дома и кричит от счастья.

Е. БЫКОВСКИЙ - Ну потому что эндорфины пошли, адреналинчик в крови.

М. БУРЦЕВ - То есть это говорит о том, что скорее всего этот механизм эмоций используется уже как бы более высокими когнитивными функциями, для того чтобы обучаться или запоминать что-то, то есть это некоторый механизм, который был...

Е. БЫКОВСКИЙ - Ну да, базовые эмоции тут не интересны, а вот эмоции, которые регулируют, например, способность или желание обучаться, это да. Потому что иначе как урегулировать?

М. БУРЦЕВ - Да, то есть это как раз один из таких содержательных аспектов, зачем нужны эмоции. То есть его можно использовать как механизм обучения. А второе - это из роботов, если мы их разделим на тех, которые человек никогда не видит, и роботов, которые человек когда-то видит, то для того чтобы человеку было удобнее общаться с какими-то машинами, то, конечно же, если они будут изображать какие-то внутренние состояния в некоторое эмоциональном виде, то для человека просто будет понятнее и проще с ними общаться.

Н. АСАДОВА - Я напоминаю, что у нас в студии Михаил Бурцев, заведующий Лабораторией нейроинтеллекта и нейроморфных систем. С вами Наргиз Асадова и Егор Быковский. Сейчас прервёмся на новости и рекламу, затем вернёмся в эту студию.

НОВОСТИ

Н. АСАДОВА - 15:35 в Москве. У микрофона по-прежнему Наргиз Асадова и Егор Быковский, главный редактор журнала "Наука в фокусе". С нами сегодняшний гость - Михаил Бурцев, заведующий Лабораторией нейроинтеллекта и нейроморфных систем. И говорим мы сегодня о том, "Человек и искусственный интеллект. Кто кого?". Сейчас наша постоянная рубрика "Про и контра". И здесь-то и будет самая главная интрига.

"ПРО И КОНТРА"

Марвин Минский, лаборатория искусственного интеллекта в Массачусетском технологическом институте. Так называемая загадка сознания человека никакой загадкой не является. Сознание - управляемая инстанция высшего порядка, которая не занимается отдельными частями воздействующих чувственных потоков, а зависит от того, какое целое возникает из объединения всех сигналов, посылаемых к мозгу. Если внедрить такую инстанцию в компьютер в качестве метапрограммы, то и компьютер овладеет сознанием.

Станислав Ежи Лец, польский поэт, философ, писатель-сатирик. Электронный мозг будет думать за нас точно так же, как электрический стул за нас умирает.

Н. АСАДОВА - Это была рубрика "Про и контра". И её озвучить нам помогли Алексей Нарышкин и Алексей Голубев. Мы услышали два такие противоположных мнения. Ежи Лец нам озвучил представление обывателя о том, что такое умная машина или умный робот. А ещё один учёный...

Е. БЫКОВСКИЙ - Не то чтобы обыватель. Станислав Ежи Лец - не обыватель, но он декларирует...

Н. АСАДОВА - Он озвучил нам мнение обывателей, да.

Е. БЫКОВСКИЙ - Он декларирует подход, который часто встречается в научной вполне такой крепкой хорошей фантастике, в котором предполагается, что вообще искусственный интеллект возникнет только тогда, когда машина будет способна чувствовать и творить. Я сейчас не буду перечислять примеры. Кто читал научную фантастику, тот их знает. Но вообще он не выдерживает критику при более близком рассмотрении. Мы уже начали об этом говорить.

Ну а второй подход - классический. Михаил, что вы про это думаете?

Н. АСАДОВА - Про классический подход.

М. БУРЦЕВ - Классический - в смысле это то, что программа, которая... То есть вообще вопрос сознания достаточно сложен с точки зрения его определения предмета, потому что вроде мы все знаем, что такое сознание, точно так же как мы все знаем, что такое интеллект, но до конца, что это такое, мы не понимаем. И скорее всего сознание - это некоторый процесс, который реализуется нашим мозгом. И в принципе я считаю, что не существует каких-то пока невиданных преград, которые бы не позволили реализовать сознание на каком-то другом носителе, кроме биологического.

Е. БЫКОВСКИЙ - Что касается чувств и творения, за которые так многие держатся в этом смысле, то я знаю, по крайней мере прототипы, которые способны написать какую-то музыку, что не делает их искусственный интеллект достаточно высоким, чтобы пройти хотя бы тот же тест Тьюринга.

Н. АСАДОВА - Подожди, а я не знаю таких примеров, который может написать рассказ.

Е. БЫКОВСКИЙ - Это как раз легко. Рассказы, стихи - этого полно. Я тебе потом покажу.

Н. АСАДОВА - А что, для наших слушателей это останется в тайне?

М. БУРЦЕВ - Я думаю, что это можно найти.

Е. БЫКОВСКИЙ - Это совершенно не проблема.

М. БУРЦЕВ - Есть картины, нарисованные искусственным интеллектом. Некоторые люди даже не различают картину, нарисованную искусственным интеллектом...

Н. АСАДОВА - Послушай, на самом деле, когда я говорила про интригу, да, всё-таки в Америке, например, есть такой Институт сигнулярности - SIAI, вот так он звучит, и они отслеживают и пытаются сформулировать, какие могут быть глобальные риски при создании таки искусственного интеллекта, равного человеческому. И не сможет ли этот интеллект, например, стать врагом человеку в какой-то момент. Ну даже под какими-то благовидными предлогами, например, искусственный интеллект решит заботиться о человеке, как его и запрограммируют для этого, да, и в итоге, как Егор нам обрисовал матрицу, нас всех положат в коробочку...

Е. БЫКОВСКИЙ - Чтобы мы вдруг сами себе не навредили.

Н. АСАДОВА - То есть как вам кажется, такая перспектива реальна или нет?

Е. БЫКОВСКИЙ - По-моему, они забежали слишком далеко вперёд.

М. БУРЦЕВ - С одной стороны, я их одобряю. Потому что никогда не поздно думать. Не рано начать думать о том, что могло бы случиться.

Е. БЫКОВСКИЙ - Над сценариями.

Н. АСАДОВА - Сценарии угроз - это любимое занятие американцев.

М. БУРЦЕВ - При том, что это всё-таки не такое повальное... этим занимается не так много людей.

Е. БЫКОВСКИЙ - Там он состоит из нескольких человек, насколько я понимаю.

М. БУРЦЕВ - Частным способом. То есть я не могу отрицать, что могут быть негативные сценарии, но я присоединился к той точке зрения, которая была изложена в зачитанном отрывке про то, что если мы посмотрим на такую эволюционную историю развития жизни на Земле, ну искусственный интеллект, если сравниваться с человеком, это будет новый вид на Земле, произведённый человеком.

Н. АСАДОВА - А вот мы спросили наших слушателей - читателей нашего блога "Наука в фокусе" на сайте "Эхо Москвы" - рано или поздно человечество создаст полноценный искусственный интеллект, который по всем параметрам не будет уступать человеческому. Не станет ли человек лишним в обществе будущего? "Да, станет", - ответили 31% наших слушателей. "Нет, не станет", - 62% ответили. И 7% затруднились ответить. В голосовании приняло участие 1300 человек. То есть оптимисты у нас сплошные.

Е. БЫКОВСКИЙ - Прекрасная аудитория.

Н. АСАДОВА - А я боюсь. Расскажите, почему мне не надо бояться.

Е. БЫКОВСКИЙ - Нет, ты сначала скажи, чего именно ты боишься. Не просто же так. Ты боишься вообще.

Н. АСАДОВА - Даже если отталкиваться от слов Михаила, что если будет создан полноценный искусственный интеллект, то это будет ещё один вид на Земле, то мы знаем историю, что некоторые виды подавляют другие виды и выживают другие виды. Напримекр, человек уничтожил или почти уничтожил кучу акул, и они на грани исчезновения.

Е. БЫКОВСКИЙ - Ну, это виды. появившиеся эволюционным путём. Тут надо сразу...

Н. АСАДОВА - Подождите, а это каким путём?

Е. БЫКОВСКИЙ - Эволюция - это сплошная война за выживание и за ресурсы.

Н. АСАДОВА - А почему ты думаешь, что искусственный интеллект не вступит в борьбу за выживание и за ресурсы?

М. БУРЦЕВ - Например, человеку нет резона вытеснять мартышек каких-нибудь, хотя это его эволюционные родственники.

Е. БЫКОВСКИЙ - Или камни, например? Есть ли резон у человека вытеснять камни с планеты Земля? Никакого нет. Потому что у нас нет общего ресурса.

Н. АСАДОВА - Подожди, у нас есть пример. Во Вьетнаме любят есть мозг живых обезьян. Например, все были вьетнамцами, то мы бы вполне себе были угрозой для обезьян.

М. БУРЦЕВ - Я могу привести ещё такие противоположные примеры, которые говорят о том, что человек положительно влияет на одни виды, отрицательно на другие. Например, многие виды выигрывают от того, что человек создал определённую среду обитания. Например, крыс, я уверен, стало гораздо больше, чем было раньше. То есть им хорошо от того, что есть человек.

С другой стороны, например, овец тоже стало гораздо больше, чем их было раньше. Хорошо это для овец или нет - это сложный вопрос. Есть как положительные стороны у этого, так и отрицательные.

Е. БЫКОВСКИЙ - Для каждого овечьего индивида как раз и не очень хорошо, но в целом виду хорошо. Надо не забывать, что внутри нас всё-таки сидит этот самый эгоистичный ген, который гонит нас к размножению и к покрытию плотным слоем представителями нашего вида всей планеты Земля. Внутри компьютеров такого гена нет.

Н. АСАДОВА - Предусматривается ли необходимость размножения в искусственном интеллекте?

М. БУРЦЕВ - Это вообще очень интересная проблема, моя любимая.

Н. АСАДОВА - Ура, я нащупала её!

М. БУРЦЕВ - Про то, как размножается искусственный интеллект. Один из подходов к созданию искусственного интеллекта - если возьмём и попытаемся проэволюционировать этот искусственный интеллект, то есть не будем сами ручками создавать, а просто будем подзадавать ему какие-то задачи, всё более и более сложные, а он будет эволюционировать, при помощи какого-то процесса размножаться...

Е. БЫКОВСКИЙ - Это он будет обучаться, а не размножаться. Я не понял.

Н. АСАДОВА - Мы как человечество эволюционируем посредством размножения тоже. Ведь опыт, накопленный человечеством, да, в определённой цивилизации - его невозможно было бы передавать, если бы не было потомства, грубо говоря.

М. БУРЦЕВ - Тут очень много параллельных вещей. Тема отдельной передачи. Смотрите, есть животные, у которых есть очень много инстинктов, инстинктивное поведение. Оно выработано в процессе эволюции. То есть и это по идее не может изменяться, мутировать и так далее. То есть мы можем адаптироваться на уровне анатомии. Точно так же роботы будут адаптироваться на уровне анатомии. Потом есть то, что накоплено в процессе обучения, некоторые знания, которые получило животное в процессе жизни. Есть очень интересные теории, которые подтверждаются компьютерным моделированием. Я тоже занимался, и получается, что обучение ускоряет эволюцию. То есть те организмы, которые учатся, у них отбираются такие врождённые признаки, которые ускоряют это обучение. И это позволяет эволюционировать в десятки-сотни раз быстрее, чем если это обучение не присутствует.

Вторая вещь - когда у нас один организм может научить чему-то другой. Например, одно животное будет повторять за другим, и это знание будет передаваться. Оно может не быть врождённым тогда. Хотя эволюция всё равно будет действовать, потому что она будет влиять на то, с какой вероятностью одно животное выучит повторением другого.

У человека возникает совершенно новый механизм передачи знаний, которого нет у других видов, потому что человек, создав язык, он создаёт новый механизм передачи знаний. Во-первых, он может в устной форме передавать знания, а когда письменность появляется и вообще средства массового производства и фиксирования текста, это может быть в письменном виде, учебники и так далее. И это очень сильно как раз и позволяет человеку приобретать новые знания, потому что не нужно каждый раз на собственном опыте изобретать велосипед. Уже можно взять велосипед и приделать к нему пятое колесо, если это четырёхколесный велосипед.

Е. БЫКОВСКИЙ - Письменность - это вообще уже на самом деле прошлый век. Сейчас уже есть такие хорошие метаязыки передачи информации - аудио, визуальные. Один учитель на всю планету.

Н. АСАДОВА - Даже скорость развития человечества очень сильно возросла с появлением интернета. А если брать, начиная от Гуттенберга, когда он создал печатный станок, да, и книги были у единиц, люди были гораздо менее образованные, прогресс шёл намного медленнее, чем после изобретения этого несчастного книгопечатного станка.

Е. БЫКОВСКИЙ - Некоторые считают, что прогресс идёт по экспоненте. А ты к чему ведёшь-то?

Н. АСАДОВА - Если искусственный интеллект наделить возможностью именно размножения, да, то с какой скоростью он будет эволюционировать? Страшно подумать.

М. БУРЦЕВ - В любом случае, если такие решения будут создаваться, то они будут делаться таким образом, чтобы мы всегда могли это размножение контролировать.

Н. АСАДОВА - А если он будет такой хитрый, что он в какой-то момент обхитрит и обойдёт эти все препоны.

М. БУРЦЕВ - Я специально этот вопрос не исследовал, но я думаю, что существуют такие механизмы, которые... типа выключить везде электричество у всех компьютеров, то какой бы не был искусственный интеллект, он никуда не денется.

Н. АСАДОВА - Просто интересно. Даже игра в шахматы. Если он обыграл Гарри Каспарова, то он обыграет и найдет себе возможность получить источник питания.

Е. БЫКОВСКИЙ - Мы пытаемся просто вывести вас на страшилку.

Н. АСАДОВА - Всё, у нас такая фантастика началась.

М. БУРЦЕВ - Такое навряд ли случится, но я уверен, что есть несколько способов, которые очень сложно интеллектуальным способом победить.

Е. БЫКОВСКИЙ - Мы тут приходим к парадоксу своеобразному, что цель наша - создать искусственный интеллект, который равен или превышает человеческий. Во втором случае он точно придумает что-нибудь круче, чем мы. Другое дело - будет ли у него цель какая-то? То есть есть ещё же один сценарий, что они просто перестанут на нас обращать внимание.

М. БУРЦЕВ - Мне кажется, что вероятнее всего либо они перестанут на нас обращать внимание, но второй вариант может быть такой, что просто человек соединится с искусственным интеллектом и станет его частью.

Н. АСАДОВА - Это как?

Е. БЫКОВСКИЙ - А мы уже вошли в этот этап постепенно.

Н. АСАДОВА - Объясните мне. Я точно не вошла в этот этап.

Е. БЫКОВСКИЙ - Наргиз, у нас внешняя память, например, сейчас уже существенным образом вынесена наружу.

М. БУРЦЕВ - Здесь существует два варианта. Первый вариант такой совсем футурологический, может быть, мы с него начнём, а потом к более понятным перейдём. Первый вариант, что в принципе ничто не мешает провести некоторую процедуру, которые любят трансгуманисты и так далее, это типа сканирование мозга и так далее. То есть теоретически... технологически это сегодня нереализуемо, и непонятно, в каком временном интервале будет реализуемо, но в принципе вся наша память и вся наша личность содержится в связях нашего мозга. И уже сегодня, если мы этот мозг извлечём из человека, мы его можем, грубо говоря, под электронным микроскопом весь отсканировать, у нас будет полная структурная копия этого мозга, и потом, если мы знаем модель того, какк работают отдельные нейроны, а мы пока не знаем, то имея эту информацию, мы можем по этой структуре воссоздать полностью личность.

Н. АСАДОВА - Получается, тело человека умерло, но его интеллект, сознание живёт в этом электронном мозге и продолжает...

М. БУРЦЕВ - Да, а дальше начинаются такие замечательные вещи, вот, представьте себе, что вам уже не нужно много людей, вам не нужно много специалистов одного и того же профиля, потому что у вас есть один специалист какого-то профиля. Если вам нужно решить задачу, чтоб много людей над этим подумали, вы его просто копируете, они дружно думают над задачей. Когда они задачу решили, вы просто лишние копии убираете. Ну, я к примеру говорю.

Е. БЫКОВСКИЙ - На этом Михаил зловеще улыбнулся.

М. БУРЦЕВ - Может быть, от этого никто не страдает. Например,в процессе решения этой задачи эта группа инженеров приобретает новые знания, то потом эти новые знания аккумулируются просто в одну личность. То есть фактически с точки зрения человека это выглядит так. Я могу себя размножить, потом мои копии учатся чему-то, а потом это знание аккумулируется у меня в голове. Это один вариант.

Другой вариант - это так называемая загрузка, то есть мы сознание загружаем на другой носитель. Другой вариант...

Н. АСАДОВА - Как мы сейчас загружаем свою память?

Е. БЫКОВСКИЙ - С сознанием, конечно, сложнее.

М. БУРЦЕВ - Другой вариант, который может быть более романтический и такой более красивый - он говорит о том, что мы развиваемся, у нас были одноклеточные организмы, потом были многоклеточные организмы, а сейчас появляется интернет, ну и вообще речь и язык создаёт такую среду для коммуникаций между живыми существами, индивидуумами, который позволяет объединяться для решения каких-то задач, и в конце концов появление интернета - это такой шаг почти окончательный, который создаёт некоторую нервную систему для нашей цивилизации, для вида человека в целом. И таким образом получается то, что у нас есть в мозге нейроны и они живут как-то, а для уровня как бы всей человеческой цивилизации получается, что люди являются отдельными нейронами, те, которые связаны сетью, занимаются какой-то интеллектуальной деятельностью.

В Брюсселе даже есть такой Brain Institute. Последние пару десятилетий развивается эта идея такого глобального мозга, когда вот эти современные сети позволяют люди так интегрироваться, что они вместе могут решать задачи гораздо эффективнее, чем по отдельности. И при этом вопрос такой интересный - а у этого мозга глобального не возникнет какое-то своё сознание некоторого верхнего уровня? То есть понятно, что если мы попробуем эту задачу в обратную сторону решить, поставить себя на месте нейрона и представим, что видит нейрон в окружающей среде и что он делает, и как его действия отражаются на поведении человека, точно так же и здесь будет.

Е. БЫКОВСКИЙ - В качестве нейрона сложно себя поставить. Он видит, во-первых, только десяток нейронов, во-вторых, он осуществляет...

М. БУРЦЕВ - Десяток тысяч.

Е. БЫКОВСКИЙ - Да, оговорился. Но он осуществляет одну и ту же функцию более или менее химически. Человек же всё-таки посложнее устроен. Ему сложно будет быть элементом в метамозге.

М. БУРЦЕВ - Безусловно. Но тут вопрос в том, насколько один нейрон, как бы уровень его представления о его функциях и отношении функции к целому мозгу, человек сможет... очевидно, что нейрон не сможет осознать и понять, каким образом он участвует в этой функции целого мозга. Вопрос в том, сможет ли человек осознать функцию и цель этого, если глобальное сознание возникнет, или нет. Или же оно будет существовать...

Н. АСАДОВА - Я не понимаю, как этот глобальный мозг сейчас функционирует, если вы говорите, что уже есть какие-то эксперименты.

М. БУРЦЕВ - Нет, никто не знает, существует он или нет. Здесь гипотеза о том, что если мы такую аналогию проведём, что люди как отдельные нервные клетки, и они могут сейчас через интернет взаимодействовать друг с другом и решать какие-то сложные задачи.

То есть зачем нужны нервные клетки с точки зрения биологии? Для того чтобы организовать работу других клеток для решения какой-то задачи, которая нужна организму. То есть такие менеджеры, которые сидят в голове, которые могут быстро организовать что-то и запомнить способ, как они это делали, чтобы в следующий раз не тратить время на поиски этого решения. И фактически интернет тоже даёт такую среду, когда мы можем... организуется какая-то социальная сеть добровольцев. Пока не было интернета, таким добровольцам было сложнее самоорганизоваться, чем когда есть этот интернет. Фактически это некоторая такая подсеть людей, которые реализуют эту функцию, важную с точки зрения общества в целом. И пока эти функции могут быть отдельными, могут быть не сынтегрированы друг с другом, никакого верхнего уровня нет. Но вопрос в том, если такой уровень вдруг появится, заметим ли мы это или нет. И вообще может ли он появиться. А если он появится, насколько мы будем это понимать, и насколько наши мотивы и цели будут зависеть от этого верхнего уровня.

Е. БЫКОВСКИЙ - Он постепенно появляется, и мы уже это понимаем. То есть, например, образовательные мемы распространяются сейчас гораздо быстрее, чем... не то что гораздо, на порядки быстрее. Когда-нибудь, например, двести лет назад умение резать помидоры черри одним движением ножа распространялось бы лет 200 по планете, а так об этом...

Н. АСАДОВА - Мы все втроём видели этот ролик.

Е. БЫКОВСКИЙ - Конечно. Мы тут же все научились моментально. Это совершенно поразительная вещь. Но вообще мы на самом деле, друзья, удалились слегка от темы.

Н. АСАДОВА - Сейчас жёсткой рукой ты нас вернёшь и целых пять минут мы будем говорить, как ты хочешь.

Е. БЫКОВСКИЙ - Мы говорили сейчас о фантастической вещи совершенно, о сращивании всего человечества в единый метамозг. Тогда, наверное, нам другой искусственный интеллект не понадобится, потому что метамозг будет и так достаточно мощен, но это дело очень отдалённого будущего, а пока что мы с вами строим различные искусственные интеллекты прямо здесь и сейчас. Расскажите, Михаил, а чем вы конкретно занимаетесь у себя в лаборатории?

М. БУРЦЕВ - Мы конкретно занимаемся тем, что мы пытаемся разработать такие модели нейронов, которые позволили бы качественно улучшить те алгоритмы искусственного интеллекта, которые сейчас присутствуют.

Н. АСАДОВА - Например. Над какой задачей вы конкретно работаете?

М. БУРЦЕВ - У нас конкретно пока задачи достаточно простые, типа робот должен выучить некую последовательность действий, вернее, существует много разных последовательностей действий, и он должен их выучивать и совершать их как можно больше, но это строго определённые...

Н. АСАДОВА - Можете задачу как-то в человеческом смысле? Резать помидоры черри. Что он должен?

Е. БЫКОВСКИЙ - А это некий идеальный робот у вас как идеальный газ, или вы работаете с какой-то элементной базой?

М. БУРЦЕВ - У нас есть несколько параллельно, есть идеальный робот, он живёт на гиперкубе, представьте себе квадрат, это гиперкуб размерности два, у него есть четыре вершины. Если вы возьмёте кубик в трёхмерном пространстве, то это будет гиперкуб размерности три, потому что у него есть шесть вершин, и каждую из вершин можно описать строкой нолей и единиц длины три. Наш виртуальный агент, робот живёт на гиперкубе размерности 8, соответственно, 256 вершин, и он может двигаться, переходить от одной вершины к другой, но важно, что рёбра этого куба описываются изменениями одного бита. То есть вы по диагонали не можете перепрыгнуть в квадратике. То же самое на этом гиперкубе вы можете ходить только от одной вершины к другой. И он должен выучить последовательность рёбер, по которым он должен пройти определённые, какие-то последовательности правильные, какие-то неправильные.

Н. АСАДОВА - А как это может быть применимо на практике?

М. БУРЦЕВ - Вот, вторая модель - это робот, который должен объезжать кубики разных цветов в определённой последовательности. Мы на столе расставим кубики, он должен подъехать к кубику зелёному, красному, жёлтому, но его путь от красного к зелёному идёт мимо синего кубика, но к синему кубику он не должен подъезжать, потому что если он подъедет к синему кубику, то он всё испортит.

И в принципе мы исходим из того что любую деятельность можно описать в виде последовательности некоторых действий, которые заканчиваются какими-то конкретными результатами. То есть в данном случае результатом является подъехать к кубику такого цвета, такого цвета, такого цвета. Вот из таких трёх подзадач складывается общая задача, что вот эта траектория реализована.

Е. БЫКОВСКИЙ - Тут практически выход понятен. Через 10 лет я сяду в сиденье своего автомобиля справа, а не слева, и скажу - давай-ка, вперёд, вези меня на работу. Но при этом тот, кто повезёт меня на работу, всё равно не пройдёт тест Тьюринга.

Н. АСАДОВА - Вот по офису Гугла какого-нибудь или по их хед-офису ездит такая машина.

М. БУРЦЕВ - Почему по офису? Они ездят по улице.

Н. АСАДОВА - Это как раз и есть искусственный интеллект в действии.

М. БУРЦЕВ - Можно сказать - да. Это такой гибридный искусственный интеллект, где очень много разных методов совмещаются, чтобы решить какую-то конкретную практическую задачу.

Н. АСАДОВА - Буквально минута остаётся до конца передачи. Что вы скажете по поводу тех роботов, которые японцы очень любят показывать. Они такие, как человек выглядят, эмоции на лице изображают, хлопают в ладоши, кивают головой.

М. БУРЦЕВ - Вообще вся японская робототехника кажется какой-то игрушечной, они пытаются всё время сделать кукольное, но пока...

Н. АСАДОВА - Достижения какие-то есть у них стоящие?

М. БУРЦЕВ - Интеллектуальности нет никакой. С точки зрения внешнего вида они лучше всех и с точки зрения воспроизведения какой-нибудь моторики робота.

Е. БЫКОВСКИЙ - Или умения ходить.

Н. АСАДОВА - Получается, что Барак Обама играл с игрушкой-роботом Хонда. К сожалению, наша передача подошла к концу. Я надеюсь, что...

Е. БЫКОВСКИЙ - Как жаль. Всегда не вовремя.

Н. АСАДОВА - Ваши исследования закончатся удачно.

М. БУРЦЕВ - В каком смысле?

Е. БЫКОВСКИЙ - В том смысле, что они будут продолжаться.

Н. АСАДОВА - И вы создадите уникальный искусственный интеллект, который поможет нам жить, человечеству, и будет дружественным человечеству. А я напоминаю, что это была "Наука в фокусе". Её ведущий постоянный - Егор Быковский, главный редактор одноимённого журнала, и Наргиз Асадова. И большое спасибо нашему гостю - Михаилу Бурцеву, заведующему Лабораторией нейроинтеллекта и нейроморфных систем.

Е. БЫКОВСКИЙ - Большое-пребольшое спасибо, Михаил. Всем удачного воскресного вечера. До свидания.

Н. АСАДОВА - До свидания.


Напишите нам
echo@echofm.online
Купить мерч «Эха»:

Боитесь пропустить интересное? Подпишитесь на рассылку «Эха»

Это еженедельный дайджест ключевых материалов сайта

© Radio Echo GmbH, 2024