что такое emergent language
Emerging language vs emergent language
Давно в списке дел записать мысли по поводу разницы между этими понятиями.
Если суффикс – ent – это прилагательное. То есть это весь language (лексика, грамматика, произношение, всё остальное – вот всё вместе), что обладает некими ПОСТОЯННЫМИ характеристиками, что делает этот пласт языка самодостаточным типом, с личным местом в плане урока.
По сути это всё то, что про что заходит речь на уроке, что, с одной стороны, прогнозируемо и подконтрольно с точки зрения “когда и почему возникнет“, но сложно предугадать, что именно это будет, какая именно это будет лексическая или грамматическая единица.
Например, если на уроке в плане поговорить про хобби и интересы занимающихся, то предсказуемы только вопросы, которые ученики друг другу зададут, и если учитель их заранее спросит про их интересы в общих чертах, то можно на уроке направить разговор в более узкое русло, формулируя задания так, чтобы совсем в дебри не уйти.
Обычно в конспекте урока тем больше emergent language, чем раскованнее себя чувствует ученик, чем меньше боится спросить “а как по-английски будет то-то и то-то”, и чем больше учитель использует такую форму обратной связи, в ходе которой сказанное учеником переформулируется с использованием более естественныз выражений и дополняется ассоциативной лексикой и грамматикой (то есть идеи не просто помогает учитель сформулировать, но и развить).
На английском это подвид техники, которая называется reformulation, но подчеркну, то если речь идёт о помощи с ideation / idea development, то это just-in-time (on-demand) language input, а не чистой воды feedback, то есть это то, что teach в троице test-teach-test – выслушав от ученика очередное “я никогда не думал об этом” и “дежурную отмазку”, дальше приходится в формате language input through carefully scaffolded questions / tasks вводить всю эту лексику и грамматику, и так как неясно, в какое русло развернёт разговор в деталях, возникает он, emergent language.
Получается, что emergent language имеет постоянный признак – он semi-controlled.
Тогда что такое emerging language?
-ing намекает, что это причастие настоящего времени, и что вот это то, что прямо при нас возникает и зарождается, и … вышло из под контроля. Вот как вулкан, который начал извергаться.
Скажем, запланировали урок, но что-то пошло не так, как виделось в плане урока, и вместо того, чтобы говорить про одно, стали говорить про что-то другое – и вот тут в процессе emerged (возник) в процессе какой-то language – в конспекте урока появились записи о том, как (шучу, но в каждой шутке), как по-английски будет “влияние Луны на половую жизнь тушканчиков”, а планировали говорить про то, кто что делает в свободное время, и прогнозировалось, что разговор будет вокруг чтения и тенниса, а не про Луну и тушканчиков.
В момент, когда идёт разговор про тушканчиков и Луну, new language is emerging in real time. What you hear and what you and your students are saying is highly likely to be subsequently classified as (spontaneously, uncontrollably) emerged language. Ассоциативные ряды могут быть у людей о чём угодно – и про то, есть ли разница между сусликами и тушканчиками, и о том, что сказал Армстронг (какой там был артикль во фразу про шаг для человека и человечества), и про то, сколько стоит участок для дачи на Луне, и сколько он сейчас стоит, и где купить можно.
Триггернуть, спровоцировать emerging language может что угодно. И он совершенно неподконтролен нам ни по качеству, ни по количеству. Иногда это полная дичь, если своими именами. А иногда на порядок полезнее того, что планировалось.
А вот emergent language – он контролируется. Не очень легко, он тоже может во все стороны мотылять, если учитель не будет давать более строгие инструкции, задействуя elicitation techniques, направляя разговор на подконтрольные подтемы, а также формулируя инструкции к заданиям так, чтобы было ограничение по тому, что можно или нужно сказать, либо по количеству языка (the amount of language) с точки зрения либо количества слов и предложений, либо по времени, либо всего сразу.
Some sentences to contemplate:
How you deal with emerging language in class determines whether it will be classified as spontaneously emerged or emergent after the lesson.
The better your lesson plan, the more manageable and predictable emergent language.
The weaker your elicitation and task design skills, the more likely you are to end up struggling with loads of uncontrollably emerging language in the classes you teach.
Есть ли жизнь без учебников и методик: знакомимся с подходом Teaching Unplugged
Сегодня буду делиться личным — собственным достижением, разочарованием и открытием. Спустя пару лет после начала моей работы в качестве преподавателя английского языка (что включало в себя безграничное количество книг, бумажек, копий, вырезание карточек, наклеивание и придумыванием разных, как мне казалось, новшеств для более интересного и эффективного обучения), ко мне пришла мысль… Нельзя ли учить без этого ужасного количества бумаги, в котором студенты проводят больше времени в поисках нужной страницы, нежели усваивая полезную информацию?
И я попробовала одно из занятий провести именно так: с минимальными затратами на ксерокс, сканер и принтер, даже почти без учебника. Мы говорили…. Говорили о том, что студенты сами хотели рассказать, о том, что их тревожило, о том, какие планы они строили на выходные. Конечно, будучи «правильным» учителем, я исправляла их ошибки, и мы плавно переходили к мелким грамматическим отступлениям. Приходилось отрабатывать произношение многих слов, часто хором, что очень всех веселило, дописывать интересные слова на доску и делать фидбеки экспромтом. Но глаза у моих учеников сияли! Они наконец-то почувствовали, что английский для них живой, востребованный здесь и сейчас, и что учить его куда интереснее, когда темы исходит от них самих. И тут я подумала, а правильно ли я делаю, можно ли так?
Вскоре я узнала, что «все придумано до нас», и «мой» новый метод уже давно запатентован. И никем иным как Скоттом Торнрбери. Счастью моему не было границ, ведь он так детально описал зачем и, главное, как практиковать этот метод. Метод, который Торнберри назвал Dogme.
Как работать с этим методом, какие упражнения использовать?
Не обошлось в мире теории и без критики Догме: lack of input, no zone of development, lack of teacher’s interventions… На это сам Торнберри отвечает здесь. П ослушайте, не поленитесь!
Насколько эффективен этот метод, решать каждому преподавателю самостоятельно, и поскольку идеального метода не существует, то возможно, их грамотная комбинация будет самым разумным выбором?
классный час
all things Young Learners / английский и дети
IATEFL 2o19, Day 2 — How do experienced teachers deal with emergent language?
Это была одна из лучших сессий за всю конферецию. Спикеры – Danny Norrington-Davies (автор From Rules to Reasons) and Nick Andon, оба из King’s College London. Ниже – конспект сессии с моим комментариями, которые, впрочем, никак не отмечены – be advised.
Сессия была посвящена небольшому исследованию emergent language, которое провели Дэнни и Ник. Emergent language – это язык, который «всплывает» на уроке по ходу дела, в отличие от target language (который учитель заранее планирует вводить на уроке). Основные варианты EL – ошибки студентов (которые учитель берёт в работу) или, наоборот, студент что-то удачно сказал (и учитель это подчёркивает, показывает остальным в группе). Вообще, emergent language – это большая и важная тема, которую поддерживает IH (где Дэнни раньше работал) и которая занимает одно из центральных мест на Delta (по крайней мере, у меня так было :)). Есть идея, что через ответ на спонтанный запрос студента на уроке (продиктованный необходимостью что-то такое своё выразить) или через поправление того, что говорит студент, язык учеников улучшается гораздо лучше, чем если ученик работает только с лексикой из учебника. А ещё, конечно, emergent language – это один из краеугольных камней the lexical approach, но об этом на сессии не говорилось, это я так сама думаю.
Работа с emergent language также является частью идеи focus on form – то есть, акцент на смысл и его передачу (форму), а не на грамматическую аккуратность.
Почему Дэнни и Ник думают, что это EL – это важно и решили понаблюдать за этим внимательней? Во-первых, они хотели выделить лучшие практики работы с EL; во-вторых – понять, как относятся учителя к такой работе; в-третьих, разработать инструменты для (само-)анализа уроков как для тренеров/методистов, так и для участников курсов и вообще широкого круга коллег; в-четвёртых, развеять миф – или по крайней мере понемногу его начать развеивать – о том, что работа с EL только для опытных учителей.
Что требуется для работы с EL от учителя? Во-первых, его нужно, конечно, успевать замечать в классе, когда идёт устная работа и есть некоторый уровень шума. Во-вторых, нужно быстро сообразить, что именно подхватить, что стоит внимания. Как это подхватить? Нужно ли переформулировать и как это подать студентам? И, наконец, ещё как-то надо оценить успех этой операции.
В ходе этого небольшого исследования Дэнни и Ник работали с шестью опытными учителями, уроки которых были записаны на видео и затранскрибированы (уфф!), а также с учителями проводились интервью.
На хэндауте ниже можно посмотреть на виды teacher interventions, которые выделили Дэнни и Ник. Это довольно полезный хэндаут, потому что там перечислены все виды работы с EL, которые всплывают на уроке, но самое золотое – это, конечно, находки в результате исследования.
Находки такие: во-первых, даже маленькое, но запланированное задание может generate (стимулировать, типа?) очень много хорошего спонтанного языка на уроке. Добавлю от себя, что про «маленькое, хорошо запланированное, которое стимулирует богатые речевые ситуации» много говорит и показывает, как планировать, Хью Деллар. Как-нибудь про это напишу – этого было очень много на курсе в Lexical Lab, и это было тоже суперзолото. Во-вторых, опытные учителя видят и всегда подхватывают ommunication breakdowns – то есть, зорко замечают то, что у студентов не получилось сказать, и накидываются на это. Также накидываются на вопросы студенты «а как сказать то-то». Третье: довольно часто опытные учителя пользовались communicative recast/extension, то есть, немножко поправляли и показывали, как лучше и как ещё можно. Четвертое: опытные учителя помогают ученикам вспоминать лексику, которую ученики проходили, но подзабыли, типа «а помните, у нас встречалось это слово, когда мы слушали песню на прошлом уроке?»). Ну и, наконец, учителя подсказывают варианты, пользуясь hedging, то есть, немного дистанцируются от сказанного, используя фразы вроде «Я бы сказал + блаблабла», «Я бы скорее предпочёл + такое-то слово» – это вежливенько.
Чем эти находки могут быть полезны?
Во-первых, конечно же, нужны тренинги по работе с emergent language, и этому важно учить будущих/новых учителей, в частности на «входных» курсах вроде Celta. Во-вторых, получились полезные taxonomies, и вот вы можете их даже скачать и обдумать, и примерить, конечно, к себе. Может быть, нам стоит увеличивать time on task, включая туда работу над emergent language. Также стоит подумать о том, как можно тренировать студентов работать и вообще обращать внимание на emergent language.
Лексический подход на практике: как сделать любой урок лексико-ориентированным
Продолжаем цикл статей про лексический подход. Сегодня делимся алгоритмом планирования лексико-ориентированного урока. Алгоритм подойдет для совершенно любого УМК.
Шаг 1. Определите цель урока
Сформулируйте, что в конце данного конкретного урока смогут сделать ваши ученики. Цель должна быть ученико-ориентированной, то есть каждый ученик в конце урока с гордостью и восторгом должен сказать: «Я теперь могу поговорить на английском о …».
Как формулировать цель урока:
🚫 «В конце урока вы сможете правильно употреблять Present Perfect».
Ученику это ни о чем не говорит, ему и без Present Perfect хорошо живется.
✅ «В конце урока сможете говорить на английском языке о своих достижениях».
Здесь главной целью для ученика становится изучение той лексики, которая необходима конкретно для него, а это как раз то, для чего служит лексический подход.
Шаг 2. Найдите в учебнике упражнения на говорение
При выборе упражнений хорошо работает прием «Пятнадцатиминутный урок». Представьте, что урок длится всего 15 минут. Выберите одно упражнение, которое, на ваш взгляд, поможет учащимся достигнуть цели урока всего за 15 минут. Это упражнение и будет вашим фокусом.
Если по календарно-тематическому планированию у вас должен быть урок, направленный, например, на совершенствование грамматических навыков, составьте список общих или личных вопросов, в котором наряду с необходимыми грамматическими конструкциями ученик будет активно употреблять изученную лексику.
Шаг 3. Составьте примерные ответы учеников на уроке
Посмотрите на ответы со следующих точек зрения:
— какие трудности с точки зрения лексики могут возникнуть у учащихся при ответе на тот или иной вопрос;
— какие слова и выражения из тех, что не входят в активный вокабуляр по изучаемой тематике, могут понадобиться;
— какими более «продвинутыми» выражениями можно заменить некоторые из ответов.
Шаг 4. Подготовьте пару дополнительных упражнений
Дополнительные упражнения должны быть направлены на отработку использованного в ходе урока вокабуляра.
Подробно об этом писали в статье Как работать с emergent vocabulary
Важно: на самом деле, вам не нужно придумывать свои упражнения или искать их в дополнительных источниках. Один из принципов лексического подхода — «не изобретать заново учебник». Нужно научиться пользоваться тем материалом, который имеется:
Более подробно о лексическом подходе можно узнать в книгах:
Что такое Emergent Communication и почему это нужно знать
TL;DR: перевод поста Михаила Нуховича What is Emergent Communication and Why You Should Care: что это такое, зачем это нужно, какие есть точки зрения на задачу и перспективные направления исследований. Обучение с подкреплением, обработка естественного языка, теория игр и философия. Публикуется с любезного разрешения автора.
Вот уже два года как меня увлекла Emergent Communication (EC), по которой я теперь пишу магистерскую диссертацию. В этом году я участвую в организации семинара, благодаря которому у меня и возник интерес к этой области: Workshop on Emergent Communication на конференции NeurIPS. Планирую написать целую серию из постов об EC для широкой аудитории, чтобы помочь всем интересующимся заглянуть в эту сферу (ну и чтобы писать диссертацию было повеселее).
Надеюсь, что сумею передать хотя бы часть того волшебства, под чарами которого я до сих пор нахожусь! Это первый пост из планируемой серии, в нём я расскажу об основных идеях и приведу пару причин, по которым стоит изучать EC.
Что такое Emergent Communication?
Emergent Communication (EC) — область, в которой занимаются исследованиями «возникновения протоколов коммуникации в ходе передачи данных для решения [некоторой] задачи» (Foerster et al., 2016) двумя агентами, находящимися в некоторой среде [1]. Современные подходы к EC — методы глубокого обучения (deep learning), в частности, глубокого многоагентного обучения с подкреплением (deep multi-agent reinforcement learning; MARL); также EC рассматривается в контексте в контексте обработки естественного языка.
В распространённой постановке задачи — у нас есть несколько агентов, находящихся в некоторой среде. Агенты обмениваются сообщениями по определённому «лингвистическому каналу», видному некоторым остальным. Как правило, агентам не выдаётся никаких установок, каким именно должно быть это «общение», и они сами придумывают протокол в ходе обучения с подкреплением. Он позволяет агентам координировать действия друг друга и эффективно передавать информацию. Описанное выше звучит довольно абстрактно, давайте рассмотрим одну из простейших конфигураций в качестве примера.
Игры «отправитель-получатель»
Игры «отправитель-получатель» (sender-receiver games) — базовые игры для двух игроков: отправителя и получателя [2]. У отправителя есть какая-то информация, которой не обладает получатель, и цель игры — передать эту информацию так, чтобы получатель понял.
Например, отправитель загадывает либо треугольник, либо квадрат, либо пятиугольник. Получателю известен набор вариантов фигур, но он не знает, какую из них загадал отправитель. Мы задаём словарь, и отправитель на его основе формирует сообщение. Получатель пытается по сообщению понять, какая именно фигура у отправителя, и высказывает догадку. От того, правильный ответ или нет, зависит, что получат оба — награду или штраф. В процессе повторения этой процедуры обучения агенты рано или поздно договорятся, какие сообщения соответствуют каким фигурам. Например, если сообщение — это один из трёх возможных токенов, агенты научатся сопоставлять каждой из фигур свой токен [3]: токен «0» — квадрат, токен «1» — пятиугольник, токен «2» — треугольник.
Важно отметить, что обычно не существует единого «правильного» протокола, которого мы пытаемся добиться от модели; квадрат мог бы отображаться и в токен «1», и в токен «2», или даже в распределение над токенами, которое получатель отгадывает с некоторой вероятностью. Emergent Communication — это не решение задачи обучения с учителем. Цель — не получить конкретный протокол, требуется выработать какой угодно, лишь бы решал нашу задачу. Если же игра устроена так, что за верное угадывание квадрата мы не получаем никакой награды, то модель не будет и пытаться что-то чему-то сопоставлять. То есть, говоря короче, в EC важна не задача передачи всей имеющейся информации, а только необходимой в рамках заданной «игры». Полезность и необходимость задаются устройством игры и вознаграждениями агентов, поэтому главное — чтобы в ходе обучения появился протокол коммуникации, который помогает играть в игру. Какова бы они ни была.
Игры посложнее
Однако на таких простеньких играх EC не заканчивается. Естественное продолжение рассмотренных идей — использование более сложных типов данных, например, изображений (Lazaridou et al., 2017) или игровых миров (Resnick et al., 2018). Сообщения могут быть переменной длины (Havrylov et al., 2017), и в передаче данных может быть несколько этапов взаимного обмена сообщениями (Das, Kottur et al., 2017). Можно позволить обоим агентам и отправлять, и получать сообщения и, используя это, устроить одновременную переписку между тремя и более агентами (Foerster et al., 2016). Даже кооперация в основе задачи не является обязательной, можно устраивать и игры, где участников много, и их интересы конкурируют (Leibo et al., 2017).
Зачем заниматься Emergent Communication?
Итак, мы проговорили, что такое EC, и теперь самое время задаться вопросом: зачем всё это нужно? Единого ответа нет, да и мотивация обычно зависит от конкретного исследовательского вопроса. Однако мне кажется, что подходы в большей части статей можно поделить на две группы.
Моделирование возникновения языка
Ясно, что ни среда, ни RL-агенты не в состоянии охватить всю сложность этого мира и всех механизмов человеческого обучения. Но упрощённые модели тоже по-своему ценны. EC можно рассматривать как модель «одного из возможных путей» к появлению человеческого языка. Подбирая упрощённые версии настоящих ситуаций, в которых нужна коммуникация, можно эмпирически проверять, достаточно ли «давления» заданных условий для появления в сообщениях агентов фундаментальных явлений, присущих естественному языку [4].
В последние годы умы исследователей будоражит вопрос, как сделать так, чтобы агенты обменивались сообщениями на композициональном языке. Написано много статей, проверяющих разные гипотезы и подходы. Появление композиционального языка в ходе обучения будет не просто любопытным научным достижением. Оно может оказаться необходимым для задач понимания языка (language understanding), в частности, в задаче систематического обобщения за пределами обучающей выборки (Lake and Baroni, 2018). То есть работы по моделированию проявления разных аспектов естественных языков ведутся не из одного только научного интереса, а для будущих прикладных «инженерных» и лингвистических задач.
Улучшение протоколов
Emergent Communication необязательно связана с естественным языком. В базовой постановке задачи два абстрактных агента обмениваются сообщениями любой природы. Конечно, современный мир уже давно связан сетями компьютеров, передающих данные по различным протоколам — от TCP/IP до Bluetooth. Однако многие современные протоколы никогда вычислительно не оптимизировались под задачи, для которых они и были разработаны. Как правило, это фиксированные наборы правил и наперёд заданные механизмы.
Подход же, о котором мы говорим, даёт надежду на то, что «выученные» протоколы будут лучше прежних подходить для своих задач, окажутся более эффективными и устойчивыми. Например, в одном из исследований выученные протоколы позволяют обмениваться в среднем более эффективными сообщениями и неявно учитывают их распределение (Kraska et al, 2018). И, что ещё круче, если у нас есть особые требования к протоколам, можно просто включить их в функцию потерь (невязку), которую мы минимизируем в ходе обучения.
Эти идеи можно объединить с возможностью выучивать протокол одновременно со стратегией (policy). Сейчас беспилотные автомобили становятся всё ближе к реальности, но должна ли координация между ними ограничиваться теми же способами общения, что используют водители? Идея о том, что автономные машины могли бы учиться координировать свои действия сами, звучит довольно разумно. Так они могли бы предупреждать следующие за ними автомобили, что впереди авария, или передавать другим водителям свой маршрут. Главная мысль — коммуникационные протоколы между машинами могут и не ограничиваться придуманными людьми наборами правил.
Моделирование и координация действий
Главный козырь хорошего рассказчика анекдотов — знание своей аудитории. То же верно и для коммуникации: агентам нужно «понимать» и моделировать агентов, с которыми происходит взаимодействие. Хороший отправитель видит разницу между тем, что знает он, и тем, что знает получатель. Используя это, для очередного этапа передачи сообщений он выделяет и готовит наиболее важные для получателя на данном шаге фрагменты известной ему информации. Таким образом, залог эффективной коммуникации — моделирование оппонента, равно как и понимание контекста.
Это очевидно на примере игр, в которых есть неявная коммуникация, например, в Hanabi (Bard et al., 2019). Но ещё важнее моделировать оппонента в конкурентных играх — чтобы вести явную стратегическую коммуникацию. Используя коммуникативные игры в качестве испытательного полигона, можно улучшить коммуникацию, если лучше понимать и моделировать противника.
«Восходящий» подход к возникновению языка
или Bottom-Up Natural Language
Последняя точка зрения на Emergent Communication, по сравнению с прочими — полёт на Луну (с привкусом философии). Предлагается рассматривать EC как метод порождения/понимания языка. Согласно Людвигу Витгенштейну (1953) окружающая нас среда определяет не только некоторые протоколы взаимодействия, но в том числе и устройство человеческого языка. Можно сказать, что то, что сейчас делается в natural language understanding («понимание языка» как область NLProc) — это «нисходящий» подход: мы смотрим на контексты слов в уже написанном тексте и пытаемся вывести их значения. Тогда подход Emergent Communication — «восходящий»: если мы будем обучать язык в окружении, похожем на нашу реальность, то полученный протокол может оказаться эквивалентным естественному языку.
Смысл вот в чём: если дать агентам ту же среду, что у людей, то можно надеяться, что удастся установить связи между возникающим в ходе обучения языком агента и естественным языком. Если удастся получать такое отображение, тогда у нас будет не только возникший в процессе язык, но и целая система, которая наделяет слова по-настоящему связанным с ними смыслом. Ведь он будет определяться тем, в каких ситуациях упоминается то или иное слово. Возможно, это окажется самым правильным подходом к задачам language understanding — и потенциально более эффективным по сравнению с современными подходами, которые имеют дело только с собственно текстом.
Заключение
В посте я изложил основы Emergent Communication и постарался набросать возможные направления для исследований. Я не пытался дать исчерпывающие описания и объяснения, а, скорее, хотел показать на примерах, как устроена эта зарождающаяся многообещающая область, полная интересных направлений. Многие из идей в ней — не новость, поэтому важно иногда оглядываться на более ранние работы в экономике (сигнальные игры), теории игр и теории информации. Не переключайтесь, скоро в блоге на моём сайте будет новый пост, в котором мы отправимся в прошлое и разберёмся со свежими достижениями.
Благодарности
Спасибо моей подруге Christine Xu за комментарии и правки, моему соавтору Travis Lacroix и моим коллегам по организации семинара за поддержку и вычитывание текста.
Литература
Bard, Nolan, Jakob N. Foerster, Sarath Chandar, Neil Burch, Marc Lanctot, H. Francis Song, Emilio Parisotto, Vincent Dumoulin, Subhodeep Moitra, Edward Hughes, Iain Dunning, Shibl Mourad, Hugo Larochelle, Marc G. Bellemare, Michael Bowling. “The Hanabi Challenge: A New Frontier for AI Research” Artificial Intelligence Nov 2019
Das, Abhishek, Satwik Kottur, José M. F. Moura, Stefan Lee, Dhruv Batra. “Learning Cooperative Visual Dialog Agents with Deep Reinforcement Learning.” ICCV 2017
Foerster, Jakob N., Yannis M. Assael, Nando de Freitas and Shimon Whiteson. “Learning to Communicate with Deep Multi-Agent Reinforcement Learning.” NIPS 2016
Havrylov, Serhii, Ivan Titov. “Emergence of Language with Multi-agent Games: Learning to Communicate with Sequences of Symbols” NIPS 2017
Kraska, Tim, Alex Beutel, Ed H. Chi, Jeffrey Dean and Neoklis Polyzotis. “The Case for Learned Index Structures.”» SIGMOD 2018
Lake, Brenden M., Marco Baroni. “Generalization without systematicity: On the compositional skills of sequence-to-sequence recurrent networks.” ICML 2018
Lazaridou, Angeliki, Karl Moritz Hermann, Karl Tuyls and Stephen Clark. “Emergence of Linguistic Communication from Referential Games with Symbolic and Pixel Input.” ICLR 2018
Lazaridou, Angeliki, Alexander Peysakhovich and Marco Baroni. “Multi-Agent Cooperation and the Emergence of (Natural) Language.” ICLR 2017
Leibo, Joel Z., Vinícius Flores Zambaldi, Marc Lanctot, Janusz Marecki and Thore Graepel. “Multi-agent Reinforcement Learning in Sequential Social Dilemmas.” AAMAS 2017
Mordatch, Igor and Pieter Abbeel. “Emergence of Grounded Compositional Language in Multi-Agent Populations.” AAAI 2018
Resnick, Cinjon, Wes Eldridge, David Ha, Denny Britz, Jakob Foerster, Julian Togelius, Kyunghyun Cho, Joan Bruna. “Pommerman: A Multi-Agent Playground.” Arxiv 2018
Resnick, Cinjon, Wes Eldridge, David Ha, Denny Britz, Jakob Foerster, Julian Togelius, Kyunghyun Cho, Joan Bruna. “Pommerman: A Multi-Agent Playground.” Arxiv 2018
Wittgenstein, Ludwig. “Philosophical investigations.” 1953.
Как ссылаться на этот текст
Примечания
[1]: Этот абзац был задуман как упрощённое описание, и не включает в себя некоторые связанные разделы и их историю (например, signalling в экономике, в эволюционной теории игр, в вычислительной биологии и т.д.), но об этом будет рассказ в следующих постах. Внимательный читатель также заметит, что во всех формулировках даётся очень расплывчатое описание, где именно происходит коммуникация.
[2]: У этого типа игр есть много названий — от “signalling games” (Skryms, 2010) до “referential games” (Lazaridou et al, 2016) и пр.
[3]: Сопоставление лингвистических символов объектам окружающей среды в машинном обучении называют ‘grounding’. Можно ознакомиться с хорошим обсуждением этого термина в докладе Криса Мэннинга на VIGiL @ NeurIPS 2018.
[4]: Это усиливается и тем, что обучение с подкреплением является не только мощным методом поиска, но и связано с биологическим обучением на основе опыта (Sutton and Barto, 1998).
От переводчика
Перевод термина Emergent Communication – та ещё задачка. Возникающая коммуникация? Зарождающая? Появляющаяся? Мне показалось, что лучше взять термин из теории систем, но коллеги отговорили, поэтому в тексте используется название на английском. Что касается “коммуникации” – никакой другой перевод этого слова не кажется достаточно общим. Но если у вас есть другие идеи, поделитесь, пожалуйста, ими в комментариях.
Автор перевода — Антон Алексеев, лаборатория искусственного интеллекта ПОМИ РАН. За помощь в подготовке текста к публикации и ценные замечания переводчик благодарит Михаила Нуховича (автора статьи; отдельная благодарность за идею коллажа для титульной картинки!), Дениса Кирьянова kirdin и Михаила Евтихиева aspr_spb.