Реализация асинхронности в Python с модулем asyncio
Асинхронное программирование — это особенность современных языков программирования, которая позволяет выполнять операции, не дожидаясь их завершения. Асинхронность — одна из важных причин популярности Node.js.
Представьте приложение для поиска по сети, которое открывает тысячу соединений. Можно открывать соединение, получать результат и переходить к следующему, двигаясь по очереди. Однако это значительно увеличивает задержку в работе программы. Ведь открытие соединение — операция, которая занимает время. И все это время последующие операции находятся в процессе ожидания.
А вот асинхронность предоставляет способ открытия тысячи соединений одновременно и переключения между ними. По сути, появляется возможность открыть соединение и переходить к следующему, ожидая ответа от первого. Так продолжается до тех пор, пока все не вернут результат.
На графике видно, что синхронный подход займет 45 секунд, в то время как при использовании асинхронности время выполнения можно сократить до 20 секунд.
Где асинхронность применяется в реальном мире?
Асинхронность больше всего подходит для таких сценариев:
Разница в понятиях параллелизма, concurrency, поточности и асинхронности
Параллелизм — это выполнение нескольких операций за раз. Многопроцессорность — один из примеров. Отлично подходит для задач, нагружающих CPU.
Concurrency — более широкое понятие, которое описывает несколько задач, выполняющихся с перекрытием друг друга.
Поточность — поток — это отдельный поток выполнения. Один процесс может содержать несколько потоков, где каждый будет работать независимо. Отлично подходит для IO-операций.
Асинхронность — однопоточный, однопроцессорный дизайн, использующий многозадачность. Другими словами, асинхронность создает впечатление параллелизма, используя один поток в одном процессе.
Составляющие асинхронного программирования
Разберем различные составляющие асинхронного программирования подробно. Также используем код для наглядности.
Сопрограммы
Сопрограммы (coroutine) — это обобщенные формы подпрограмм. Они используются для кооперативных задач и ведут себя как генераторы Python.
Пример сопрограммы
Асинхронное программирование в Python
Авторизуйтесь
Асинхронное программирование в Python
Асинхронное программирование на Python становится все более популярным. Для этих целей существует множество различных библиотек. Самая популярная из них — Asyncio, которая является стандартной библиотекой Python 3.4. Из этой статьи вы узнаете, что такое асинхронное программирование и чем отличаются различные библиотеки, реализующие асинхронность в Python.
По очереди
В каждой программе строки кода выполняются поочередно. Например, если у вас есть строка кода, которая запрашивает что-либо с сервера, то это означает, что ваша программа не делает ничего во время ожидания ответа. В некоторых случаях это допустимо, но во многих — нет. Одним из решений этой проблемы являются потоки (threads).
Потоки дают возможность вашей программе выполнять ряд задач одновременно. Конечно, у потоков есть ряд недостатков. Многопоточные программы являются более сложными и, как правило, более подвержены ошибкам. Они включают в себя такие проблемы: состояние гонки (race condition), взаимная (deadlock) и активная (livelock) блокировка, исчерпание ресурсов (resource starvation).
Переключение контекста
Хотя асинхронное программирование и позволяет обойти проблемные места потоков, оно было разработано для совершенно другой цели — для переключения контекста процессора. Когда у вас есть несколько потоков, каждое ядро процессора может запускать только один поток за раз. Для того, чтобы все потоки/процессы могли совместно использовать ресурсы, процессор очень часто переключает контекст. Чтобы упростить работу, процессор с произвольной периодичностью сохраняет всю контекстную информацию потока и переключается на другой поток.
Асинхронное программирование — это потоковая обработка программного обеспечения / пользовательского пространства, где приложение, а не процессор, управляет потоками и переключением контекста. В асинхронном программировании контекст переключается только в заданных точках переключения, а не с периодичностью, определенной CPU.
Эффективный секретарь
Теперь давайте рассмотрим эти понятия на примерах из жизни. Представьте секретаря, который настолько эффективен, что не тратит время впустую. У него есть пять заданий, которые он выполняет одновременно: отвечает на телефонные звонки, принимает посетителей, пытается забронировать билеты на самолет, контролирует графики встреч и заполняет документы. Теперь представьте, что такие задачи, как контроль графиков встреч, прием телефонных звонков и посетителей, повторяются не часто и распределены во времени. Таким образом, большую часть времени секретарь разговаривает по телефону с авиакомпанией, заполняя при этом документы. Это легко представить. Когда поступит телефонный звонок, он поставит разговор с авиакомпанией на паузу, ответит на звонок, а затем вернется к разговору с авиакомпанией. В любое время, когда новая задача потребует внимания секретаря, заполнение документов будет отложено, поскольку оно не критично. Секретарь, выполняющий несколько задач одновременно, переключает контекст в нужное ему время. Он асинхронный.
Потоки — это пять секретарей, у каждого из которых по одной задаче, но только одному из них разрешено работать в определенный момент времени. Для того, чтобы секретари работали в потоковом режиме, необходимо устройство, которое контролирует их работу, но ничего не понимает в самих задачах. Поскольку устройство не понимает характер задач, оно постоянно переключалось бы между пятью секретарями, даже если трое из них сидят, ничего не делая. Около 57% (чуть меньше, чем 3/5) переключения контекста были бы напрасны. Несмотря на то, что переключение контекста процессора является невероятно быстрым, оно все равно отнимает время и ресурсы процессора.
Зеленые потоки
Зеленые потоки (green threads) являются примитивным уровнем асинхронного программирования. Зеленый поток — это обычный поток, за исключением того, что переключения между потоками производятся в коде приложения, а не в процессоре. Gevent — известная Python-библиотека для использования зеленых потоков. Gevent — это зеленые потоки и сетевая библиотека неблокирующего ввода-вывода Eventlet. Gevent.monkey изменяет поведение стандартных библиотек Python таким образом, что они позволяют выполнять неблокирующие операции ввода-вывода. Вот пример использования Gevent для одновременного обращения к нескольким URL-адресам:
Как видите, API-интерфейс Gevent выглядит так же, как и потоки. Однако за кадром он использует сопрограммы (coroutines), а не потоки, и запускает их в цикле событий (event loop) для постановки в очередь. Это значит, что вы получаете преимущества потоков, без понимания сопрограмм, но вы не избавляетесь от проблем, связанных с потоками. Gevent — хорошая библиотека, но только для тех, кто понимает, как работают потоки.
27–28 ноября, Онлайн, Беcплатно
Давайте рассмотрим некоторые аспекты асинхронного программирования. Один из таких аспектов — это цикл событий. Цикл событий — это очередь событий/заданий и цикл, который вытягивает задания из очереди и запускает их. Эти задания называются сопрограммами. Они представляют собой небольшой набор команд, содержащих, помимо прочего, инструкции о том, какие события при необходимости нужно возвращать в очередь.
Функция обратного вызова (callback)
В Python много библиотек для асинхронного программирования, наиболее популярными являются Tornado, Asyncio и Gevent. Давайте посмотрим, как работает Tornado. Он использует стиль обратного вызова (callbacks) для асинхронного сетевого ввода-вывода. Обратный вызов — это функция, которая означает: «Как только это будет сделано, выполните эту функцию». Другими словами, вы звоните в службу поддержки и оставляете свой номер, чтобы они, когда будут доступны, перезвонили, вместо того, чтобы ждать их ответа.
Давайте посмотрим, как сделать то же самое, что и выше, используя Tornado:
В примере вы можете заметить, что первая строка функции handle_response проверяет наличие ошибки. Это необходимо, потому что невозможно обработать исключение. Если исключение было создано, то оно не будет отрабатываться в коде из-за цикла событий. Когда fetch выполняется, он запускает HTTP-запрос, а затем обрабатывает ответ в цикле событий. К тому моменту, когда возникнет ошибка, стек вызовов будет содержать только цикл событий и текущую функцию, при этом нигде в коде не сработает исключение. Таким образом, любые исключения, созданные в функции обратного вызова, прерывают цикл событий и останавливают выполнение программы. Поэтому все ошибки должны быть переданы как объекты, а не обработаны в виде исключений. Это означает, что если вы не проверили наличие ошибок, то они не будут обрабатываться.
Другая проблема с обратными вызовами заключается в том, что в асинхронном программировании единственный способ избегать блокировок — это обратный вызов. Это может привести к очень длинной цепочке: обратный вызов после обратного вызова после обратного вызова. Поскольку теряется доступ к стеку и переменным, вы в конечном итоге переносите большие объекты во все ваши обратные вызовы, но если вы используете сторонние API-интерфейсы, то не можете передать что-либо в обратный вызов, если он этого не может принять. Это также становится проблемой, потому что каждый обратный вызов действует как поток. Например, вы хотели бы вызвать три API-интерфейса и дождаться, пока все три вернут результат, чтобы его обобщить. В Gevent вы можете это сделать, но не с обратными вызовами. Вам придется немного поколдовать, сохраняя результат в глобальной переменной и проверяя в обратном вызове, является ли результат окончательным.
Сравнения
Если вы хотите предотвратить блокировку ввода-вывода, вы должны использовать либо потоки, либо асинхронность. В Python вы выбираете между зелеными потоками и асинхронным обратным вызовом. Вот некоторые из их особенностей:
Зеленые потоки
Обратный вызов
Как решить эти проблемы?
Прим. перев. В примерах используется aiohttp версии 1.3.5. В последней версии библиотеки синтаксис другой.
Несколько особенностей, которые нужно отметить:
Единственная проблема заключается в том, что объект выглядит как генератор, и это может вызвать проблемы, если на самом деле это был генератор.
Async и Await
Заключение
В Python встроена отличная асинхронная библиотека. Давайте еще раз вспомним проблемы потоков и посмотрим, решены ли они теперь:
Несмотря на то, что Asyncio довольно хорош, у него есть и проблемы. Во-первых, Asyncio был добавлен в Python недавно. Есть некоторые недоработки, которые еще не исправлены. Во-вторых, когда вы используете асинхронность, это значит, что весь ваш код должен быть асинхронным. Это связано с тем, что выполнение асинхронных функций может занимать слишком много времени, тем самым блокируя цикл событий.
Существует несколько вариантов асинхронного программирования в Python. Вы можете использовать зеленые потоки, обратные вызовы или сопрограммы. Хотя вариантов много, лучший из них — Asyncio. Если используете Python 3.5, то вам лучше использовать эту библиотеку, так как она встроена в ядро python.
Асинхронность в Python
Содержание статьи
Словарик терминов
Что важно знать?
Асинхронность — не то же самое, что и параллельность.
Конкурентность — разбиение задач на блоки и определение того, как будет осуществляться переключение между этими задачами. Другими словами, 2 большие задачи может выполнять один и тот же работник, переключаясь между ними.
Благодаря конкурентности можно поставить одновременно выполняться 2 задачи: большую и маленькую, и маленькая выполнится быстрее, независимо от того, в каком порядке они были вызваны.
Параллельность — выполнение 2 задач одновременно. Один работник не может выполнять параллельно 2 задачи, поэтому используем несколько (например, несколько ядер процессоров)
Еще есть работа в тредах (Threads), или на русском, потоках
В обеих библиотеках есть потоки, где и выполняется код, но отличие Asyncio в том, что тут вся работа явно выполняется в одном потоке (объекте loop)!
И место, где осуществлять передачу управления другой задаче определяет именно программист. В asyncio именно задачи выполняются конкурентно, но используют они общий поток.
А в тредах потоков может быть несколько, и решение какому потоку передать управление — принимает операционная система (ОС)
Из-за этого существуют проблемы с тем, как и какие данные используются в потоках и могут возникать сложно-отслеживаемые
баги и race-condition.
CPU-bound vs I/O-bound
В программировании часто различают эти два типа задач, чтобы определить правильный подход к оптимизации кода:
Библиотека Asyncio (от слов Async и I/O) решает проблему ввода-вывода с помощью асинхронного переключения между
такими задачами. Теперь вечный цикл работает не на одну задачу, а на все сразу.
Для того чтобы сделать это возможным, программист «делит» свою программу на подзадачи и «говорит» где одной функции
приостановиться, а где другой.
Абстрактный пример №1:
В жаркий летний день, перед тем как отправиться домой, курьер доставки взял 2 (точки «B» и «D») заказа, которые
находятся по разные стороны от него. Доставлять заказы он будет на велосипеде.
При этом, по пути к «B», нужно заехать в пиццерию (точка «A»), а по пути к заказу «D» в ресторан (точка «C»).
По пути к точке «A» он вспоминает что нужно домой купить продукты, но он не знает какие. Курьер знает, что где-то на
половине маршрута между каждыми 2-мя точками он может приостановиться. Он приостанавливается в точке «F» и отправляет
сообщение жене:
Забрав заказ из пиццерии («A»), по дороге к пункту «B», курьер останавливается в продуктовом магазине («G»), покупает
продукты и продолжает свой путь к точке «B».
После того как он выполнил заказ, он направляется в магазин вин (точка «H») и покупает бутылочку вина, а потом забирает
заказ из ресторана (точка «C») и отвозит его клиенту («D»)
В конце концов, курьер направляется домой в точку «I».
В данном случае, курьер, выполняет 3 отдельные задачи:
Отличие этих задач в том, что доставку заказов «B», «D» он выполняет последовательно и не может одновременно
двигаться в 2 пункта назначения (предположим, они находятся в разных частях города для наглядности).
Но задачу «E» (доставку домой продуктов) курьер может выполнять конкурентно к этим задачам. Заметьте, что для того, чтобы выполнить какую-то из подзадач задачи «E»* например, «G»), курьеру нужно либо просто приостановиться, либо приостановиться и отклониться от маршрута.
Это работает и в обратную сторону, курьер не может одновременно зайти в продуктовый и в пиццерию. Поэтому, одна из задач должна приостановиться.
С одной стороны, курьер тормозит выполнение заказа своему клиенту, но успевает выполнить поручение жены. В ином случае, если бы курьер сначала выполнил все заказы, а только потом поехал за продуктами, то он бы приехал домой позже, поэтому он решил совместить задачи [«B», «D»] с задачей [«E»].
Эти задачи он совместил КОНКУРЕНТНО.
Рассмотрим другой вариант, когда курьер берет 2 заказа, но отдает второй напарнику, который выезжает с другой стороны
сразу в точку «C».
Он все еще может соединить выполнение задач «B» и «E» конкурентно, но выполнение «B» и «D» он совместил параллельно, использовав второго курьера!
Абстрактный пример №2
В шахматах есть такая форма игры, когда один шахматист одновременно играет с несколькими противниками. Это называется «Сеанс одновременной игры».
Участнику приходится переключаться между разными партиями на время приостанавливая игру на других столах. Он «решает» эти «задачи» конкурентно.
Для того чтобы «решать» их параллельно нужно просто-напросто несколько игроков.
Более подробно этот пример описан тут.
Асинхронность в Python
На параллельной работе мы останавливаться не будем, сразу перейдем к асинхронной работе.
Очень важно, чтобы к этому моменту вы понимали, как работают функции и генераторы
В стандартном примере, функция может возвращать по выполнению какой-то задачи какое-то значение:
Каждый раз, когда вы будете вызывать эту функцию, вы обязаны передать в нее значения ‘a’, ‘b’ и вы получите на выходе
результат их умножения:
Генераторы же позволяют отдавать разные значения при «повторном» их вызове.
Еще одно отличие генератора от функции: когда происходит вызов функции-генератора, то создается объект генератора. (В случае с простой функцией, у нас возвращался результат ее выполнения).
Попробуем на примере:
В примере выше происходит следующее:
То, что нам и нужно!
Теперь к библиотеке Asyncio
Ранее вы могли встречать другой синтаксис типа декораторов @asyncio.coroutine над обычными функциями, а аналогом await были слова yield from
Теперь, когда вы хотите создать нативную корутину для работы с асинхронностью (не асинхронный генератор, это другое) вы должны делать это так:
А само слово await позволяет выполнить другую корутину и передать управление дальше. То есть, чтобы сделать ваш синхронный код асинхронным, вам недостаточно просто сделать приставку async перед функцией, а необходимо еще в каком-либо месте передать управление дальше.
Рассмотрим конкурентное выполнение на примере
Сделаем обычный счетчик и 3 таймера, которые будут срабатывать:
Для начала, нам надо импортировать библиотеку asyncio
Теперь начнем писать асинхронную функцию счетчика.
Для того чтобы была возможность выводить значение счетчика в другой асинхронной функции, нам нужно будет создать общий объект. Его я создам чуть позже в общей функции, но чтобы он был действительно общий для 2-х корутин, я буду использовать объект списка и приму его в эту функцию.
После чего я запущу вечный цикл и внутри буду делать паузу на одну тысячную секунды, а потом добавлять один элемент в список. Т.е. у меня цикл будет передавать управление (после каждого отсчета) другим корутинам.
Исходя из этого расчета, у меня за одну секунду не может быть проведено больше 1000 операций, так как пауза делается 1000 раз в секунду. Остальное время отнимется на выполнение других операций в других корутинах.
Напоминаю:
Теперь пропишем функции таймеров, которые будут срабатывать каждые 1, 5, 10 секунд. Разве что, первый таймер еще примет в себя объект счетчика и скажет сколько там сейчас элементов.
Как видно в коде, теперь в каждой функции asyncio.sleep принимает в себя то количество секунд, которое нам нужно.
Теперь нам необходимо создать функцию, которой мы будем запускать все предыдущие функции.
Подробнее про запуск асинхронных тасков можно почитать тут (англ.)
Все вместе выглядит как-то так:
Запускаем и наслаждаемся результатом:
Все работает так, как и задумано. Вроде бы функции работают параллельно, но на самом деле конкурентно, они просто передают друг другу управление, просто «говоря» общему потоку:
В примере выше, количество записей в списке через 10 секунд не превышает 10 000, т.е. функция подсчета и правда сработала не чаще.
Итого, за 10 секунд меньше 1000 операций, как мы и хотели.
Назад в Содержание
Блокирующие или неблокирующие асинхронные функции
Важно понимать один момент: если вы просто пытаетесь запустить корутины одну за одной, то они будут выполняться последовательно, а не конкурентно.
Они будут выполняться как в обычном синхронном блокирующем коде.
Пример:
Если вы сначала запустите корутину await count(counter) (как в примере выше), то она так и продолжит выполняться, а корутины-счетчики не запустятся никогда.
А вот именно с помощью asyncio.gather мы «собираем» все корутины и запускаем их конкурентно.
Кстати говоря, с помощью asyncio.gather у нас каждая переданная корутина формируется в новую задачу (Task), а эти таски уже имеют свой «контекст», где можно использовать контекстные переменные.
Контекстные переменные
Учитывая, что разные задачи выполняются конкурентно, но всё-таки отдельно, в Python есть такое понятие как «контекст».
Если вы в одной корутине вызываете другую, то они делят между собой один контекст, и в этот контекст можно размещать отдельные переменные, чтобы потом их доставать там, где вам это понадобится.
Контекстные переменные — это что-то вроде глобальных переменных, только доступных не во всем коде, а только в необходимом контексте.
Это бывает полезно, когда вы не хотите передавать переменную в другую функцию явно, например, если таких переменных у вас много и вы наверняка не знаете, где именно вам может понадобиться та или иная переменная.
Пример:
Сделаем функцию, которая будет увеличивать наш счетчик:
Теперь сделаем функцию-цикл, где будет вызываться метод increase :
Результат:
В данном примере это не совсем оправдывает себя, но если вложенность у вас большая, то такой способ бывает полезен.
Пример с разными контекстами
Давайте примем в функцию count произвольную задержку и запустим 2 разных контекста с помощью функции asyncio.gather
Результат:
Как видно на картинке, счетчики работают конкурентно, иногда какой-то счетчик срабатывает быстрее другого, и значения в них независимы друг от друга.
Опасность
В python-комьюнити не любят, когда в асинхронном фреймворке (вроде aiogram) используют блокирующие синхронные функции, так как смысл от асинхронности теряется.
Попробуем добавить time.sleep в одном из контекстов выше и посмотрим на результат.
Результат
Помимо этого, произошла еще одна вещь, счетчики синхронизировались (с разницей в 1 сек), потому что блокирующая задержка больше, и обе задачи готовы к запуску сразу же после нее.
Асинхронное программирование для начинающих
Слышали об асинхронном программировании в Python? Интересно познакомиться с его особенностями и практическими областями применения? Быть может, вам даже пришлось столкнуться с определенными проблемами во время написания многопоточных программ. В любом случае, если вы хотите получше познакомиться с темой, это правильное место.
Содержание статьи
Основные пункты данной статьи:
Особенности асинхронного программирования в Python
Синхронная программа выполняется поэтапно. Даже при наличии условных операторов, циклов и вызовов функций, код можно рассматривать как процесс, где за раз выполняется один шаг. По завершении одного шага программа переходит к другому.
Вот два примера программ, которые работают синхронно:
Асинхронная программа действует иначе. Код по-прежнему будет выполняться шаг за шагом.
Основная разница в том, что системе не обязательно ждать завершения одного этапа перед переходом к следующему.
Зачем же писать код подобным образом? Далее будет дан подробный ответ на данный вопрос, а также предоставлены инструменты для элегантного решения интересных асинхронных задач.
Создания синхронного веб-сервера
Процесс создания веб-сервера в общем и целом схож с пакетной обработкой. Сервер получает определенные входные данные, обрабатывает их и создает вывод. Написанная таким образом синхронная программа создает рабочий веб-сервер.
Однако такой веб-сервер был бы просто ужасным.
Почему? В данном случае каждая единица работы (ввод, обработка, вывод) не является единственной целью. Настоящая цель заключается в быстром выполнении сотен или даже тысяч единиц работы. Это может продолжаться на протяжении длительного времени, и несколько рабочих единиц могут поступить одновременно.
Можно ли сделать синхронный веб-сервер лучше? Конечно можно попробовать оптимизировать этапы выполнения для наиболее быстрой работы. К сожалению, у этого подхода есть ограничения. Результатом может быть веб-сервер, который отвечает медленно, не справляется с работой или копит невыполненные задачи даже по завершении срока.
На заметку: Есть и другие ограничения, с которыми можно столкнуться при попытке оптимизировать указанный выше подход. В их число входит скорость сети, скорость I/O (ввод-вывода) файла, скорость запроса базы данных (MySQL, SQLite) и скорость других подсоединенных устройств. Общая особенность в том, что везде есть функции ввода-вывода. Все эти элементы работают на порядок медленнее, чем скорость обработки CPU.
В синхронной программе, если шаг выполнения запускает запрос к базе данных, тогда CPU практически не используется, пока не будет возвращен запрос к базе данных. Для пакетно-ориентированных программ большую часть времени это не является приоритетом. Обработка результатов этой операции ввода-вывода является целью. Часто это может занять больше времени, чем сама операция ввода-вывода. Любые усилия по оптимизации будут сосредоточены на обработке, а не на вводе-выводе.
Техники асинхронного программирования позволяют программам использовать преимущества относительно медленных процессов ввода-вывода, освобождая CPU для выполнения другой работы.
Иной подход к программированию в Python
В начале изучения асинхронного программирования вы можете столкнуться с многочисленными дискуссиями относительно важности блокирования и написания неблокирующего кода. У меня, например, было много сложностей при разборе данных концепций, как во время разбора документации, так и при обсуждении темы с другими программистами.
Что такое неблокирующий код? Возникает встречный вопрос — что такое блокирующий код? Помогут ли ответы на данные вопросы при создании лучшего веб-сервера? Если да, как это сделать? Будем выяснять!
Написание асинхронных программ требует несколько иного подхода к программированию. Новый взгляд на устоявшуюся в сознании тему может быть непривычным, но это интересное упражнение. Все оттого, что реальный мир сам по себе по большей части асинхронный, как и то, как мы с ним взаимодействуем.
Представьте следующее: вы родитель, что пытается совмещать сразу несколько задач. Вам нужно заняться подсчетом коммунальных услуг, стиркой и присмотреть за детьми. Вы делаете эти вещи параллельно, особенно не задумываясь о том, как именно. Давайте разберем все по полочкам:
Данные примеры могут помочь представить концепты блокирующего и неблокирующего кода. Рассмотрим их, заменив примеры на термины программирования. В роли центрального процессора CPU будете выступать вы сами. Во время погружения одежды в стиральную машинку вы (CPU) заняты и заблокированы от других задач, к примеру, подсчета коммунальных услуг. Но ничего страшного, ведь самой стиркой вам заниматься не нужно.
С другой стороны, работающая стиральная машинка не блокируют вас от занятия другими задачами. Это асинхронная функция, так как вам не нужно ждать ее завершения. После запуска машинки вы можете заняться чем-то другим. Это называется переключением контекста, или context switch. Контекст того, что вы делаете изменился, но через некоторое время звуковой сигнал сообщит о завершении стирки.
Будучи людьми, в большинстве случаев мы так и действуем. Нам естественно постоянно переключаться от дела к делу, даже не задумываясь об этом. Разработчику важно суметь перевести поведение подобного рода на язык кода, который бы работал аналогичным образом.
Программирование родительского элемента: не так уж просто!
Если вы узнали себя (или своих родителей) в вышеуказанном примере, отлично! Вам будет проще разобраться в асинхронном программировании. Напомним, что вы можете переключать контекст, легко менять, выбирать новые задачи и завершать старые. Теперь попробуем воплотить данную манеру поведения в коде по отношению к виртуальным родителям.
Мысленный эксперимент #1: Синхронный родитель
Каким образом вы бы создали родительскую программу, что выполняла бы все вышеперечисленные задачи в синхронной манере? Так как присмотр за детьми является приоритетной задачей, возможно, ваша программа только этим и будет заниматься. Родитель будет присматривать за детьми, ожидая чего-то, что может потребовать его внимания. Однако ничего другого (вроде подсчета коммунальных услуг или стирки) на протяжении данного сценария сделано не будет.
Теперь вы можете назначать приоритеты задачам так, как вам хочется. Однако только одна задача может произойти в любой момент времени. Это результат синхронного, пошагового подхода. Как и синхронный веб-сервер, описанный выше, это может сработать, однако многим такая жизнь может показаться не очень удобной. Родитель не сможет ничем заняться, пока дети не уснут. Все другие задачи будут выполняться позже, до поздней ночи. От такой жизни многие с ума сойдут уже через несколько дней.
Мысленный эксперимент #2: Родитель опросник
При использовании опросника, или polling, можно изменить вещи подобным образом, чтобы многочисленные задачи были завершены. В данном подходе родитель периодически отрывается от текущей задачи и проверяет, не требуют ли другие задачи внимания.
Давайте сделаем интервал опросника примерно в пятнадцать минут. Теперь каждые пятнадцать минут родитель проверяет, не нужно ли заняться стиральной машиной, высушенной одеждой или детьми. Если нет, то родитель может вернуться к работе с подсчетом коммунальных услуг. Однако, если какое-либо из этих заданий требует внимания, родитель позаботится об этом, прежде чем вернуться к подсчетам. Этот цикл продолжается до следующего тайм-аута из цикла опросника.
Этот подход также работает, ведь внимание уделяется множеству задач. Однако у него есть несколько проблем:
Можно решить эти проблемы, сократив интервал опросника, но теперь родитель (CPU) будет тратить больше времени на переключение контекста между задачами. Это происходит, когда вы начинаете достигать точки убывающей отдачи. Опять же, немногие смогут нормально так жить.
Мысленный эксперимент #3: Родитель потока
«Вот бы у меня был клон…» Если вы родитель, тогда мысли подобного рода у вас наверняка периодически возникают. Во время программирования виртуальных родителей это действительно можно сделать, используя потоки. Данный механизм позволяет одновременно запускать несколько секций программы. Каждая секция кода, запущенная независимо, называется потоком, и все потоки разделяют одно и то же пространство памяти.
Если вы рассматриваете каждую задачу как часть одной программы, можете разделить их и запустить в виде потоков. Другими словами, можно «клонировать» родителя, создав по одному экземпляру для каждой задачи: присмотр за детьми, работой стиральной машинки, сушилки и подсчет коммунальных услуг. Все эти «клоны» работают независимо.
Это звучит как довольно хорошее решение, но у него есть и некоторые сложности. Одной из них является тот факт, что вам придется указывать каждому родительскому экземпляру, что именно делать в программе. Это может привести к некоторым проблемам, поскольку все экземпляры программы используют одни и те же элементы.
К примеру, скажем, Родитель А следит за сушилкой. Увидев, что вещи высушились, Родитель А уберет их и развесит новые. В то же время Родитель В замечает, что стиральная машинка завершила работу, поэтому он начинает вытаскивать одежду. Однако Родителю В также нужно заняться сушилкой, чтобы развесить постиранное белье. Сейчас это невозможно, так как в данный момент сушилкой занимается Родитель А.
Через некоторое время Родитель А заканчивает собирать одежду. Теперь ему хочется заняться стиральной машинкой и переместить вещи на пустую сушилку. Это также невозможно, ведь у стиральной машинки сейчас Родитель В.
Сейчас эти два родителя находятся в состоянии взаимной блокировки, или deadlock. Они оба имеют контроль над своим собственным ресурсом, но также хотят контролировать другой ресурс. Им придется ждать вечно, пока другой родительский экземпляр не освободит контроль. Как программист, вы должны написать код, чтобы разрешить такую ситуацию.
На заметку: Многопоточные программы позволяют создавать несколько параллельных путей выполнения, которые совместно используют одно и то же пространство памяти. Это может быть как преимуществом, так и недостатком. Любая память, совместно используемая потоками, подчиняется одному или нескольким потокам, пытающимся одновременно использовать одну и ту же общую память. Это может привести к повреждению данных, чтению данных в поврежденном состоянии и просто к беспорядочным данным в целом.
В многопоточном программировании переключение контекста происходит под управлением системы, а не программиста. Система контролирует, когда переключать контексты и когда предоставлять потокам доступ к общим данным, тем самым изменяя контекст использования памяти. Все виды проблем подобного рода управляемы в многопоточном коде, однако их трудно разрешить и отладить без ошибок.
Вот еще одна проблема, которая может возникнуть из-за многопоточности. Предположим, что ребенок получил травму и нуждается в неотложной помощи. Родителю «С» было поручено присматривать за детьми, поэтому он сразу же забирает ребенка. При оказании неотложной помощи Родителю «C» необходимо выписать достаточно большой чек, чтобы покрыть расходы на посещение врача.
Тем временем Родитель «D» дома работает над подсчетом коммунальных платеже, следовательно, сейчас он отвечает за финансы. Он не знает о дополнительных расходах на врача, поэтому очень удивлен, что на оплату счетов средств не хватает.
Помните, что эти два родительских экземпляра работают в одной программе. Семейные финансы являются общим ресурсом, поэтому вам нужно найти способ, чтобы родитель, наблюдающий за ребенком, проинформировал родителя, который занимает подсчетом средств. В противном случае вам потребуется предоставить какой-то механизм блокировки, чтобы финансовый ресурс мог использовать только один родитель за раз, с обновлениями.
Использование асинхронных особенностей Python на практике
Попробуем воспользоваться некоторыми вышеуказанным подходами и превратим их в функционирующие программы Python.
