что значит генератор в атернос

Что такое генератор aternos

Обзор хостинга Aternos (Атернос)

Aternos — хостинг для создания персонального сервера для игры Minecraft. Предлагает готовое решение, которое остаётся только запустить и настроить под свои нужды с помощью плагинов и модов.

Плюсы и минусы

Aternos — хостинг для фанатов Minecraft, который не претендует на коммерческое использование. Но даже у такого нишевого продукта достаточно положительных качеств для того, чтобы другие пользователи позавидовали:

Для фанатов Minecraft недостатков в Aternos нет — это можно понять из отзывов пользователей. Но использовать этот хостинг для каких-то других целей, кроме как создания игровых серверов, нельзя. Это главный недостаток площадки для широкого круга пользователей — они слишком нишевая.

Функциональность

Aternos предназначен для создания игровых серверов Minecraft, других функций у него нет. Для начала работы с хостингом необходимо зарегистрироваться или авторизоваться через аккаунты Google или Facebook. После этого вы получите готовый сервер с вашим именем пользователя в адресе. Дальше остаётся только настроить его конфигурацию и пригласить друзей. Если на сервере не будет активности, то его удалят с хостинга.

На Aternos используется самописная панель управления. Она несложная в освоении, но при первом входе рекомендуем пользоваться гайдами — инструкциями, записанными на видео. Ссылки на основные этапы настройки доступны на вкладке «Главная». Отсюда же запускается, перезапускается и останавливается игровой сервер. В настройках можно:

Есть несколько версий серверов, в том числе три для установки плагинов. Большое количество дополнительных материалов — один из главных плюсов Aternos. Плагины устанавливаются в автоматическом режиме.

Производительность

Результатов продолжительного тестирования серверов Aternos нет, поэтому приходится полагаться на отзывы игроков и собственные впечатления. Несмотря на то, что хостер предлагает бесплатное размещение, никаких проблем с быстродействием и бесперебойной работой не возникает. Даже при добавлении плагинов и модов сервер оперативно реагирует на запросы игроков и не падает. Сведений о допустимой нагрузки нет, но на то, чтобы поиграть с друзьями, производительности Aternos хватает с большим запасом.

Безопасность

Серверы на хостинге Aternos защищены от DDoS-атак. Это стандартная функциональность, доступная каждому пользователю при создании игрового пространства.

Для сохранения данных используются резервные копии данных. Для их хранения нужно подключить аккаунт Google — бэкапы будут отправляться на облачное хранилище Drive. Вы можете включить автоматическое создание резервных копий и указать их количество (не более 100) или создавать бэкапы вручную.

Техническая поддержка

Для решения возникающих вопросов на хостинге Aternos в первую очередь предлагают использовать базу знаний. Материалы раскрывают основные моменты установки и настройки сервера. Но для их изучения нужно знать английский или использовать онлайн-переводчик — на русский язык статьи не переведены.

Если в базе знаний нет ответа на ваш вопрос, то хостинг предлагает связаться с поддержкой. Есть несколько вариантов:

Самый быстрый способ решения большинства проблем — обращение к пользовательскому сообществу на форуме. Обычно всё заканчивается ссылкой на топик, в котором уже описано, что нужно делать. В сложных ситуациях к обсуждению подключаются члены команды Aternos, которые тоже заходят на форум.

Ценовая политика

Aternos — бесплатный хостинг. На главной странице официального сайта написано, что так будет всегда. Также бесплатно можно установить плагины и моды, загружать пользовательские миры.

Хостинг Aternos предназначен для пользователей, которые хотят быстро создать сервер для Minecraft, настроить индивидуальные условия игры и пригласить друзей. Сразу видно, что площадку делают фанаты для фанатов — это проявляется и в оформлении панели управления, и в бесплатности, и в доступной функциональности.

Коммерческого потенциала у Aternos нет. Это просто площадка для любителей Minecraft, где они создают свои миры, общаются и находят новых друзей в большом комьюнити, которое обитает на игровых серверах и тематических форумах.

Источник

Итерируемый объект, итератор и генератор

Привет, уважаемые читатели Хабрахабра. В этой статье попробуем разобраться что такое итерируемый объект, итератор и генератор. Рассмотрим как они реализованы и используются. Примеры написан на Python, но итераторы и генераторы, на мой взгляд, фундаментальные понятия, которые были актуальны 20 лет назад и еще более актуальны сейчас, при этом за это время фактически не изменились.

Итераторы

Для начала вспомним, что из себя представляет паттерн «Итератор(Iterator)».
Назначение:

Существуют два вида итераторов, внешний и внутренний.
Внешний итератор — это классический (pull-based) итератор, когда процессом обхода явно управляет клиент путем вызова метода Next.
Внутренний итератор — это push-based-итератор, которому передается callback функция, и он сам уведомляет клиента о получении следующего элемента.

Классическая диаграмма паттерна “Итератор”, как она описана в небезызвестной книги «банды четырех»:

Aggregate — составной объект, по которому может перемещаться итератор;
Iterator — определяет интерфейс итератора;
ConcreteAggregate — конкретная реализация агрегата;
ConcreteIterator — конкретная реализация итератора для определенного агрегата;
Client — использует объект Aggregate и итератор для его обхода.

Пробуем реализовать на Python классический итератор

Конкретная реализация итератора для списка:

Конкретная реализация агрегата:

Теперь мы можем создать объект коллекции и обойти все ее элементы с помощью итератора:

А так как мы реализовали метод first, который сбрасывает итератор в начальное состояние, то можно воспользоваться этим же итератором еще раз:

Реализации могут быть разные, но основная идея в том, что итератор может обходить различные структуры, вектора, деревья, хеш-таблицы и много другое, при этом имея снаружи одинаковый интерфейс.

Протокол итерирования в Python

В книге «банды четырех» о реализации итератора написано:

Минимальный интерфейс класса Iterator состоит из операций First, Next, IsDone и CurrentItem. Но если очень хочется, то этот интерфейс можно упростить, объединив операции Next, IsDone и CurrentItem в одну, которая будет переходить к следующему объекту и возвращать его. Если обход завершен, то эта операция вернет специальное значения(например, 0), обозначающее конец итерации.

Именно так и реализовано в Python, но вместо специального значения, о конце итерации говорит StopIteration. Проще просить прощения, чем разрешения.

Сначала важно определиться с терминами.

Рассмотрим итерируемый объект (Iterable). В стандартной библиотеке он объявлен как абстрактный класс collections.abc.Iterable:

У него есть абстрактный метод __iter__ который должен вернуть объект итератора. И метод __subclasshook__ который проверяет наличие у класса метод __iter__. Таким образом, получается, что итерируемый объект это любой объект который реализует метод __iter__

Но есть один момент, это функция iter(). Именно эту функцией использует например цикл for для получения итератора. Функция iter() в первую очередь для получения итератора из объекта, вызывает его метод __iter__. Если метод не реализован, то она проверяет наличие метода __getitem__ и если он реализован, то на его основе создается итератор. __getitem__ должен принимать индекс с нуля. Если не реализован ни один из этих методов, тогда будет вызвано исключение TypeError.

Итого, итерируемый объект — это любой объект, от которого встроенная функция iter() может получить итератор. Последовательности(abc.Sequence) всегда итерируемые, поскольку они реализуют метод __getitem__

Теперь посмотрим, что с итераторами в Python. Они представлены абстрактным классом collections.abc.Iterator:

__next__ Возвращает следующий доступный элемент и вызывает исключение StopIteration, когда элементов не осталось.
__iter__ Возвращает self. Это позволяет использовать итератор там, где ожидается итерируемых объект, например for.
__subclasshook__ Проверяет наличие у класса метода __iter__ и __next__

Итого, итератор в python — это любой объект, реализующий метод __next__ без аргументов, который должен вернуть следующий элемент или ошибку StopIteration. Также он реализует метод __iter__ и поэтому сам является итерируемым объектом.

Таким образом можно реализовать итерируемый объект на основе списка и его итератор:

Функция next() вызывает метод __next__. Ей можно передать второй аргумент который она будет возвращать по окончанию итерации вместо ошибки StopIteration.

Прежде чем переходить к генераторам, рассмотрим еще одну возможность встроенной функции iter(). Ее можно вызывать с двумя аргументами, что позволит создать из вызываемого объекта(функция или класс с реализованным методом __call__) итератор. Первый аргумент должен быть вызываемым объектом, а второй — неким ограничителем. Вызываемый объект вызывается на каждой итерации и итерирование завершается, когда возбуждается исключение StopIteration или возвращается значения ограничителя.

Например, из функции которая произвольно возвращает 1-6, можно сделать итератор, который будет возвращать значения пока не «выпадет» 6:

Небольшой класс ProgrammingLanguages, у которого есть кортеж c языками программирования, конструктор принимает начальное значения индекса по названию языка и функция __call__ которая перебирает кортеж.

Можем перебрать все языки начиная с C# и до последнего:

Генераторы

С точки зрения реализации, генератор в Python — это языковая конструкция, которую можно реализовать двумя способами: как функция с ключевым словом yield или как генераторное выражение. В результате вызова функции или вычисления выражения, получаем объект-генератор типа types.GeneratorType.

В объекте-генераторе определены методы __next__ и __iter__, то есть реализован протокол итератора, с этой точки зрения, в Python любой генератор является итератором.
Концептуально, итератор — это механизм поэлементного обхода данных, а генератор позволяет отложено создавать результат при итерации. Генератор может создавать результат на основе какого то алгоритма или брать элементы из источника данных(коллекция, файлы, сетевое подключения и пр) и изменять их.

Ярким пример являются функции range и enumerate:

range генерирует ограниченную арифметическую прогрессию целых чисел, не используя никакой источник данных.
enumerate генерирует двухэлементные кортежи с индексом и одним элементом из итерируемого объекта.

Yield

Для начало напишем простой генератор не используя объект-генератор. Это генератор чисел Фибоначчи:

Но используя ключевое слово yield можно сильно упростить реализацию:

Любая функция в Python, в теле которой встречается ключевое слово yield, называется генераторной функцией — при вызове она возвращает объект-генератор.
Объект-генератор реализует интерфейс итератора, соответственно с этим объектом можно работать, как с любым другим итерируемым объектом.

Рассмотрим работу yield:

Создается стейт-машина в которой при каждом вызове __next__ меняется состояния и в зависимости от него вызывается тот или иной кусок кода. Если в функции yield в цикле, то соответственно состояние стейт-машины зацикливается пока не будет выполнено условие.

Свой вариант range:

Генераторное выражение (generator expression)

Если кратко, то синтаксически более короткий способ создать генератор, не определяя и не вызывая функцию. А так как это выражение, то у него есть и ряд ограничений. В основном удобно использовать для генерации коллекций, их несложных преобразований и применений на них условий.

В языках программирования есть такие понятия, как ленивые/отложенные вычисления(lazy evaluation) и жадные вычисления(eager/greedy evaluation). Генераторы можно считать отложенным вычислением, в этом смысле списковое включение(list comprehension) очень похожи на генераторное выражение, но являются разными подходами.

Первый вариант работает схожим с нашей функцией cool_range образом и может генерировать без проблем любой диапазон. А вот второй вариант создаст сразу целый список, со всеми вытекающими от сюда проблемами.

Yield from

Для обхода ограниченно вложенных структур, традиционный подход использовать вложенные циклы. Тот же подход можно использовать когда генераторная функция должна отдавать значения, порождаемые другим генератором.

Функция похожая на itertools.chain:

Но вложенные циклы можно убрать, добавив конструкцию yield from:

Основная польза yield from в создании прямого канала между внутренним генератором и клиентом внешнего генератора. Но это уже больше тема про сопрограммы(coroutines), которые заслуживают отдельной статьи. Там же можно обсудить методы генератора: close(), throw() и send().

И в заключении еще один пример. Функция принимающая итерируемый объект, с любым уровнем вложенности другими итерируемыми объектами, и формирующая плоскую последовательность:

Источник

Разница между генераторами Python и итераторами

В чем разница между итераторами и генераторами? Некоторые примеры того, когда вы будете использовать каждый случай, будут полезны.

Каждый генератор является итератором, но не наоборот. Генератор создается путем вызова функции, которая имеет одно или несколько выражений yield ( yield в Python 2.5 и более ранних версиях) и является объектом, который соответствует определению предыдущего iterator в абзаце.

Вы можете захотеть использовать пользовательский итератор, а не генератор, когда вам нужен класс с несколько сложным поведением, поддерживающим состояние, или вы хотите предоставить другие методы, кроме next (и __iter__ и __init__ ). Чаще всего достаточно генератора (иногда для достаточно простых нужд – выражения генератора), и его проще кодировать, потому что поддержание состояния (в разумных пределах) в основном “выполняется для вас”, когда кадр приостанавливается и возобновляется.

Например, такой генератор, как:

или эквивалентный генератор выражения (genexp)

потребовалось бы больше кода для сборки в качестве пользовательского итератора:

Но, конечно же, с классом Squares вы можете легко предложить дополнительные методы, т.е.

если у вас есть какая-либо реальная потребность в такой дополнительной функциональности в вашем приложении.

В чем разница между итераторами и генераторами? Несколько примеров того, когда вы будете использовать каждый случай, были бы полезны.

Итак, итераторы – это объекты, которые имеют __iter__ и __next__ ( next в Python 2). Генераторы предоставляют простой встроенный способ создания экземпляров итераторов.

Функция с yield в ней по-прежнему является функцией, которая при вызове возвращает экземпляр объекта-генератора:

Выражение генератора также возвращает генератор:

Для более глубокого изложения и примеров, продолжайте читать.

Генератор – это итератор

В частности, генератор является подтипом итератора.

Мы можем создать генератор несколькими способами. Очень распространенный и простой способ сделать это с помощью функции.

В частности, функция с yield в ней является функцией, которая при вызове возвращает генератор:

И генератор, опять же, является Итератором:

Итератор – это итеративный

для которого требуется метод __iter__ который возвращает Iterator:

Некоторыми примерами итераций являются встроенные кортежи, списки, словари, наборы, замороженные наборы, строки, байтовые строки, байтовые массивы, диапазоны и представления памяти:

Итераторам требуется метод next или __next__

Мы можем получить итераторы из встроенных объектов (или пользовательских объектов) с помощью функции iter :

Из документации

В разделе Типы генераторов в разделе Типы Итератор Встроенные типы документации:

Генераторы питонов обеспечивают удобный способ реализации протокола итератора. Если метод контейнерных объектов __iter__() реализован как генератор, он автоматически вернет объект итератора (технически объект генератора), предоставляющий __iter__() и next() [ __next__() в Python 3]. Более подробную информацию о генераторах можно найти в документации по выражению yield.

Из этого мы узнаем, что Генераторы – это (удобный) тип Итератора.

Примеры объектов-итераторов

Вы можете создать объект, который реализует протокол Iterator, создав или расширив свой собственный объект.

Но для этого проще просто использовать генератор:

Или, может быть, проще, выражение генератора (работает аналогично списку пониманий):

Все они могут быть использованы одинаково:

Заключение

Вы можете использовать протокол Iterator напрямую, когда вам нужно расширить объект Python как объект, который можно перебирать.

Однако в подавляющем большинстве случаев вам лучше всего использовать yield для определения функции, которая возвращает итератор генератора или учитывает выражения генератора.

Наконец, обратите внимание, что генераторы обеспечивают еще больше функциональности в качестве сопрограмм. Я объясню Генераторам вместе с оператором yield подробно мой ответ на вопрос “Что делает ключевое слово yield?”.

Итераторы – это объекты, которые используют метод next() для получения следующего значения последовательности.

Когда вызывается функция генератора, она возвращает объект-генератор, даже не начиная выполнение функции. Когда метод next() вызывается в первый раз, функция начинает выполнение до тех пор, пока не достигнет инструкции yield, которая возвращает полученное значение. Выход отслеживает, то есть запоминает последнее исполнение. И второй вызов next() продолжается от предыдущего значения.

В следующем примере показано взаимодействие между выходом и вызовом следующего метода для объекта генератора.

Добавление ответа, потому что ни один из существующих ответов специально не затрагивает путаницу в официальной литературе.

Либо функцию, либо объект можно назвать “генератором” в зависимости от того, какой исходный документ Python вы читаете. Python glossary говорит о функциях генератора, а Python wiki подразумевает объектов генератора. Python tutorial замечательно удается использовать оба варианта использования в трех предложениях:

Генераторы – это простой и мощный инструмент для создания итераторов. Они написаны как обычные функции, но используют оператор yield, когда они хотят вернуть данные. Каждый раз, когда на него вызывается next(), генератор возобновляет свое действие (он запоминает все значения данных и последний оператор).

Первые два предложения определяют генераторы с функциями генератора, а третье предложение идентифицирует их с объектами-генераторами.

Несмотря на всю эту путаницу, можно найти ссылку на язык Python для четкого и окончательного слова:

Выражение yield используется только при определении функции генератора и может использоваться только в теле определения функции. Использование выражения yield в определении функции достаточно, чтобы заставить это определение создавать функцию генератора вместо нормальной функции.

Когда вызывается функция генератора, он возвращает итератор, известный как генератор. Затем этот генератор управляет выполнением функции генератора.

Таким образом, при формальном и точном использовании “генератор” неквалифицированный означает объект-генератор, а не функцию генератора.

Вышеуказанные ссылки относятся к Python 2, но Python 3 language reference говорит то же самое. Тем не менее, глоссарий Python 3 утверждает, что

генератор… Обычно ссылается на функцию генератора, но может ссылаться на итератор генератора в некоторых контекстах. В тех случаях, когда предполагаемое значение не ясно, использование полных терминов позволяет избежать двусмысленности.

У каждого есть действительно приятный и подробный ответ с примерами, и я очень ценю это. Я просто хотел дать короткий ответ на несколько строк для людей, которые до сих пор не совсем понятны:

Если вы создаете свой собственный итератор, это немного связано – у вас есть
для создания класса и, по крайней мере, реализации iter и следующих методов. Но что, если вы не хотите преодолевать эту проблему и хотите быстро создать итератор. К счастью, Python обеспечивает короткий путь к определению итератора. Все, что вам нужно сделать, это определить функцию с хотя бы одним вызовом, и теперь, когда вы вызываете эту функцию, она вернет “ что-то“, которая будет действовать как итератор (вы можете вызвать следующий метод и использовать он в цикле for). Это что-то имеет имя в Python под названием Generator

Надеюсь, что это немного пояснит.

Функция генератора, объект генератора, генератор

Таким образом, функция-генератор является самым простым способом создания объекта Iterator.

Каждый генераторный объект является итератором, но не наоборот. Пользовательский объект итератора может быть создан, если его класс реализует метод __iter__ и __next__ (также называемый протоколом итератора).

Однако гораздо проще использовать функцию генераторов для создания итераторов, поскольку они упрощают их создание, но пользовательский Iterator дает вам больше свободы, и вы также можете реализовать другие методы в соответствии с вашими требованиями, как показано в приведенном ниже примере.

Для вопросов управления потоком генераторы являются столь же важной концепцией, как и обещания: и абстрактные, и составные.

Вы можете сравнить оба подхода для одних и тех же данных:

Кроме того, если вы проверяете размер памяти, генератор потребляет гораздо меньше памяти, так как ему не нужно хранить все значения в памяти одновременно.

Примеры от Неда Батчелдера настоятельно рекомендуются для итераторов и генераторов.

Метод без генераторов, которые делают что-то с четными числами

в то время как с помощью генератора

Вызов метода evens (генератора) происходит как обычно

Итератор

Книга, полная страниц, является итеративной, а закладка – итератором.

и эта закладка не имеет ничего общего, кроме как двигаться next

Чтобы использовать генератор… нам нужна функция

Для использования итератора… нам нужно next и iter

Как уже было сказано:

Вся выгода от Iterator:

Храните один элемент раз в памяти

Источник

Что значит генератор атернос

Итераторы и генераторы

В чем разница между итератором и генератором? Этот вопрос можно часто услышать на собеседованиях.

Итератор – более общая концепция, чем генератор.

Итератор – это интерфейс доступа к элементам коллекций и потоков данных. Он требует реализации единственного метода – «дай мне следующий элемент». Если вы пишите свой итератор на Python 3 вам нужно реализовать в классе метод __next__. Если элементы исчерпаны итератор возбудит исключение StopIteration.

📎 Пример. Итератор счетчик – выдает числа от low до high:

Генератор – это итератор

Генератор – это итератор, но не наоборот. Не любой итератор является генератором.

Есть два способа получить генератор:

📎 1. Генераторное выражение (что-то типа list comprehension, но возвращает генератор, а не список). Используются круглые скобки:

📎 2. Генераторные функции. Это функции, где есть хотя бы одно выражение yield. Когда мы запускаем генератор, функция выполняет до первого выражения yield. То, что мы передали в yield будет возвращено наружу. Генератор при этом встанет «на паузу» до следующей итерации. При следующей итерации выполнение генератора продолжится до очередного yield.

Генераторы можно прочитать только 1 раз, потому что обычно генераторы не хранят значения в памяти, а генерируют их налету (отсюда и название).

Пример. Генератор чисел Фибоначчи (бесконечный):

Вызвав генераторную функцию fib() мы получили генератор. Затем мы итерируем этот генератор функцией next().

Остановка генератора

Если генератор «закончился» (т.е. просто вышли из функции генератора в конце его кода или по return), то автоматически возбуждается исключение StopIteration. Это не ошибка, это нормально, просто принятый способ обработки конца итератора.

for in сам ловит исключение StopIteration и просто завершает итерировать этот генератор.

Передача данных в генератор

У генераторов есть дополнительные методы, которые позволяют передавать внутрь генератора данные или возбуждать внутри него исключения. Это еще одно отличие от простых итераторов.

send() – отправить данные в генератор. Переданное значение вернется из той конструкции yield, на которой возникла последняя пауза генератора. При этом генератор будет прокручен на один шаг, как если бы мы вызвали next:

Пример. Этот генератор просто выдает числа от 0 и далее, при этом печатает в поток вывода все, что мы ему отправляем.

Обратите внимание, что первый раз нельзя посылать в генератор данные, пока мы не прокрутили его до первого yield. Нужно либо взывать next(g) или g.send(None) – это одно и тоже.

throw() – бросить исключение внутри генератора. Исключение будет возбуждено из того выражение yield, где генератор последний раз остановился.

close() – закрыть генератор. Бросает внутри генератора особое исключение GeneratorExit. Это исключение, даже если оно не обработано, не распространится в код, вызвавший close(). Но, если мы поймали это исключение внутри генератора, то после закрытия генератора нельзя уже делать yield, рискуя получить RuntimeError. Остальные виды исключений будут распространяться из генератора в код, его вызывающий. Попытка итерировать закрытый итератор приведет к исключению StopIteration (закрытый генератор – пустой итератор).

Бонус

Как взять из итератора (в том числе из генератора) N первых значений?

Можно, конечно, написать свою функцию. Но зачем, если она уже есть в стандартном модуле itertools. Этот модуль содержит множество вспомогательных функций для работы с итераторами. Нам понадобится itertools.islice. Первый аргумент – итератор (ну или генератор), остальные три – как в range.

В первом примере мы передаем в функцию itertools.islice наш генератор чисел Фибоначчи и число чисел, которые надо вычислить (в нашем случае – 10).

Мы также применяем функцию list, чтобы посмотреть список значений, потому что itertools.islice возвращает не спикок, а именно новый итератор, в котором будут только интересные нам значений из исходного итератора.

Во втором примеры аргументов 4 штуки. В этом случае второй аргумент – начальный номер = 10, третий – конечный номер = 20 – (не включительно), и четвертый – шаг = 2. (Очень похоже на range, не так ли?)

Итерируемый объект, итератор и генератор

Привет, уважаемые читатели Хабрахабра. В этой статье попробуем разобраться что такое итерируемый объект, итератор и генератор. Рассмотрим как они реализованы и используются. Примеры написан на Python, но итераторы и генераторы, на мой взгляд, фундаментальные понятия, которые были актуальны 20 лет назад и еще более актуальны сейчас, при этом за это время фактически не изменились.

Итераторы

Для начала вспомним, что из себя представляет паттерн «Итератор(Iterator)».
Назначение:

В итоге мы получаем разделение ответственности: клиенты получают возможность работать с разными коллекциями унифицированным образом, а коллекции становятся проще за счет того, что делегируют перебор своих элементам другой сущности.

Существуют два вида итераторов, внешний и внутренний.
Внешний итератор — это классический (pull-based) итератор, когда процессом обхода явно управляет клиент путем вызова метода Next.
Внутренний итератор — это push-based-итератор, которому передается callback функция, и он сам уведомляет клиента о получении следующего элемента.

Классическая диаграмма паттерна “Итератор”, как она описана в небезызвестной книги «банды четырех»:

Aggregate — составной объект, по которому может перемещаться итератор;
Iterator — определяет интерфейс итератора;
ConcreteAggregate — конкретная реализация агрегата;
ConcreteIterator — конкретная реализация итератора для определенного агрегата;
Client — использует объект Aggregate и итератор для его обхода.

Пробуем реализовать на Python классический итератор

Конкретная реализация итератора для списка:

Конкретная реализация агрегата:

Теперь мы можем создать объект коллекции и обойти все ее элементы с помощью итератора:

А так как мы реализовали метод first, который сбрасывает итератор в начальное состояние, то можно воспользоваться этим же итератором еще раз:

Реализации могут быть разные, но основная идея в том, что итератор может обходить различные структуры, вектора, деревья, хеш-таблицы и много другое, при этом имея снаружи одинаковый интерфейс.

Протокол итерирования в Python

В книге «банды четырех» о реализации итератора написано:

Минимальный интерфейс класса Iterator состоит из операций First, Next, IsDone и CurrentItem. Но если очень хочется, то этот интерфейс можно упростить, объединив операции Next, IsDone и CurrentItem в одну, которая будет переходить к следующему объекту и возвращать его. Если обход завершен, то эта операция вернет специальное значения(например, 0), обозначающее конец итерации.

Именно так и реализовано в Python, но вместо специального значения, о конце итерации говорит StopIteration. Проще просить прощения, чем разрешения.

Сначала важно определиться с терминами.

Рассмотрим итерируемый объект (Iterable). В стандартной библиотеке он объявлен как абстрактный класс collections.abc.Iterable:

У него есть абстрактный метод __iter__ который должен вернуть объект итератора. И метод __subclasshook__ который проверяет наличие у класса метод __iter__. Таким образом, получается, что итерируемый объект это любой объект который реализует метод __iter__

Но есть один момент, это функция iter(). Именно эту функцией использует например цикл for для получения итератора. Функция iter() в первую очередь для получения итератора из объекта, вызывает его метод __iter__. Если метод не реализован, то она проверяет наличие метода __getitem__ и если он реализован, то на его основе создается итератор. __getitem__ должен принимать индекс с нуля. Если не реализован ни один из этих методов, тогда будет вызвано исключение TypeError.

Итого, итерируемый объект — это любой объект, от которого встроенная функция iter() может получить итератор. Последовательности(abc.Sequence) всегда итерируемые, поскольку они реализуют метод __getitem__

Теперь посмотрим, что с итераторами в Python. Они представлены абстрактным классом collections.abc.Iterator:

__next__ Возвращает следующий доступный элемент и вызывает исключение StopIteration, когда элементов не осталось.
__iter__ Возвращает self. Это позволяет использовать итератор там, где ожидается итерируемых объект, например for.
__subclasshook__ Проверяет наличие у класса метода __iter__ и __next__

Итого, итератор в python — это любой объект, реализующий метод __next__ без аргументов, который должен вернуть следующий элемент или ошибку StopIteration. Также он реализует метод __iter__ и поэтому сам является итерируемым объектом.

Таким образом можно реализовать итерируемый объект на основе списка и его итератор:

Функция next() вызывает метод __next__. Ей можно передать второй аргумент который она будет возвращать по окончанию итерации вместо ошибки StopIteration.

Прежде чем переходить к генераторам, рассмотрим еще одну возможность встроенной функции iter(). Ее можно вызывать с двумя аргументами, что позволит создать из вызываемого объекта(функция или класс с реализованным методом __call__) итератор. Первый аргумент должен быть вызываемым объектом, а второй — неким ограничителем. Вызываемый объект вызывается на каждой итерации и итерирование завершается, когда возбуждается исключение StopIteration или возвращается значения ограничителя.

Например, из функции которая произвольно возвращает 1-6, можно сделать итератор, который будет возвращать значения пока не «выпадет» 6:

Небольшой класс ProgrammingLanguages, у которого есть кортеж c языками программирования, конструктор принимает начальное значения индекса по названию языка и функция __call__ которая перебирает кортеж.

Можем перебрать все языки начиная с C# и до последнего:

Генераторы

С точки зрения реализации, генератор в Python — это языковая конструкция, которую можно реализовать двумя способами: как функция с ключевым словом yield или как генераторное выражение. В результате вызова функции или вычисления выражения, получаем объект-генератор типа types.GeneratorType.

В объекте-генераторе определены методы __next__ и __iter__, то есть реализован протокол итератора, с этой точки зрения, в Python любой генератор является итератором.
Концептуально, итератор — это механизм поэлементного обхода данных, а генератор позволяет отложено создавать результат при итерации. Генератор может создавать результат на основе какого то алгоритма или брать элементы из источника данных(коллекция, файлы, сетевое подключения и пр) и изменять их.

Ярким пример являются функции range и enumerate:

range генерирует ограниченную арифметическую прогрессию целых чисел, не используя никакой источник данных.
enumerate генерирует двухэлементные кортежи с индексом и одним элементом из итерируемого объекта.

Yield

Для начало напишем простой генератор не используя объект-генератор. Это генератор чисел Фибоначчи:

Но используя ключевое слово yield можно сильно упростить реализацию:

Любая функция в Python, в теле которой встречается ключевое слово yield, называется генераторной функцией — при вызове она возвращает объект-генератор.
Объект-генератор реализует интерфейс итератора, соответственно с этим объектом можно работать, как с любым другим итерируемым объектом.

Происходит приблизительно следующее. Генераторная функция разбивается на части:

Создается стейт-машина в которой при каждом вызове __next__ меняется состояния и в зависимости от него вызывается тот или иной кусок кода. Если в функции yield в цикле, то соответственно состояние стейт-машины зацикливается пока не будет выполнено условие.

Генераторное выражение (generator expression)

Если кратко, то синтаксически более короткий способ создать генератор, не определяя и не вызывая функцию. А так как это выражение, то у него есть и ряд ограничений. В основном удобно использовать для генерации коллекций, их несложных преобразований и применений на них условий.

В языках программирования есть такие понятия, как ленивые/отложенные вычисления(lazy evaluation) и жадные вычисления(eager/greedy evaluation). Генераторы можно считать отложенным вычислением, в этом смысле списковое включение(list comprehension) очень похожи на генераторное выражение, но являются разными подходами.

Первый вариант работает схожим с нашей функцией cool_range образом и может генерировать без проблем любой диапазон. А вот второй вариант создаст сразу целый список, со всеми вытекающими от сюда проблемами.

Yield from

Для обхода ограниченно вложенных структур, традиционный подход использовать вложенные циклы. Тот же подход можно использовать когда генераторная функция должна отдавать значения, порождаемые другим генератором.

Функция похожая на itertools.chain:

Но вложенные циклы можно убрать, добавив конструкцию yield from:

Основная польза yield from в создании прямого канала между внутренним генератором и клиентом внешнего генератора. Но это уже больше тема про сопрограммы(coroutines), которые заслуживают отдельной статьи. Там же можно обсудить методы генератора: close(), throw() и send().

И в заключении еще один пример. Функция принимающая итерируемый объект, с любым уровнем вложенности другими итерируемыми объектами, и формирующая плоскую последовательность:

Источник