что значит open source проект
Понять Open Source
Когда-то – может, уже лет 10 назад – было модно предрекать конец опен сорсу. Интернет пестрил заголовками типа «Почему Open Source скоро умрет» или «Почему Open Source никогда не победит платное ПО». Это не точные заголовки. Скорее, впечатление, которое сохранилось с тех пор.
Сейчас мы видим, что опен сорс цветет и пахнет. Иногда хорошо пахнет, иногда – не очень. Но в целом по-прежнему набирает популярность и даже как-то эволюционирует. Собственно, об этом и поговорим: о том, что Open Source представляет собой сейчас, и куда будет двигаться дальше. Хотелось бы увидеть в комментариях ваши мнения по этому поводу.
Сразу предупрежу, что я не аналитическое агентство. Поэтому не предоставлю масштабной статистики с построенными на ней далеко идущими выводами. Скорее, я ограничусь «далеко идущими выводами», основанными на моей работе с открытым кодом, на общении с людьми, которые тоже этим занимаются, и на наблюдениях за деятельностью различных компаний в этой области.
Я запланировал три поста, которые опубликую, если тема покажется интересной:
Все это время в моем мозгу развенчивались мифы, связанные с опен сорсом. И я даже подозреваю, что реальная история открытого кода развивалась как раз таким образом, чтобы рассеивать мифы, которые когда-то были правдой. Вот только в реальности они разрушились гораздо раньше, чем у меня в голове.
Кстати, небольшой опросничек: как вы используете опен сорс? (См. в самом низу поста. Хабр не умеет вставлять опросники в текст)
Сначала я смотрел на ПО с открытым кодом очень романтически. Фактически, я верил в широко распространенные одно время легенды об «энтузиастах с красными глазами», которые пишут код в ночи с одной только целью – сделать мир лучше. Безусловно, такие люди были. Даже в моем студенческом общежитии были ребята, которые ковыряли ядро Линукса и GNUтые приложения. И кто-то из них даже вливал свой код в соответствующие репозитории. Подозреваю, что и сейчас в общежитиях технических ВУЗов люди по ночам занимаются не только сексом и геймерством. Интересно даже, что именно они сейчас ковыряют. Если 15 лет назад ответ был очевиден – Линукс – то сейчас я почти уверен, что это не Линукс. Очевидно, энтузиасты с красными глазами существуют и поныне. Но их вклад в Open Source ничтожен.
Первый миф, с которым мне пришлось расстаться – это представление о том, будто на ПО с открытым кодом не делают деньги. Распрощаться с этой идеей было очень просто, потому что за примерами далеко ходить не надо. Взять хотя бы корпоративные версии Linux-дистрибутивов. Например, Red Hat Enterprise Linux (в простонародии – RHEL). Коммерческие дистрибутивы Linux – железный пример того, что на опен сорсе можно заработать. От него не отмахнешься аргументом типа «Если кто-то пытается зарабатывать, это еще не значит, что идея популярна и что заработать можно много». Практически каждая крупная западная компания платит за подобные дистрибутивы. А сколько на этом можно заработать, легко понять из финансовых отчетностей Red Hat или из краткой сводки его финансовых метрик.
Бесплатность опен сорса – это второй миф, с которым я распрощался. По-хорошему, этот миф должен быть с некоторой натяжкой более-менее эквивалентен первому. Однако в сознании людей эти два заблуждения жили по отдельности. Мой случай не был исключением. Забавно, что в современном мире первый миф, видимо, уже изжит. А вот второй по-прежнему процветает. Думаю, для этого есть несколько причин:
Кстати, про Yahoo. Лет 15 назад практически каждый интернет-пользователь периодически пользовался поисковиком этой компании. Проверим, много ли людей знают Yahoo! сейчас. В конце поста на эту тему есть опросничек.
Выше я назвал только основные заблуждения, которые существуют или существовали относительно Open Source. Есть еще куча мелких. Но обсуждать их уже не так интересно. Гораздо интереснее поговорить о том, как понимать тенденции, управляющие развитием современного опен сорса. Если научиться анализировать крупнейшие события в мире открытого ПО, то для понимания общей картины предубеждения становятся не нужны.
Универсальных рецептов здесь быть не может. Могу лишь поделиться тем, что считаю полезным для себя. Рад буду услышать в комментариях о том, на что опираетесь вы.
Итак, как научиться понимать Open Source?
Рецепт 1. Open Source – это почти всегда про деньги. Если вы видите непонятные, но мощные «движения» в опен сорс сообществе, попытайтесь понять, кто и как пытается на этом заработать. Разберем пример.
Если попытаться понять это с помощью поисковика, то в топе Гугла можно ссылку вот на это. Из статьи следует, что цель – похоронить Java. Еще всплывает вопрос на Quora, где самый популярный ответ говорит о том же.
Хорошо, допустим, что цель действительно такая. Но как Microsoft собирается на этом заработать? Мы знаем, что Microsoft – не благотворительная организация. Пока остается неясным, как компания хочет заработать денег, можно считать, что ответа у нас нет.
Ищем дальше. Находим официальный ответ Microsoft. Кстати, мне удалось его найти только благодаря Яндексу, хотя и пользовался теми же запросами, что и в Гугле.
Что нам говорит сам Microsoft?
Почитайте статью. Там много правильных и красивых слов о том, что получит от новой инициативы клиент. Но ни слова о том, что хочет получить сама компания. Собственно, там этого и не могло быть. Компании всегда фокусируются на клиенте. «Все для клиента, блин!» И это совершенно правильно.
Мне не удалось найти подходящего объяснения в Интернете (возможно, вам в этом вопросе повезло больше). Значит, начинаем думать самостоятельно.
Снова вспоминаем о том, что Microsoft – это не ради благотворительности. Java контролируется своенравной компанией Oracle. Ставить себя в зависимость от капризов Oracle – большой риск. Поэтому Microsoft концентрируется либо на инструментарии, который контролирует сама, либо на тех технологиях, которые единолично не контролирует никто. Т.е. вроде как, компания действительно не прочь отъесть кусок у Java. Но это не сама цель. Что же тогда цель?
Ответ часто мелькает на интернет-страницах, которые посвящены кросс-платформенным усилиям конторы. Если вы повторите тот поиск, который я кратко описал выше, то увидите, что цель – сделать так, чтобы приложения, которые разработчики пишут для Android и iOS, также запускались на Windows/Windows Phone. Бинго! Добавляем последний кирпичик: у Microsoft нет богатой экосистемы вокруг его мобильной платформы. Но такая экосистема есть у Google и Apple. Так что Microsoft хочет воспользоваться чужой экосистемой, чтобы переманить пользователей двух мобильных гигантов. «Ребята! Все ваши любимые приложения работают и на нашей системе! Айда к нам. У нас платформа гламурнее» (например).
Правильный ли вывод я сделал? Не знаю. Но, по крайней мере, это гипотеза, которую можно проверять, наблюдая за дальнейшими действиями компании.
Подобные логические построения при анализе трендов в Open Source приходится делать часто. Потому что никогда soft-гиганты не придут и не скажут открытым текстом: «Вы знаете, мы тут собираемся эксплуатировать чужую экосистему».
Длинный получился пример… Надеюсь, что во благо. Едем дальше.
Рецепт 2. Думая, куда может пойти Open Source, ищите аналогии. В мире по-настоящему новые идеи появляются очень редко. Мне иногда полезной оказывается мысль о том, что опен сорсу в широком смысле уже много сотен лет. Что я имею в виду?
Юридически, открытый код – это публикация. Примерно как худлит. Код тоже является объектом авторского права. Использование художественных или научных публикаций можно лицензировать. То же самое можно делать и с кодом. Технологии, описываемые в научных работах, можно патентовать. Алгоритмы, реализованные в коде, — тоже (хотя и не во всех странах; и часто – под совсем другим соусом).
Как можно использовать подобные аналогии? Как всегда, приведу пример.
Давайте возьмем что-нибудь не самое тривиальное. Поговорим о роли государства.
Государству выгодны публикации. Благодаря им, частные идеи становятся достоянием общественности, что является серьезным двигателем экономики. Поэтому государство всячески старается эти идеи из населения «выманивать». Так, например, был создан один из основных костылей современного капитализма – патентная система. Патенты делают идею публичной, но при этом защищенной от посторонних посягательств. Дальнейшее ее использование регулируется с помощью лицензий.
Итак, в мире публикаций огромную роль играет государство. А многие интересные для развития экономики публикации рождаются в академической среде, которая поддерживается все тем же государством. Какую теперь можно было бы выдвинуть гипотезу?
Правильно: государство играет огромную роль в развитии Open Source. И академическая среда тоже. Имеется в виду, в первую очередь, американское государство. Российское для развития Open Source пока что сделало мало.
Перед тем, как проверить гипотезу, немного глубже посмотрим на ситуацию. Как коммерциализируются технические идеи, родившиеся в академической среде?
Чтобы ученые «не зажимали» свои идеи, государство позволяет патентовать их и даже дает приоритетное право на коммерциализацию (с некоторыми оговорками, которые здесь не существенны).
В результате научной работы, рождается технология, защищенная патентами и обложенная лицензиями. Дальше ученые – при условии, что университет позволит – основывают стартап и начинают доводить технологию до продукта. Если все идет хорошо, они зарабатывают на этом деньги.
Здесь важным моментом является то, что ученые начинают бизнес, имея в руках уже готовую технологию, созданную ими и оплаченную государством.
Теперь что мы видим в отношении нашей гипотезы? А то, что огромное количество нишевого софта с открытым кодом действительно родилось в стенах исследовательских организаций. Пример из личной практики. Этим летом я посетил конференцию ISC’15 (International Supercomputing Conference). Практически весь софт, представленный на конференции, является открытым и берет свое начало в академических кругах. Сначала он разрабатывался на государственные деньги, а потом разработчики, выйдя из лабораторий с готовыми технологиями, создали вокруг них коммерческие конторы. Сюда относятся, например, все самые популярные реализации MPI и планировщики задач.
Я постоянно сталкиваюсь с опен сорсом, вышедшим из академической среды. Часто это очень серьезные проекты. Взять хотя бы инструмент для визуализации данных VisIt. 1,5 миллиона строк кода. Разрабатывается очень крупной американской лабораторией LLNL. Может использоваться как сам по себе, так и в качестве библиотеки для Python, С++, Java. Кстати, рекомендую.
Вот еще один пример роли государственных денег. «Лохматый» список 2003-го года. Всемирно известные Open Source проекты, проспонсированные государством.
Итак, проведя аналогию с другими видами публикаций, легко пришли к выводу, что государство – серьезный драйвер опен сорса.
Возможно, этот пост читают специалисты по интеллектуальной собственности. Может, кто-то из них знает, где можно достать статистику по количеству денег, которые США вкладывают в Open Source? А еще по количеству коммерческих компаний, которые вышли из академической среды на почве Open Source?
Однако остался еще один рецепт.
Рецепт 3. Периодически отказывайтесь от рецептов. Или ищите новые. Или вообще не используйте. Open Source быстро эволюционирует. То, что казалось фантастикой пару лет назад, сегодня уже реальность.
Этот «рецепт» невозможно проиллюстрировать примером ввиду самой сути рецепта. Но кое-что все равно скажу 🙂
Сегодня я могу «нагуглить» или «наяндексить» Python-библиотеку практически для любой задачи прикладного характера. Т.е. в мире в какой-то момент появилось по-настоящему удобное средство, которое дало дополнительный толчок развитию Open Source сообщества. Очень легко стало разрабатывать элегантные, маленькие, но эффективные инструменты. (Хотя и с ограниченной областью применения). Каждый из них в отдельности – почти незаметен и, скорее всего, никогда не войдет ни в какой продукт. Но все вместе они создают основу для соцсети нового типа, что ли… Люди постят свои сниппеты вместо фотографий ног и еды. Существенная роль в развитии этого явления принадлежит еще и GitHub.
Удобные инструменты привели к маленькому Open Source коммунизму, что ли… Люди выкладывают свои труды в сеть только потому, что будет приятно, если кто-то еще ими воспользуется.
На этом пока все. В следующем посте поговорим о том, с какими целями отдельные люди и компании выходят в Open Source.
Зачем тебе Open Source?
Привет! Меня зовут Дмитрий, я тренер по продуктам компании Arenadata и один из преподавателей в онлайн-школе для разработчиков в Open Source COMMoN, в которую сейчас идёт набор. Пока мы готовились к этому буткемпу (а я веду трек по Arenadata DB), я задумался: а что сегодня движет молодыми, которые выбирают для себя работу с открытым ПО? Я отлично помню, что двигало нами 20 лет назад… И отлично вижу, что сегодня всё не так. Тогда что? Попробовал разобраться — и вот что получилось (под катом).
Фото Александра Копилова, SpBLUG, 2019г.
Здесь будет немного истории Open Source (в том числе из личного опыта), мой взгляд на то, чем может быть полезно свободное ПО разработчикам сегодня, и немного спойлеров по моему треку для тех, кто решит присоединиться к школе.
Основы и немного истории
Открытость или закрытость ПО определяется лицензией. По факту она является договором правообладателя с пользователем и регулирует права последнего. Причём автор и правообладатель обычно не одно и то же лицо. Бизнес, построенный на продаже софта, нацелен на то, чтобы отдать пользователю только одно право — использовать софт (да и то с ограничениями).
В противовес этому появился свободный софт, создатели которого не преследовали коммерческие интересы. Лицензионные соглашения на такие продукты предусматривают право пользователя не только использовать продукт, но и исследовать исходный код, а также использовать его для создания нового программного обеспечения на его основе.
Вообще таких лицензий было много: BSD, MIT и т. д. Однако наиболее ярким явлением стала лицензия Free Software (не путать с Open Source), созданная сотрудником МТИ Ричардом Мэтью Cтоллманом (RMS) с группой единомышленников. Благодаря их работе появилось такое понятие, как GPL, или GNU General Public License — copyleft-лицензия (общедоступная) на свободное программное обеспечение. Её условием стало рекурсивное наследование лицензии на все проекты, которые создаются на основе или с использованием кода под свободной лицензией.
В Россию Open Source пришёл почти одновременно с проприетарным софтом. В СССР было собственное ПО, но в основном для больших или мини-ЭВМ (ЕС, СМ ЭВМ и т. д.), а также ПО для западных вычислительных систем производства IBM, DEC, HP и т. д. Модель распространения тоже была другой: либо просто ВЦ «делились» друг с другом, либо головные КБ / центральные НИИ передавали ПО в филиалы или партнёрские организации.
Незадолго до крушения Союза появились DOS, первые версии Windows, OS/2, офисное ПО и т. д. Почти в то же время появился и свободный софт: сначала — варианты BSD, позже — Linux и т. д. Тогда уже существовали Open Source-лицензии, например MIT/BSD. Однако наиболее активное развитие получило Free (libre) Software GNU/Linux под наиболее непримиримой свободной лицензией GNU/GPL. Эта лицензия стратифицировала модели разработки и распространения ПО, что, как я считаю, и позволило выжить свободному софту.
Вообще феномен Free Software касался не только разработки. Вокруг него сразу появилась целая экосистема. В частности, очень много людей, которые не являлись разработчиками, всё-таки вносили свой вклад в выживание и распространение этой модели. Если человек мог (и, главное, хотел) писать код, он писал. Если он был пользователем такого софта (например, системным администратором), он просто помогал другим в работе с этим ПО. Сформировалось множество сообществ и просто отдельных людей, которые участвовали в жизни экосистемы.
Например:
2005 год. В городе Архыз RnDLUG (Ростов-на-Дону) и NCLUG (Северо-Кавказская группа) при поддержке IBM провели трёхдневный форум, в котором участвовало около 50 специалистов из разных городов России.
OpenSourceForum All LUG 2005 г. Фото из личного архива (я тут тоже есть) 🙂
2010 год. В Ростове-на-Дону в рамках государственной программы «Школьный линукс» RnDLUG помогали школам в установке свободного ПО (развернули школьный дистрибутив AltLinux в 25 школах).
Школьный проект RnDLUG 2010 г. Фото из личного архива
2019 год. В Санкт-Петербурге SpBLUG на одну из очередных конференций пригласили Ричарда Мэттью Столлмана.
Ричард Мэттью Столлман в SpBLUG. Фото Александра Копилова, SpBLUG, 2019г.
В это время сторонники Free Software практически не зарабатывали на нём. Скорее, это делалось ради удовольствия от процесса созидания, J4F или в академической среде как часть учебной или научной деятельности. Однако позже FLOSS-лицензии (Free-Libre Open Source Software) стали мягче. Появилась возможность использовать свободное ПО в проприетарных продуктах без обязательного открытия кода LGPL и т. д. Кроме того, появились лицензии OSI (Open Source Initiative). Они и перекинули мостик между двумя мирами: открытого и проприетарного ПО.
К тому времени уже было накоплено довольно большое количество ПО с открытым кодом. Крупные вендоры начали вкладывать в развитие Open Source, появились фонды для финансирования отдельных, наиболее важных направлений развития такого софта (FSF, The Document Foundation и другие).
Ну и, наконец, большие корпорации стали напрямую участвовать в разработке свободного ПО. За последние 12 лет в десятку ведущих коммитеров в код ядра Linux вошли такие компании, как Intel, RedHat, IBM, Suse, Linaro, Google и Samsung. Как следствие, на основе проектов с открытым кодом стали массово появляться коммерческие проекты. В качестве забавного примера приведу историю с закрытием бага №1 в багтрекере Ubuntu — «У Microsoft сегодня самая большая доля на рынке». В 2013 г. сам же Марк Шаттлворт закрыл его в связи тем, что с приходом Android (кстати, созданным Google на основе ядра Linux) доля Windows стала ниже 50%.
Постепенно появилось много самых разных и вполне конкурентоспособных продуктов с открытым кодом: СУБД, операционные системы, офисные пакеты, графические и 3D-редакторы, научное и аналитическое ПО и многое, многое другое. И это ПО не хуже, а иногда и лучше, чем проприетарное, справляется с разными бизнес-задачами.
Интерес к Open Source продолжает расти. В последние несколько лет на мировом рынке произошла череда крупных слияний и поглощений (Microsoft&GitHub, IBM&RedHat, Cloudera&Hortonworks и др.), а международные венчурные фонды прямо заговорили о том, что сегодня самое лучшее время для создания бизнеса на базе открытого ПО.
В России использование свободного ПО тоже становится одной из главных возможностей роста (и для государства, и для бизнеса, и для разработчика). Примеров этому масса, начиная от нашумевшей истории веб-сервера Nginx и целой группы российских ОС (AltLinux, Rosa, AstraLinux и т. д.).
Зачем разработчику Open Source сегодня
А теперь давайте поговорим о том, чем сфера свободного ПО может быть интересна современному разработчику.
Ну, во-первых, это весело. Здесь я имею в виду, что мотивация пионеров свободного софта действует на молодое поколение разработчиков и сегодня. Правда, в меньшей степени, чем раньше. Почему? Хороший вопрос. Может, сменились приоритеты, может, всё потому, что сегодня коммерческое ПО переплелось со свободным, так что уже не всегда легко понять, где заканчивается одно и начинается другое… Не знаю.
Однако интерес к свободному ПО не исчез. На мой взгляд, он сместился от пассионарной потребности к осознанию того, что свободная лицензия не противоречит интересам как разработчика, так и бизнеса. И да — free software is not free beer.
Итак, чем вам может быть полезен Open Source сегодня?
Молодой разработчик что-то самостоятельно написал. Самостоятельно — это значит не под коммерческий заказ, а просто для себя. Такое обычно случается, когда свободного времени ещё много, например в студенческую пору. Что дальше делать с продуктом? Дать ему шанс выжить, а именно — вывести продукт как открытый проект. Если он станет интересен, открытая лицензия и бесплатный вариант поставки дадут возможность проекту пробиться в массы, приобрести сторонников и последователей. Некоторые успешные проекты начинались именно так.
Кейс № 2. Снова newbie, но с карьерными амбициями
Молодой разработчик пытается продвинуться в профессии. В серьёзные организации не берут: нет опыта, нет портфолио. В помощь идёт свободный софт. Участвуете в разработке сообществом конкретного проекта (там, скорее всего, вас возьмут на простенькие задачи). И спустя год работы есть что показать на собеседовании.
Кейс №3. Сотрудники, или как упростить жизнь себе и другим
Вы внедряете свободное ПО в контуре своего предприятия. В какой-то момент понимаете, что функционал вас немного не устраивает или находите небольшой баг. Можете просто ничего не делать и тихо мучиться, проклиная кривой открытый софт. Можете написать багрепорт или фичреквест и ждать, пока его исправят, тихо мучаясь и проклиная кривой открытый софт. А можете открыть исходники и поправить то, что вам мешает. В этом главное преимущество свободного ПО. Именно об этом говорится в притче «RMS и принтер Xerox». Если вы не просто исправите/дополните код для себя, но свяжетесь с разработчиками и сможете добавить свой код в исходный код проекта свободного ПО, это позволит пользоваться этой доработкой не только вам (в том числе и в новых версиях), но и всему community. И все счастливы, а вам +100 000 в карму и к з/п, весьма вероятно, тоже.
Кейс №4. Бизнес на открытом ПО
Свободное ПО не значит бесплатное ПО. Это значит, что если вы имеете большой объём экспертизы в области интеграции/внедрения/сопровождения какого-либо проекта Free Software, то вы можете оказывать услуги по перечисленным позициям, то есть помогать клиентам получать дополнительное value и зарабатывать на этих услугах. А если в какой-то момент вы создадите достаточно большое количество кода в процессе багфиксинга/фичреквестинга, можно форкнуть проект как собственный. Разумеется, не нарушая авторского права и рамок свободной лицензии. Тогда вы станете производителем российского софта 🙂
Кейс №5. Создатель проекта с открытым кодом
Вы давно знаете, что такое свободное ПО и пилите свой проект. Возможно, вы возлагаете на него надежды в плане бизнеса, а может быть, вы работаете над ним из любви к искусству. Если проект полезен сообществу, то, скорее всего, он будет востребован и у вас будет команда, а также круг пользователей продукта. Примеров масса: Олег Бартунов (PostgresPro), Игорь Сысоев (Nginx), Алексей Миловидов (ClickHouse) и очень много других популярных проектов.
Путь джедая: с чего начать и какие нужны скилы
Чтобы понять, какими инструментами и навыками должен владеть Open Source-разработчик, давайте посмотрим на структуру и элементы типового проекта открытого ПО. Центром всего является комьюнити со своей кодовой базой. У него обычно есть:
Для участия в процессе разработки от вас потребуются следующие скилы:
С чего начать, если по каким-то причинам вы решили принять участие в создании открытого ПО? Самое простое — связаться с разработчиками проекта и предложить свою помощь. Если конкретный проект ещё не выбрали или есть много других открытых вопросов, можно пойти поучиться. Например, в наш буткемп COMMoN.
Трек Arenadata
И, наконец, немного о том, чему можно будет научиться со мной на треке.
На своих лекциях я расскажу, как сейчас устроена современная разработка в Open Source в целом. Проиллюстрирую это на примере наших продуктов, построенных на базе нескольких международных и российских Open Source-проектов. Рассмотрим основные вопросы эксплуатации Open Source в процессе разработки, принципы создания и распространения проектов. Расскажу о современных подходах к построению DWH (Data Warehouse, хранилище данных); это важно, поскольку Open Source-технологии в них сегодня играют значимую роль.
Поскольку в основном все компоненты в целевых проектах работают в среде ОС Linux, то понимание принципов её работы и умение пользоваться утилитами системы — это тоже важная часть навыков. Поэтому первая часть теоретического курса будет посвящена ей. Рассмотрим устройство этой ОС, процессы установки, настройки, загрузки, важные утилиты, пакетные менеджеры и многое другое.
Вторая группа лекций будет посвящена целевым проектам с открытым исходным кодом (СУБД Greenplum/ADB и семейства поискового ПО OpenSearch). Поговорим о том, что такое DWH и единая платформа данных в современном представлении, как разворачивать ADB и OpenSearch, посмотрим примеры использования этих продуктов, утилиты, проблематику и важные плагины.
Чему мы не будем учиться, так это программированию. Предполагается, что на входе у вас достаточно развиты навыки программирования на одном (желательно Java) или более ЯП.
Главная цель нашей работы — выпускной проект. Участники трека самостоятельно решат конкретную актуальную для проекта задачу, которую потом можно будет показать в своём портфолио. На нашем треке задания, соответственно, будут направлены на решение актуальных проблем в Greenplum и OpenSearch.
Для его выполнения будет необходимо изучить предметную область, хорошо проанализировать задачу и собственно разработать необходимый функционал. Вопросы по ходу обучения и разработки можно будет задать мне в групповом чате в Telegram. Ссылка придёт после прохождения входного тестирования (да, оно есть и довольно сложное!). Во время разбора теории, как и для практики, будем использовать наш виртуальный кластер Arenadata DB.
Ну и главное. Проекты буду оценивать с позиции практической значимости для общего дела. Лучшие команды получат разные призы от нас и возможность стажировки в Arenadata.
И раз уж речь зашла про стажировку, расскажу ещё немного о нас.
Arenadata — разработчик корпоративной платформы больших данных на базе технологий с открытым исходным кодом Arenadata EDP (Enterprise Data Platform).
Без ложной скромности, компания — один из крупнейших коммитеров Open Source-проектов в России. Мы регулярно вносим вклад в проекты Apache Software Foundation, участвуем в развитии Yandex ClickHouse и Tarantool. По количеству коммитов Greenplum мы второй в мире контрибьютор. Из наиболее значимых фич, привнесённых именно нашей командой, могу отметить алгоритм эффективного сжатия данных без дополнительной нагрузки на CPU Zstandard (ZSTD) и функцию pushdown в PXF (Platform Extension Framework), позволяющую многократно ускорить выполнение запроса на фильтрацию данных (они стали доступны community в Greenplum 6).
Вот, собственно, и всё.
Надеюсь, мой опыт вам пригодится, и буду рад видеть вас в нашей онлайн-школе.
Фото Александра Копилова, SpBLUG, 2019г.