что сейчас делает яндекс
Блог Яндекса
Мы выпустили на улицы третье поколение роверов, наших роботов-курьеров. Их уже можно встретить в Москве и Иннополисе. Роверы стали выглядеть иначе: у них новый корпус, новая подвеска и светодиодные фары, а отсек стал более вместительным — например, в него теперь помещается 6 пицц и 2 двухлитровые бутылки газировки. В этом посте — рассказ про то, как мы создавали и испытывали новых роботов.
Многие москвичи видели на улицах беспилотные автомобили Яндекса. Но столица — не единственный город, где можно их встретить. Машины ездят и по улицам Иннополиса, причём здесь на них можно не только посмотреть, но и прокатиться самому. В Иннополисе четвёртый год работает беспилотное такси Яндекса, и для местных поездка без водителя — не аттракцион, а обычное дело.
Каково это — быть стажёром в Яндексе? Мы попросили нынешних и бывших стажёров вспомнить важные понятия, связанные со стажировкой, и составили своего рода словарик. Он пригодится тем, кто только планирует к нам прийти. Кстати, осенний набор стажёров уже давно открыт: мы ждём разработчиков, аналитиков и специалистов по машинному обучению.
Весной 2017 года мы рассказали о первых испытаниях беспилотного автомобиля Яндекса. Тогда это казалось немного фантастикой — машины, которые едут сами, без водителя. Пусть на полигоне и по заранее заданному маршруту, но едут! Тогда мы писали, что наш проект только в начале пути, и сегодня можем сказать, что на этом пути наступает новый важный этап — мы открываем приём заявок на участие в первом тестировании беспилотных такси в Москве.
Яндекс начал предлагать автоматически перевести англоязычные видеоролики на русский. Откройте видео в Браузере или приложении Яндекс, нажмите на кнопку, подождите пару минут — и закадровый перевод готов. С русской озвучкой можно смотреть лекции, телешоу, влоги и другие видео, размещённые на YouTube и ещё нескольких популярных платформах.
Мы приглашаем на бесплатные занятия учеников 8–10 классов, которые хотят научиться программировать. Лицей будет работать в 170 городах России и Казахстана.
Наш определитель номера научился блокировать нежелательные вызовы: рекламу финансовых услуг, «немые» звонки и звонки от злоумышленников.
Yandex Cup состоится осенью, в сентябре–октябре. За год призовой фонд чемпионата увеличился почти вдвое и теперь составляет 6,2 миллиона рублей.
С каждым днём в интернете становится всё больше интересного и полезного видео: от развлекательных шоу до образовательных курсов. При этом большая часть материалов выходит на иностранных языках и недоступна пользователям из России из-за языкового барьера. Мы близки к тому, чтобы снять этот барьер, и представляем вам первую версию машинного перевода видео.
Мы представили Meteum 2.0 — обновлённую технологию прогнозирования погоды. Она обучается не только на традиционных материалах — сводках метеостанций, спутниковых фото, показаниях радаров, — но и на данных от пользователей: люди сообщают, идёт ли дождь рядом с ними или нет. Подобные сигналы позволили на 20% повысить точность прогноза осадков.
С 2012 года Яндекс ведёт «Охоту за ошибками». Так называется программа премирования специалистов по компьютерной безопасности, которые находят уязвимости в сервисах и приложениях Яндекса и сообщают нам об этом. Мы устраняем ошибки, а тем, кто их обнаружил, выплачиваем вознаграждение. В этом году мы перезапустили программу: условия стали прозрачнее, а награды — больше.
Обогащённые ответы — это специальные блоки в результатах выдачи Яндекса, которые дают ответ на запрос пользователя в наглядном формате. Их возможности постоянно растут: сейчас Яндекс умеет составлять сложные ответы с интерактивными элементами. В этом посте мы расскажем про сложные обогащённые ответы для партнёров и про то, по каким принципам они будут составляться.
Мы в третий раз вручили премию имени Ильи Сегаловича. Она присуждается учёным из вузов России, Беларуси и Казахстана за достижения в профильных для Яндекса областях компьютерных наук. В этом году лауреатами премии стали шесть человек: четверо в номинации «Молодые исследователи» и двое в номинации «Научные руководители». Лауреаты получат по миллиону рублей.
Мы нанесли на Яндекс.Карты очертания гор и горных цепей в России и во всём мире. Теперь на карте можно рассмотреть хребты Альп, отроги Уральских гор и вулканы Камчатки. Карта с рельефом поможет составить более полное представление о местности. Скажем, те, кто планирует отпуск на Кавказе, смогут посмотреть, где расположена выбранная гостиница: прямо в горах или неподалёку.
Минувшая зима в Москве выдалась снежной, но несмотря на сугробы и снегопады беспилотные автомобили Яндекса продолжали выезжать на улицы города. Мы расскажем, какие трудности могут возникнуть на дороге в холодное время года и как наши машины с ними справляются.
Приглашаем студентов и выпускников вузов на летнюю стажировку. Условия гибкие: стажировка длится от трёх до четырёх месяцев, работать можно полный или неполный день. Стажёров ждут в офисах Яндекса в Москве, Санкт-Петербурге, Екатеринбурге, Нижнем Новгороде, Новосибирске, Сочи и Минске. Чтобы попасть на стажировку, нужно хорошо сделать тестовое задание и пройти собеседования.
В Яндекс.Заправках появилась доставка еды и напитков. Теперь в приложении можно не только оплатить топливо, но и заказать что-нибудь из кафе на АЗС. Заказ принесут прямо в машину за пять минут. Доставка пригодится, если вы путешествуете с ребёнком, на улице непогода или вы стремитесь избегать лишних контактов. Услуга доступна более чем на ста АЗС в Москве и Московской области.
В феврале мы откроем набор в летние школы Яндекса. Если вы начинающий разработчик или дизайнер, уже кое-что умеете, но вам не хватает опыта — приглашаем на занятия. В школах преподают сотрудники Яндекса. Будут лекции, практические занятия и работа над проектом в команде с другими студентами. Обучение в школах бесплатное, для поступления нужно хорошо сделать тестовое задание.
Мы научили Алису составлять новогодние поздравления. Теперь она умеет произносить тосты и рисовать открытки. В этом ей помогают нейросети и робот Автопоэт. Попросите: «Алиса, скажи тост» или «Алиса, покажи открытку» — и посмотрите, что выйдет. Тосты и открытки получаются оригинальными и немного безумными — раньше вы такого точно не видели и не слышали.
У Алисы появился новый навык — теперь она умеет изменять внешность людей на фотографиях. Алиса может вас состарить или, наоборот, омолодить, поменять вам пол, сделать из вас героя аниме или превратить вас в эльфа, орка или вампира. Просто скажите: «Алиса, измени меня» или «Алиса, преврати меня в эльфа» и покажите фото — такое, чтобы на нём было хорошо видно лицо.
Зачем пользователи Сети ищут слово «цвет» в «Яндексе»? Современный способ гадания через поисковик
Пользователи Сети массово публикуют скриншоты из поисковика Yandex («Яндекс»), где ищут слово «цвет». Участники флешмоба таким образом гадают, как на палитре выглядит их настроение, каким оттенком можно описать их жизнь и в какой цветовой гамме стоит одеваться. Как на самом деле работает выдача по этому запросу и откуда взялся тренд, разобралась авторка Medialeaks.
Что за тренд «Яндекс цвет»?
Если написать в поисковике «Яндекс» слово «цвет», то алгоритм предложит вам в первую очередь не определение термина, а один из тысячи оттенков, выбранный из палитры. Так благодаря этой функции в середине ноября 2021 года в соцсетях появился новый флешмоб, в котором пользователи делятся результатами поиска слова «цвет» и гадают, что он может значить.
Результат авторки Medialeaks
Тренд начал пользователь инстаграма с ником an_n1konoff. Молодой человек разместил сторис с функцией «Ваш вопрос», которая позволяет зрителям оставлять ответы в виде собственных публикаций, куда автоматически прикрепляется стикер с первоначальным вопросом. Так тренд может быстро разойтись по всей соцсети, передаваясь от одного пользователя к другому.
Флешмоб стал настолько популярен, что вышел за пределы инстаграма и попал тикток и твиттер, где пользователи начали гадать, что может значить выпавший им оттенок. Например, автор ролика bogdanovlog предположил, что оттенок символизирует настроение человека.
Узнай, какой у тебя цвет. Заходим в «Яндекс», в поисковой строке пишем «цвет» и узнаём, какой же цвет настроения у тебя сегодня, — объясняет молодой человек, которому попался светло-пурпурный.
Тиктокерша smotri_nazdorovie считает, что настроение ни при чём, по её мнению, поисковик угадывает, какой оттенок предпочитает пользователь. Девушка показала сразу несколько результатов с разными цветами, называв их все любимыми.
Вау, как? Это же мой любимый цвет.
Той же трактовки результатов придерживается и пользовательница твиттера Veta (@cjveta0), которой попался цвет под названием «Жёлтая сера». Оказалось, именно он её любимый.
Что-то все вокруг вбивают в «Яндекс» «цвет» и делятся результатами, а ещё у многих результат совпадает с любимым цветом.
Вот у меня внезапно совпал даже любимый оттенок.
Другие авторы в твиттере посчитали, что «Яндекс» подбирает цвет, который идеально описывает их жизнь.
Какой цвет вам выдаёт «Яндекс» по запросу «цвет»?
Что в моей жизни пошло не так — вопрос риторический.
Были и те, кто предположил, что оттенок намекает им, одежду какой цветовой гаммы стоит носить. А если написать слово «цвет» по-английски — colour — и добавить дату рождения, сокращённую до шести цифр по схеме «дд.мм.гг.», то можно якобы узнать, каким цветом маркируется ваша судьба.
Как работает поиск цвета в «Яндексе»
В 2008 году «Яндекс» создал систему под названием «Колдунщик цветов». Она разработана для помощи тем, кто имеет дело с палитрой, например дизайнерам: сервис позволяет увидеть, как наглядно выглядит тот или иной оттенок, название которого указано в запросе. Изначально в системе было 2034 цвета, а после обновления в 2015 году стало 1010.
Мы взяли за основу несколько существующих списков именованных цветов (это те, за которыми закреплены конкретное название и координаты в стандартных цветовых моделях вроде RGB (модель кодирования цветов. — Прим. Medialeaks)) и добавили несколько оттенков, названия для которых придумали сами, — пишут создатели.
Теперь можно узнать, какого оттенка бедро испуганной нимфы, что имеется в виду под фразой «цвет детской неожиданности» и как на палитре выглядит «горько-сладкий».
Цвета из «Колдунщика»
Именно те цвета, которые появились в «Колдунщике», и выпадают участникам челленджа. Такое развлечение стало возможно после того, как в мае 2021 года «Яндекс» обновил поисковый формат. Впрочем, гадать по цветам абсолютно бесполезно, ведь при каждом новом запросе рандомно выпадает один из 1010 оттенков, которые есть в «Колдунщике».
Ранее Medialeaks рассказал, зачем девушки спрашивают у молодых людей, с какими цветами у них ассоциируются. Так они проверяют, как к ним относятся бойфренды.
На вопрос девушек легко ответит Билли Айлиш. На шоу Джимми Фэллона певица рассказала, что ассоциирует людей с цветами и фигурами.
Разбираемся в бизнесе Яндекса
Если у вас есть брокерский счет, вы можете стать владельцем доли Яндекса. Но разумный инвестор сначала разбирается в бизнесе компании. Именно это я попробую сделать сегодня.
На чем зарабатывает Яндекс
За последние пять лет Яндекс запустил несколько бизнес-сегментов: такси, сервис персональных рекомендаций, доски объявлений и другие продукты. За это время доля поиска в общей выручке сократилась с 94 до 82%. Хотя выручка от других сегментов растет, единственным источником доходов продолжает оставаться продажа рекламы. Рекламные доходы позволяют Яндексу развивать другие бизнес-сегменты, которые сейчас приносят убытки.
EBITDA —
прибыль до вычета расходов по выплате процентов, налогов и амортизации
Поиск
Выручка Яндекса от поиска зависит от пользователей и рекламодателей. Посмотрим на ситуацию с обеих сторон.
Пользователи. Последние три года аудитория рунета растет на 2—3% в год с учетом сложного процента. Основной рост аудитории пришелся на 2008—2014 годы. Выиграть за счет роста проникновения интернета Яндексу уже не удастся.
Рост аудитории рунета происходит за счет смартфонов — на 22% за три года — и смарт-ТВ — на 5%. Кажется, на обоих рынках у Яндекса потенциально могут быть проблемы.
У Яндекса нет крупной рекламной площадки, кроме главной страницы. У Гугла есть Ютуб, Фейсбуку принадлежат Вотсап и Инстаграм, Мэйл-ру владеет Вконтакте и Одноклассниками. Эти социальные и медийные сервисы — дополнительные рекламные площадки. У Яндекса такой нет. Хотя компания развивает сервис «Дзен», который выделен в сегмент экспериментальных, но уже имеет больше 10 млн дневной аудитории.
Есть еще одна потенциальная проблема: постепенный рост пользователей, которые выходят в интернет только со смартфона. На Андроиде чаще всего предустановлен поисковик от Гугла. А еще Гугл платит Apple, чтобы на Айфонах стандартным поисковиком в браузере тоже был Гугл. По данным американских аналитиков, поисковик за это платит около 9 млрд долларов, или 585 млрд рублей, в год. Неподъемные суммы для Яндекса.
Но пока это не мешает Яндексу быть лидером на российском рынке поиска на десктопе и на смартфонах.
Доля выручки Яндекса от рекламы через смартфоны растет, через компьютеры и ноутбуки — падает.
Рекламодатели. Сервис Roistat провел исследование эффективности рекламы в российском интернете за 2018 год. Рекламодатели тратят больше денег на рекламу в поисковиках, чем в соцсетях. И главное: реклама в Яндексе эффективней рекламы в Гугле для 60% клиентов. Другими словами, российский бизнес выбирает Яндекс — это хорошо.
По мнению консалтинговой компании PwC, темпы роста рынка интернет-рекламы будут замедляться. Несмотря на это, рост все равно достаточно быстрый, поскольку деньги будут и дальше перетекать из других рекламных рынков — телевидения, радио и прессы. Сейчас Яндекс занимает около 50% рынка. Кратно вырасти не удастся, но есть шанс поддерживать темп роста выше рынка.
Аналитики ожидают, что наибольший рост покажет сегмент видеорекламы. По заявлениям компании, в собственной экосистеме Яндекс может показывать рекламу аудитории до 37 млн человек — за счет «Кинопоиска», «Яндекс-музыки», «Яндекс-афиши» и других сервисов. Но тут тоже не все прекрасно: Ютуб дает аудиторию в размере 44 млн человек.
Такси
Сейчас «Яндекс-такси» — совместное предприятие Яндекса и Uber. Яндексу в компании принадлежит 59,3% акций. «Яндекс-такси» работает в 15 странах мира. В России компания вышла в плюс еще в 2018 году. Руководство связывает отсутствие доходов от сегмента такси с инвестициями в доставку еды и развитие беспилотных автомобилей.
Приложение Яндекса и Uber — лидер на российском рынке. Если человек пользуется такси, то, с большой вероятностью, у него установлено приложение «Яндекс-такси» или Uber.
Яндекс развивает собственный сервис карт с 2004 года. За это время компания собрала много данных по картографии России и использует их для навигации, создания маршрутов и распределения заказов. Готовые данные позволяют сократить стоимость поездки, а следовательно, увеличить количество пользователей, готовых пересесть с общественного и личного транспорта на такси. Тому же Uber приходится покупать данные у Microsoft и самостоятельно инвестировать в сбор данных в Америке.
Я не нашел конкретных данных по расходам «Яндекс-такси», но аналитики американского банка Morgan Stanley посчитали расходы на милю для Uber — половину расходов на поездку занимает оплата водителю. Яндекс пытается решить этот вопрос с помощью разработки автопилота. Технологическое преимущество перед обычными сервисами такси поможет занять еще большую долю на рынке, который оценен в 618 млрд рублей.
Автопилот — потенциально прорывная технология, но она требует дальнейших инвестиций и разработки полноценного законодательства. Как скоро технологию можно будет полноценно использовать в бизнесе — непонятно. А еще автопилот может дать Яндексу возможность выйти на рынок автоперевозок и доставки товаров. К слову, рынок грузоперевозок оценен в 800—900 млрд рублей — в несколько раз больше, чем рынок интернет-рекламы.
Прочие сервисы
У Яндекса есть три сегмента, которые растут на более чем 50% год к году: доски объявлений, медиасервисы и экспериментальные проекты. Но в сумме они не приносят и 10% выручки. Посмотрим на интересные проекты.
Подписка «Яндекс-плюс». Текущий тренд крупных технологических компаний — создание экосистемы, чтобы пользователь мог на одной платформе удовлетворить больше своих потребностей. Так появился «Яндекс-плюс» — платная подписка, которая дает привилегии в сервисах компании: скидки на поездки в «Яндекс-такси», доступ к сериалам на «Кинопоиске», к «Яндекс-музыке», место на «Яндекс-диске» и прочие бонусы.
«Дзен». Сервис персональных рекомендаций Яндекса. «Дзен» для компании — дополнительная площадка для показа рекламы. По сути, «Дзен» конкурирует с Инстаграмом, мессенджерами, новостными сайтами и даже с Netflix.
Плюс сервиса в том, что большую часть контента создают пользователи и Яндексу не нужно тратить много средств на их вовлечение. Бизнес и медиа самостоятельно генерируют контент на площадке.
Если верить «Яндекс-радару», то пользователи «Дзена» тратят на сервис по четыре часа в день — оценка выглядит не очень правдоподобной. Данные по времени на сайте и посещенным страницам у Similarweb.com выглядят реалистичней, они в графике ниже. Мне кажется, текущая проблема «Дзена» в малом количестве видеоконтента — посмотрите на вовлеченность аудитории Инстаграма и Ютуба. Ведь чем больше пользователей тратят время на сервис, тем больше им можно показать рекламы. Но вроде как «Дзен» тестирует формат видеороликов.
Яндекс не раскрывает, сколько выручил и заработал «Дзен». Сотрудники компании заявили, что «Дзен» выручил 4 млрд рублей. Это не точные данные, а приблизительные: компания взяла выручку за определенный месяц и посчитала, что будет так зарабатывать в течение года.
«Яндекс-облако». Сервис запустили в сентябре 2018 года. С его помощью компании могут обрабатывать и хранить данные на серверах Яндекса.
В текущих реалиях данные — ядро бизнеса. Так, сервис вызова такси Lyft потратил в прошлом году на облачные хранилища Amazon 100 млн долларов. У Яндекса положение лучше: он уже зарабатывает на своих серверах.
Глобальный рынок облачных сервисов и оборудования для них оценен в 250 млрд долларов, или 16 трлн рублей. Российский рынок — около 70 млрд рублей. Сейчас лидер на мировом рынке — облачные сервисы Amazon. Потенциальные точки роста для сервиса Яндекса: иностранные компании, которым нужно держать и обрабатывать данные российских пользователей, а также нетехнологические местные компании.
На февраль 2019 года у сервиса было 6 тысяч клиентов, из них 500 — платящих. Пока рано говорить о каком-то влиянии сервиса на финансы Яндекса, но, по прогнозам, даже российский рынок облачных решений должен расти чуть быстрее рынка рекламы.
Электронная коммерция
С 2000 по 2016 год компания развивала «Яндекс-маркет» — сервис по выбору товаров и услуг. В 2018 году Яндекс совместно со Сбербанком организовали предприятие на базе «Яндекс-маркета». Компании планируют создать «Amazon по-русски». Теперь Яндексу принадлежит 45% акций в «Яндекс-маркете». Результаты маркета будут незначительно учитываться в отчетности компании.
Кто владеет Яндексом
Когда вы покупаете акции Яндекса, вы приобретаете долю в нидерландском холдинге. Этому холдингу принадлежат доли в российских компаниях, а они, в свою очередь, владеют сервисами Яндекса. Основатели создали юридическое лицо в Нидерландах, чтобы обезопасить себя от крупных инвесторов, и выпустили два типа акций. В России так сделать нельзя.
На фондовом рынке торгуются акции класса А, которые обладают одним голосом, и акции класса B, которые равны 10 голосам. Акции класса B принадлежат создателям компании, и их нельзя купить или продать на бирже, зато можно конвертировать в акции класса А. Когда Яндекс решит выплатить дивиденды, количество голосов не будет играть никакой роли. Будет учитываться только количество акций класса А и B.
Еще есть золотая акция, которая принадлежит Сбербанку. Она позволяет блокировать продажу крупных активов и вносить в устав поправки, изменяющие права владельца золотой акции.
В октябре 2018 года были слухи, что Сбербанк хочет получить крупную долю в Яндексе. Из-за этого акции упали в цене на 23% в моменте. Но купить крупную долю в Яндексе трудно: для этого понадобится выпустить новые акции, заплатить денег больше, чем стоит Яндекс в целом, и получить соглашение текущих инвесторов. Акции класса B как раз и нужны для того, чтобы защитить компанию от опасных инвесторов.
Куда больший риск несет не поглощение Яндекса государственной компанией, а признание интернета стратегически важным сектором российской экономики. Это может наложить ограничения на иностранную собственность в российских интернет-компаниях. Сейчас, покупая акции Яндекса, мы покупаем нидерландский холдинг, которому полностью принадлежит российская компания, владеющая поисковиком Яндекса.
Что за бизнес
Яндекс — компания, доминирующая на российском рынке интернет-рекламы, зависящая от местного законодательства и способности приносить рекламодателям отдачу на вложенные деньги. Поисковая система — дойная корова, которая позволяет развивать убыточные направления бизнеса.
Потенциал Яндекса зависит от скорости роста рынка рекламы, перераспределения бюджетов компаний на интернет-рекламу и способности привлечь внимание аудитории к новым форматам развлечений.
Благодаря инвестициям в данные и инфраструктуру Яндекс получил информацию, которую использует для удешевления поездок на такси и разработки автопилота. Бизнесу необходимы сервера для обработки и хранения данных, поэтому Яндекс запустил облачный сервис. Оба рынка потенциально помогут снизить зависимость от поисковых доходов.
В следующем обзоре я попробую сделать грубую оценку стоимости Яндекса и понять, переоценен или недооценен бизнес компании. Подпишитесь на Инвестник, чтобы не пропустить вторую часть обзора.
Без притязаний
Это поверхностный обзор бизнеса Яндекса, чтобы принять инвестиционное решение. Мы ни на что не претендуем, а лишь хотим помочь вам быстро разобраться в бизнесе компании и продолжить самостоятельное изучение.
Если вы новичок в инвестициях, но хотите приумножить собственный капитал с помощью акций — прочитайте наши вводные статьи:
Что сейчас делает яндекс
Привет, меня зовут Антон Чистяков. Пару лет назад я работал в хелпдеске Яндекса и даже писал здесь про то, как мы придумали вендомат с аксессуарами. Теперь отвечаю за сборку беспилотных автомобилей и роботов-доставщиков. Под катом расскажу, как мы делаем простые машины беспилотными: от момента покупки авто и выбора имени до сборки и калибровки, на которых всё, впрочем, не заканчивается.
Новости
Суперкомпьютеры Яндекса: взгляд изнутри
Недавно три наших новых GPU-кластера заняли 19, 36 и 40 места в рейтинге суперкомпьютеров Top500. Это лучшие результаты среди всех участвующих в нём суперкомпьютеров России. Но сегодня мы поговорим не о местах в рейтинге, а о том, чем полезно на практике участие в подобных замерах.
Из этого поста вы узнаете про наши первые попытки создать свои кластеры и грабли на этом пути. Расскажем, как устроены суперкомпьютеры для машинного обучения и почему мы в итоге пришли к собственной архитектуре. Важная часть истории будет посвящена разбору проблем замеров производительности, которые, вопреки первым впечатлениям, принесли нам не только места в рейтинге, но и реальную пользу для наших ML-проектов.
Поможет мне в этом Дмитрий Монахов dmtrmonakhov. Он уже известен читателям Хабра по докладу о разработке ядра Linux. Передаю ему слово.
Нейросеть, способная объяснить себе задачу: P-tuning для YaLM
Мы уже рассказывали о том, как применили семейство генеративных нейросетей YaLM для подготовки ответов в Поиске, Алисе или даже в Балабобе. Главная особенность наших моделей — метод few-shot learning, который позволяет без дополнительного обучения решать большинство задач в области обработки естественного языка. Достаточно лишь подготовить подводку на человеческом языке — и модель сгенерирует текст. Но что, если это не самый оптимальный путь?
Сегодня я расскажу читателям Хабра про апгрейд этого метода под названием P-tuning. Вы узнаете про недостатки оригинального метода few-shot и преимущества нового подхода. Покажу, где он уже применяется на примере покемонов. Добро пожаловать под кат.
Извлекаем суть новости. Опыт Яндекса
Привет! Меня зовут Илья Гусев, я занимаюсь машинным обучением в команде Яндекс.Новостей. У каждого новостного сюжета на сервисе есть своя страница, где собраны новости об одном и том же событии из разных источников. Сегодня мы рассмотрим построение краткой выжимки, дайджеста сюжета. В такой выжимке, состоящей из фрагментов новостных документов, содержится основная информация о событии. Очевидно, почему дайджест полезен для пользователя — мы выводим на экран сюжета самое важное о событии. С похожими задачами сталкиваются многие инженеры: например OpenAI недавно опубликовала статью про реферирование книг. Поэтому я надеюсь, что описанный ниже подход будет вам полезен.
Как и всё в Новостях, построение такой выжимки должно быть полностью автоматическим. До внедрения выжимки текстовая часть сюжета выглядела так:
Теперь она выглядит так:
Кто крешит приложение на старте?
Привет! Меня зовут Александр Денисов, я из команды мобильного Яндекс.Браузера в Санкт-Петербурге. В этом посте расскажу вам, как мы справляемся с циклическими крешами на старте.
Каждый разработчик знает, насколько важна для пользователя надёжность продукта. В работе над стабильностью приложения могут помочь выстроенные процессы разработки и тестирования, продвинутые средства диагностики. Однако всё предусмотреть невозможно, особенно если ваш проект большой и сложный. И рано или поздно вы, скорее всего, столкнётесь с проблемой циклического креша на старте. Сейчас разберёмся, как можно обработать этот сценарий.
В качестве примера будет выступать приложение Яндекс.Браузер для iOS: более 100 тысяч исходных файлов, тысячи коммитов в год и около тысячи модулей без учёта ядра (Swift + Objective-C). Кстати, не так давно мы рассказывали, как помогли команде Swift ускорить отладчик.
Циклический креш на старте
Представьте, что в вашем приложении есть баг, приводящий к крешу. Несложно, правда? Причём возникает баг из-за редкого сочетания факторов, и происходит это на старте. С некоторой вероятностью баг останется незамеченным во время тестирования и попадёт в версию для App Store. А дальше пострадавшие пользователи столкнутся с приложением, которое крешится прямо на старте, и перезапуск уже не помогает — только переустановка.
Новая Яндекс.Станция Мини. Большая история маленького устройства
На днях в продажу поступила обновлённая версия одного из самых популярных устройств с Алисой — Станции Мини. Может показаться, что это эволюционное развитие, работать над которым было проще, чем создавать оригинал. Но новая Мини отличается от предыдущей примерно всем: от внешнего вида и начинки до условий производства — ковид и глобальный дефицит компонентов стали для hardware-команды большим вызовом.
Сегодня я поделюсь с вами несколькими историями о новой колонке. Вы узнаете про одно из самых необычных применений фазоинвертора, про то, как мы достаточно комично сушили фотополимерные модели в домашних условиях. Расскажу, где спрятан сервисный разъём и как работает управление просмотром ТВ через ещё одно новое устройство — Модуль. Будут и другие детали, которые показались нам интересными.
Стажёр Вася и его опыт разработки нового API
Легко ли разработать новый API? На что обратить внимание, чтобы не ошибиться при реализации, и к каким компромиссам стоит быть готовым?
Привет, Хабр! Меня зовут Иван Ивашковский. Я руковожу группой разработки международных проектов в Яндекс Go. Этот пост — продолжение цикла историй о вымышленном стажёре Васе. Предыдущий материал, про идемпотентность, можно почитать здесь. В посте я расскажу, как Вася разрабатывал API для новой фичи и с какими проблемами он столкнулся в процессе. В конце приведу чеклист с советами, как проверить себя на каждом этапе разработки, если вы решаете похожую задачу.
Как менялись правила онлайн-продажи лекарств и почему аптекам по-прежнему сложно
В начале осени вступили в силу обновлённые правила онлайн-продажи лекарств с доставкой. Возможность продавать теперь есть не только у крупных аптечных сетей, но и у одиночных аптек — они смогут выйти за пределы своего района и найти новых покупателей. Для людей, в свою очередь, стало проще, быстрее и дешевле купить лекарства онлайн. Но возможности малых аптек в маркетинге и логистике ограничены, и им трудно конкурировать с гигантами. В помощь им приходят маркетплейсы, где можно размещать свои предложения — маркетплейс сам приведёт трафик, примет заказ, оформит платеж и организует доставку. Аптеке нужно только упаковать заказ и передать его курьеру. В идеале покупатели набирают корзину из предложений нескольких аптек и получают всё одним курьером. Я работаю в Яндекс.Маркете, мы давно строим такой маркетплейс и сейчас развиваем в нём категорию лекарств. Чтобы показать, насколько крупные изменения повлекут новые правила, я немного загляну в историю рынка лекарств, расскажу, как он устроен сегодня, что на нём сейчас меняется и почему это правда важно.
С++23 — feature freeze близко
Прошло четыре месяца с прошлой онлайн-встречи ISO-комитета, а значит, настало время собраться опять.
В этот раз в черновик нового стандарта C++23 добавили весьма полезные и вкусные новинки:
Путь, который занял 100* лет: встречаем CatBoost 1.0.0
Всем привет. Меня зовут Станислав Кириллов, я работаю в команде, которая отвечает за развитие библиотеки машинного обучения CatBoost. Мы впервые поделились ей с сообществом четыре года назад — хотя мы привыкли строить бинарные деревья, поэтому и отсчёт лет предпочитаем вести так же. Это шутка, конечно, но «столетие» — хороший повод для выпуска первой «production ready» версии библиотеки с символичным номером 1.0.0.
Сегодня я кратко отвечу, почему мы считаем выпуск версии 1.0.0 важной вехой, и подсвечу главные изменения (и в новой версии, и в целом за год). А уже завтра выступлю с рассказом на встрече, которая будет целиком и полностью посвящена практике применения CatBoost и противостоянию нейросетей и градиентного бустинга. Если эти слова для вас что-то значат, то добро пожаловать под кат.
Как запустить 100+ компиляторов и выстоять. Опыт Яндекс.Контеста
Привет, это снова Павел Тыквин, разработчик Яндекс.Контеста. Контест больше всего известен как площадка для соревнований по программированию: прямо сейчас идёт квалификационный этап чемпионата Yandex Cup. Я уже писал на Хабре о том, как мы решаем одну из стоящих перед нами проблем: выравниваем время исполнения кода. Ну а в этой статье я приоткрою детали процесса проверки, расскажу, через какие этапы проходит код участников и какими методами мы оптимизируем этот процесс, а также — как мы добавили возможность решать задачи на том языке, с которым участник уже знаком (вне зависимости от способов тестирования внутри платформы).
Как происходит проверка решения
Возьмём для примера простейшую задачу: вам заданы два целых числа a и b, выведите a+b.
Допустим, решение будет таким:
Как можно проверить это решение вручную без участия дополнительных сервисов и библиотек?
Техподдержка без бюрократии: автоматизации под капотом ServiceDesk Яндекса
Привет! Меня зовут Арвидас Гафиулин, я руководитель отдела эксплуатации и развития ИТ-инфраструктуры в Яндексе. Важнейшее направление работы отдела — наша внутренняя служба поддержки, ServiceDesk. Именно команда SD отвечает за то, чтобы у сотрудников компании была возможность работать из офиса или на удалёнке со всеми необходимыми доступами, оборудованием и комфортом. В среднем служба получает десять тысяч запросов каждую неделю и постоянно работает над тем, чтобы решать их качественнее и быстрее, а также предотвращать новые инциденты, устраняя корни проблем.
Мы уже писали на Хабр о том, как работает вендомат ServiceDesk, выдающий расходники и компьютерные аксессуары без согласований и бумажек, а сегодня расскажем, как выглядит работа службы изнутри и какие технические решения живут у ServiceDesk «под капотом», помогая нам автоматизировать львиную долю задач. Добро пожаловать под кат, если вам интересно, откуда техподдержка знает, кому уже пора апгрейдить технику, а кому придётся ещё немного подождать, у кого устарела версия ОС или доживает последние дни жёсткий диск, какие автоматизации мы можем создавать на основе пользовательских данных, а главное — от скольких часов ожидания и кругов согласований это избавляет сотрудников Яндекса.
Welcome-зона службы ИТ-поддержки в одном из офисов
YARL: как Яндекс построил распределённый Rate Limiter с нулевым влиянием на время ответа сервисов
Yandex Rate Limiter (далее просто YARL) — это сервис лимитирования нагрузки для распределённых сервисов. Его особенность в том, что он способен работать с миллионами квот, имея при этом очень низкие накладные расходы на проверку квоты. Если совсем кратко, это система распределённых Leaky Bucket’ов, с помощью которых можно ограничивать разные величины, связанные со временем: скорость передачи данных по сети, запросы в секунду и т. п.
Меня зовут Денис Кореневский, я работаю в службе разработки внутреннего хранилища Яндекса, и сегодня я расскажу, как YARL устроен внутри, почему мы вообще написали своё решение и с какими трудностями нам пришлось столкнуться в процессе создания. Добро пожаловать под кат.
Говорит и показывает Yandex Scale 2021: текстовая трансляция и видео
Сегодня смотрим и читаем Yandex Scale 2021 — онлайн-конференцию про облачные технологии: инфраструктурные и платформенные, нативные и основанные на машинном обучении. И, конечно, про безопасность. Каждому из этих сегментов посвящён свой трек. О том, как развивается платформа и как мы надстраиваем новые блоки над базовой архитектурой, можно будет узнать из главного доклада в самом начале конференции. А дальше вас ждёт более 30 технических выступлений от наших экспертов, партнёров и клиентов.
Мы, levashove и Loxmatiymamont, в ближайшие семь часов будем вести для вас текстовую трансляцию, делиться впечатлениями и комментировать самые интересные новости.
Асинхронность в С++20. Доклад в Яндексе
Привет, это Григорий Демченко из WhatsApp. Мой доклад посвящён использованию сопрограмм в C++20. Я не стал говорить про низкоуровневые примитивы и то, как компилятор поддерживает сопрограммы и преобразовывает соответствующий код. Вместо этого акцент сделан на практическом применении сопрограмм для решения конкретных задач высокопроизводительных масштабируемых систем. Это именно то, ради чего создавались сопрограммы в новом стандарте, и то, с чем разработчик будет иметь дело в процессе проектирования и программирования. Я постарался рассмотреть конкретные примеры и проблемы, с которыми можно столкнуться при использовании полностью асинхронного подхода.
Зачем С++ в Такси? Доклад Яндекса
Бэкенд первой версии Яндекс.Такси, которая вышла в 2011 году, был написан на Python. Мы довольно долго не меняли основной язык, но постепенно пришли к идее о необходимости С++ в стеке технологий. Перед вами доклад о том, что мы переписали в первую очередь и почему, а также о трюках С++, которые помогают нам справляться с ростом.
Ботнет Mēris: расследуем крупнейшую DDoS-атаку в истории интернета
На днях в СМИ появилась информация о DDoS-атаке на Яндекс. Это правда, но не вся. Нашим специалистам действительно удалось отразить рекордную атаку более чем в 20 млн RPS — это самая крупная атака из известных за всю историю интернета. Но это лишь одна из множества атак, направленных не только на Яндекс, но и на многие другие компании в мире. Атаки продолжаются уже несколько недель, их масштабы беспрецедентны, а их источник – новый ботнет, о котором пока мало что известно.
Сегодня вместе с коллегами из Qrator Labs мы хотим поделиться текущими результатами совместного расследования деятельности нового ботнета Mēris. Расследование еще продолжается, но мы считаем важным поделиться уже собранной информацией со всей индустрией.
Как Яндекс помогает преодолеть языковой барьер: нейросетевой перевод видео, картинок и текста
Недавно мы впервые показали прототип переводчика видео в Яндекс.Браузере. Прототип работал с ограниченным числом роликов, но даже в таком виде вызвал интерес у пользователей. Теперь мы переходим к следующему ключевому этапу: в новых версиях Браузера и приложения Яндекс перевод доступен для всех англоязычных роликов на YouTube, Vimeo, Facebook и других популярных платформах.
Сегодня я не только расскажу о том, как устроен новый переводчик видео и какие у нас планы, но и поделюсь предысторией. Потому что считаю, что контекст важен: мы шли к этому шагу более десяти лет. Но если история вам вдруг не интересна, то можете сразу переходить к разделу «Перевод видео», где я описал работу технологии (а точнее, целого комплекса наших технологий) по шагам.
Десятью годами ранее
В 2011 году в Яндексе решалась судьба собственного полноценного браузера. На тот момент браузеров на любой цвет и вкус уже хватало. Но почти все они создавались «где-то там»: без оглядки на рунет и потребности тех пользователей, для которых английский язык и латиница не были родными. Поэтому мы решили создать свой браузер, который бы в числе прочего более полно поддерживал русский язык и наши с вами «региональные» потребности. Уверен, эта фраза звучит непонятно, поэтому ниже вас ждут два моих любимых примера. Они не связаны с переводом, но показательны.
Многопоточность и Kotlin в Яндекс.Картах: как не допустить падения новых фич на iOS
Привет! Меня зовут Женя Васильев, я делаю Яндекс.Карты под Android. А с появлением у нас Kotlin Multiplatform — так уж получилось, ещё и под iOS.
Kotlin Multiplatform позволяет писать код, который будет одинаково работать на iOS и Android. По крайней мере, должен одинаково работать. И в случае с простыми фичами правда работает. Но если вы, как и я, впервые реализовываете в мультиплатформе сложную фичу с многопоточностью, на iOS вас будут ждать креши в рантайме и утечки.
В статье я расскажу и покажу на примерах, с какими проблемами я столкнулся при написании многопоточного кода на Kotlin Multiplatform, как эти проблемы решать, как лучше организовывать потоки данных в многопоточной среде и что ещё нужно делать, чтобы написанное на Kotlin не падало на iOS. Увы, писать код «как обычно» не получится.
Использование STL для обработки сигналов в реальном времени. Доклад в Яндексе
Компьютерные игры, обработка аудиосигналов в режиме реального времени и другие подобные приложения низкой задержки требуют, чтобы код был не только корректным. Он также должен исчислять требуемый результат надёжно за детерминированный срок выполнения. В этом докладе head of technology в компании Cradle Тимур Думлер timuraudio рассмотрел, в какой степени стоит использовать стандартную библиотеку С++ для создания приложений с подобными «real-time» ограничениями. Какие инструменты из стандартной библиотеки можно применять с уверенностью, что они не будут блокировать поток, ждать освобождения мьютекса, не будут выделять или освобождать память и совершать другие действия с недетерминированной задержкой? Каких средств из набора стандартной библиотеки следует избегать и почему? По пути Тимур обсудил малоизвестные и неожиданные аспекты этих привычных инструментов.