Alexa, сделай мне. кофе: краткий ликбез по современным голосовым помощникам
Что такое голосовой ассистент сегодня, пожалуй, знает любой «продвинутый» пользователь смартфона. Если у вас более-менее новый Android — чаще всего достаточно просто сказать «Ok Google» (или нажать на микрофончик возле строки поиска). Пользователи iOS чаще всего знакомы с Siri, которую легко позвать долгим нажатием кнопки Home. Но тогда кто же такая Алекса и в чем ее отличие?
Немного истории
В ноябре 2014 года Amazon представил миру новый технологический гаджет — Amazon Echo. Гаджет представляет из себя высокий конус, в который встроена достаточно мощная и качественная Bluetooth колонка и микрофоны. Тогда это был первое устройство подобного типа, и почти никто не понимал зачем ее предназначение. Да и стоила она немало — почти 200 долларов. (У нас ее продает, например, Stylus, но цены не отличаются гуманностью — примечание редакции).
Amazon Echo: первая умная колонка, поддерживающая голосовой сервис Alexa
Правда, для особо лояльных клиентов Amazon — участников программы Prime небольшое время она была доступна за 100 баксов. Через год после ее выхода, Amazon расширил линейку умных ассистентов, добавив к ней еще 2 устройства:
Amazon Dot: по сути тот же Echo, но предназначенный для использования с внешним динамиком, подключенным как по Bluetooth, так и по аудиопроводу. Хотя маломощная колонка присутствует и в самом устройство. Изначальная цена устройства была около ста долларов, но уже через полгода вышло второе поколение устройства за 50 долларов.
Amazon Dot: урезанная версия Echo, предназначенная для подключения к внешней колонке
Amazon Tap: Тоже урезанная колонка Amazon Echo, в которой оставили качественную колонку, но убрали, как по мне, самую главную «фишку» устройства — микрофоны, которые постоянно готовы слушать ваши приказания. В этой колонке для «вызова» ассистента нужно нажать на кнопку.
Amazon Tap: упрощенная версия Echo, для вызова помощника требуется нажать на кнопку
Кроме своих устройств, Amazon предоставило возможность другим производителям возможность «встраивать» своего голосового ассистента в их устройства — например в радио Invoxia Triby или даже в холодильнике LG Smart Instaview Fridge.
Конкурент Amazon Echo компании Google
Зачем это мне и что может голосовой ассистент?
Внимание: Оба сервиса официально не доступны в Украине, потому надо понимать что ни один из них пока не говорит ни по-русски, ни, тем более, по-украински. Оба сервиса заточены по умолчанию на рынок США (Амазон еще и на UK) потому большинство служб, для который нужно ваша геопозиция будут недоступны. Также многие дополнительные сервисы официально доступны только в США….
Так я не понял, мне оно надо?
Признаюсь, пока в Украине такие ассистенты — в большинстве случаев просто умная колонка, которая может воспроизводить музыку, которую у нее попросите. Но даже для этой цели вам надо будет «постараться» — пользоваться тем же Spotify в Украине не просто. (У нас есть отдельная статья как подключить Spotify в наших условиях — примечание редакции). Либо же поможет тем, у кого немало устройств умного дома последнего поколения, добавив к ним возможность голосового управления. Но, как только кто то из них добавит поддержку русского языка и сервисов, актуальных для Украины, возможностей для применения станет в разы больше. Голосовой интерфейс в интернет — это действительно удобно, но пока под него надо слишком сильно «подстраиваться».
Личный опыт
Как настоящий «трушный гик» я не долго устоял перед соблазном заказа себе голосового ассистента. 200 баксов мне было на него жаль, но когда он стал стоить сто, я не устоял. Так в моем доме поселился Amazon Dot (первого поколения). И живет там уже почти год. Для полноценного его использования пришлось сделать несколько финтов ушами, а именно:
Использую Amazon Dot в основном для воспроизведения музыки, заказывать ее научились у меня дома как взрослые, так и дети. Пытался слушать аудиокниги, но все же пока трудно воспринимать на английском.
. Продолжаю облизываться на Google Home, но пока жду, когда он заговорит по-русски.
Для тех, кто хочет знать больше
Подписывайтесь на наш нескучный канал в Telegram, чтобы ничего не пропустить.
Сравнение Google Home и Amazon Alexa
Недавно мне в руки попало два популярных голосовых помощника. В этом обзоре я расскажу о том, что они умеют и чего пока не умеют.
Покупка и инсталляция
Google Home предлагается в 7-ми разных цветах тряпичного чехла, закрывающего нижнюю часть устройства (там находится колонка). Алекса бывает черная и белая и по размеру существенно крупнее и увесистее конкурента. Оба сделаны из приятного матового пластика. На мой личный взгляд внешне Google Home кажется каким-то обрубком, тогда как нижняя часть Alexa похожа на дуршлаг. Но о вкусах не спорят.
Зато надо отметить, у Google Home отличная коробка, ее хочется открывать и закрывать снова и снова. Продакт дизайнеры очень постарались.
В качестве внешних интерфейсов у Алексы 2 кнопки, а у Гугла небольшой невидимый тачскрин, по которому у меня редко получается попасть. Впрочем, эти кнопки и не нужны, ведь всеми функциями можно управлять голосом.
Для подключения нужно скачать приложение (приложение Alexa пришлось ставить как apk, его нет в российском сторе), и настроить доступ в домашний Wi-Fi. Делается это довольно просто, только нужно не забыть также включить bluetooth на телефоне. После подключения в домашний Wi-Fi устройства быстро линкуются с приложением — и вы можете видеть, как их движки интерпретируют полученные фразы.
Немного о безопасности. Как известно, «the S in IoT stands for Security». Помощники слинкованы с вашим личным аккаунтом, но не распознают голос хозяина. Кто угодно может воспользоваться ими, чтобы прочитать вашу почту и что еще там вы им доверили.
Распознавание речи
Распознавание паттерна вызова («OK, Google» и «Alexa») происходит на месте, а распознавание фразы и формирование ответа — в облаке. Если рассматривать их как хабы для управления умным домом, то здесь кроется принципиальное отличие этих платформ от HomeKit, который умеет работать оффлайн. У меня ни разу не случалось, чтобы помощники не узнали свое имя. Зато не раз бывало, чтобы в качестве имени приняли что-то еще.
Наш с супругой среднерусский английский Google понимает очень хорошо. Практически все простые фразы распознаются корректно с первой попытки, чего не скажешь об Алексе. Ниже я попробовал произнести ей довольно сложное слово:
— Alexa, what’s under rubber new riddle?
— Alexa, what is them to bring new rail?
— Alexa, what is an tripper no real?
Ок, упрощаем вопрос
— Alexa, what is interpret priner?
— Alexa, what is an trump renewal?
— Alexa, what is an to pandora?
Зайдем с другой стороны
— Alexa, what is a synonym for businessman?
— Business’s synonyms include business executive and business person.
Ну хорошо, дорогая. Кому интересно, изначальное слово было entrepreneurial.
Ведем непринужденную беседу
Оба помощника имеют встроенный обширный набор предустановленных фраз и ответов. Не с кем поговорить о любви, о жизни? Роботы к вашим услугам. Например, обоих можно попросить ‘tell me a joke’. Набор шуток у них обширный, но ни одна из шуток не показалась мне смешной. Думаю, коварные нейросети просто притворяются тупее, чем они есть.
— Alexa, who killed Kenny?
— Oh my god, they killed Kenny!
— OK, Google, are you robot?
— I prefer to think of myself as your friend
— Alexa, what is the purpose of life?
— The answer is 42, but the question is far more complicated
— OK, Google, what is your gender?
— I am all inclusive
— Alexa, does Santa exist?
— I don’t know him personally, but I heard a lot of good things about Santa
— OK, Google, tell me a story
— One there lived a protagonist and some supporting characters. Together they went on a journey. And twist ending, it was all a dream!
— Alexa, am I funny
— I don’t have a sense of humour so it’s hard for me to tell
И здесь она определенно не соврала.
Поиск
Alexa отправляет вопросы в bing, а куда их отправляет Google Home – догадаться несложно. Оба помощника вполне сносно пользуются интернет поиском и Википедией в ответ на вопросы. На мой взгляд, Гугл ищет лучше – он гибче настроен на поисковые фразы и чаще понимает, что запрос поисковый.
— Alexa, when Moscow was founded?
— Moscow state of establishment was 1147
— OK, Google, what is a greatest number
— According to English Language and Usage, 7 is the smallest and 9 is the greatest number
— Alexa, where is Kilkenny?
— Kilkenny is a city in Kilkenny, Ireland (. )
— OK, Google, which fish is the fastest?
— Sailfish. According to china.org.cn the sailfish is the fastest fish in the world able to speed at a swim speed of 68 miles per hour
Так что, Борис Борисыч, развейте наконец свои сомнения, ИИ нам все рассказал.
Фичи out-of the-box
Оба умеют рассказывать, что стоит у вас в Гугл-календаре (но озвучивают только латинское написание). Почту пока не читают. И слава роботам, см выше про безопасность.
Гугл умеет переводить на множество языков, Алекса – нет
— OK, Google, what is ‘Mother washed a frame’ in Russian?
— Мать мыл раму
Оба умеют стримить музыку из популярных приложений (платите деньги), а также радио и новости (бесплатно). Насчет музыки надо понимать, что так как данные на железку идут через Cloud, то стримить ее с телефона затруднительно, такой опции нет. Amazon и Google разрешают бесплатно загрузить на ваш аккаунт в их музыкальных сервисах какое-то количество треков и играть их оттуда.
Alexa позволяет делать покупки на Amazon. Для покупок можно установить pin-код, чтобы соседи не игрались.
— Alexa, shopping
— Would you like to shop?
— Yes
— What would you like to order?
— Books
— Voice ordering is exclusively available for prime members. Would you like me to add Books to Nikolai’s cart instead?
— Yes
Здесь в приложении появляется набор книг, можно продолжить покупки там.
Помимо этого, у обоих есть довольно много толковых и не очень фич, таких как игра в викторину, будильник, калькулятор, конвертер мер и валют, толковый словарь и так далее.
Фичи с бубном
8 декабря было объявлено о запуске открытого API для Google Home. Говорится, что механизм под названием Google Actions заработает в начале 2017 года и позволит третьим сторонам создавать диалоговые сценарии, через которых пользователь сможет использовать обращаться к контенту или сервисам поставщика. Мудрено написал, в общем смотрите, как это работает в Alexa Skill Kit, который существует с середины 2015.
В приложении Alexa есть магазин skills, разработанных разными сервисами, такими как Expedia или NASA. Скилл — это доступ к услугам/информации сервиса посредством голосовых команд. Его можно бесплатно подключить в магазине или просто голосом, назвав ключевое слово или фразу.
— Alexa, ask NASA Mars to get me a Curiosity rover update
— Alexa, ask RecipeFinder what I can cook with tuna and cheese
— Here are some more recipes (..) I have included links to the recipes in your cart
Ссылки появляются в приложении. Не кликабельные арррргх!
В скиллах круто то, что они представляют собой диалог, который может иметь достаточно много опций развития (в отличие от сценариев IFTTT, о которых речь дальше). Пока что количество оценок у скиллов в магазине Alexa измеряется сотнями, так что это только первые шаги в создании голосовых интерфейсов. Свои скиллы запустили Expedia и Kayak, но они не дают возможности голосом бронировать билеты и отели, можно только цены смотреть. Тем не менее, можно бронировать автомобиль в Expedia, заказывать Uber, и есть даже один банковский скилл, который позволяет оплачивать счета.
Кроме того, у Alexa и Google имеется свой IFTTT канал, через который можно настроить еще больше функций. IFTTT позволяет делать между сервисами триггеры вида «если сервис 1 сказал А, то отправить в сервис 2 команду Б». Такой канал имеют почти все Smart Home железяки, несколько крупных торговых сетей (они позволяют только обновлять онлайн-корзину) и миллион информационных порталов. Беда с IFTTT в том, что все рецепты для Алексы и Гугла позволяют делать что-то по голосовой команде (заметки в spreadsheet, пост в фейсбуке, включить термостат), но не позволяют прокидывать связь обратно (прочесть заметки, прочесть фейсбук, спросить температуру). Очевидно, разработчики не предоставили соответствующего API, но я не понимаю, почему. Уж если они календарь умеют читать, то могли бы и сообщения от IFTTT озвучивать, но нет.
Дальнейшее развитие
Резюмируя, я бы сказал, что за счет Skills у Alexa сейчас больше возможностей, чем у Google, но все это может появиться в нем довольно быстро. Кстати, полтора года назад Amazon запустил 100-миллионный венчурный фонд Alexa Fund для инвестиций в проекты, использующие голосовой интерфейс Alexa. У фонда уже 10 инвестиций, самая большая из которых — в Ecobee, термостат, который то ли уже обогнал, то ли вот-вот догонит по продажам Nest.
У Amazon также есть SDK Alexa Voice Service, позволяющий запускать сервис Alexa на железе сторонних разработчиков. Google пока не выпустил аналогичный SDK, планируют выпустить в этом году.
В целом, соревнование Amazon vs Google на поле Smart Home обещает быть интересным. Пока Гугл зафейлил попытку подмять платформы и протоколы неудачным проектом Brillo-Weave, Амазон вырвался вперед с развитием голосовых интерфейсов. Гугл теперь вынужден догонять, с задержкой примерно в год-полтора. Зато в активе Гугла более качественная голосовая библиотека, и вообще он умнее, лучше запрограммирован, так что ситуация близка к паритету. Если вы читаете эту статью с сугубо практическими целями и вы не американец, при выборе из двух устройств я бы предложил купить Гугл, так как он получше понимает и получше ищет. От сложных диалоговых интерфейсов из Skills Store мало толку, если вас не могут нормально понять.
Что мы знаем об Amazon Alexa? Или первые впечатления от Amazon Echo Dot
Давно прошло время «войны браузеров», однако, ее результаты отчетливо видны и сегодня. Сейчас у пользователя есть выбор среди различных надежных, удобных и фактически однотипных программных решений, подкрепленных стандартами HTML5, CSS3 и, конечно, стремительно развивающимися реализациями JavaScript. Но все началось с того момента, когда компании-разработчики с чего-то решили, что «победитель», доминирующий на рынке браузеров, будет и «управлять» Интернетом. И, как говорят философы, история повторилась. Похоже, теперь речь идет о голосовом интерфейсе и, соответственно, конкуренции голосовых ассистентов.
Image: How to Mount your Amazon Echo Dot on the Wall, Ceiling, or Under the Counter – Android Central
Исторически голосовой набор номера был реализован еще в первых кнопочных сотовых телефонах, впрочем, как и Bluetooth Hands-Free. Затем появились голосовые технологии Apple Siri, Google Now и Microsoft Cortana, а только вслед за ними мир увидел Amazon Alexa. В отличие от предыдущих решений сервис Alexa был привязан не к определенному гаджету или операционной системе, компьютеру и т.д., а сопровождался голосовым ассистентом, как устройством и при этом, технически стал доступен на любом устройстве.
Что мы видим сейчас: выход на рынок Google Home, Apple HomePod и Microsoft Cortana, в составе беспроводной акустики Harman Kardon Invoke. Чем не «война» голосовых ассистентов. А если вспомнить недавний анонс о том, что Amazon купила стартап Ring, занимающегося решениями в области безопасности умного дома и, совсем свежее заявление, о прекращении продаж термостатов Nest компании Google на площадке Amazon, то становится очевидным, что уже начинается «бой» не просто за Интернет, как площадку для рекламы, а за лидерство в сфере Интернета вещей (Internet of things, IoT) и, в частности, умного дома (Smart Home).
Image: Echo Dot (2nd Generation) – Amazon
Рассмотрим более подробно инфраструктуру вокруг Alexa и, в частности, устройство Amazon Echo Dot. Интерес к решению Amazon Alexa вполне понятен, т.к. предлагаемый сервис, гаджеты и облако AWS тесно связаны между собой и создают для пользователя и разработчиков единое информационное пространство, в котором на первое место выходит голосовое управление. Не удивительно, что экосистема Amazon сейчас выходит на новый уровень интерактивности с клиентом, как магазина, так и всей облачной платформы AWS.
Сегодня покупка на площадке Amazon, даже, если мы физически не находимся в США, не составит большого труда. Самое простое – это прибегнуть к услуге почтового форвардинга. Еще есть ограничение в том, что за пределами США поддерживаются не все сервисы, с которыми может взаимодействовать Alexa. Но вряд ли такие региональные привязки сильно повлияют на интерес к новому, тем более, проигрывание платных каналов – не основное преимущество для голосовых ассистентов. Правда, сразу стоит признать, что доступность коммерческих медийных сервисов значительно расширяется, а голосовое управление добавляет к ним очень удобный функционал. Так же сервис Alexa доступен и на других устройствах, например, смарт камере Echo Look, приставке Fire TV Stick с дистанционным управлением Alexa Voice Remote и многих других. Кстати, узнать возможности Amazon Alexa можно всего лишь установив соответствующее приложение на смартфон или планшет (в линейке Fire Tablet with Alexa сервис уже предустановлен), но полностью сервис доступен при использовании специализированного голосового ассистента.
Устройства Echo ($99.99) и Echo Plus ($149.99) оснащены хорошей акустикой, а дополнительно Echo Plus включает в себя еще и встроенный Smart Home Hub. Устройства Echo Spot ($129.99) и Echo Show ($229.99) содержат встроенные дисплеи. На фоне этих устройств колонка Echo Dot занимает начальные позиции, но, например, всегда к ней можно подключить проводную акустику или использовать для этого Bluetooth, а в качестве экрана выступит планшет или смартфон. Поставка Echo Dot также минималистична, как и само устройство: мягкая картонная коробка с колонкой, блок питания 9 Вт, кабель Micro-USB и небольшая брошюрка «Quick Start Guide». Для подключения колонки следует установить приложение из Amazon Appstore, Google Play или Apple App Store. Затем, поскольку устройство сразу после покупки, скорее всего, будет привязано к учетной записи Amazon, в мобильном приложении останется ввести параметры подключения к Wi-Fi. В это время устройство сначала откроет доступ к себе, став точкой доступа Wi-Fi, а затем, после выбора требуемой точки доступа, переключится на нужную сеть. Однако, если Echo Dot конфигурируется из приложения Android, то в настоящее время не удастся ввести параметры SSID для скрытой сети. Правда, с Fire Tablet таких проблем не будет, т.к. в приложение для своих планшетов Amazon включила пункт ручного добавления точки доступа Wi-Fi. Если устройство еще не привязано к аккаунту, то можно выполнить инициализацию нового устройства через меню приложения «Set up a new device».
Что же, после нехитрой настройки сразу можно поинтересоваться: «Alexa, what can you do?», «Alexa, what time is it?», «Alexa, what’s in the news?», Alexa, stop.», «Alexa, how’s the weather?», «Alexa, Wikipedia: Artificial intelligence.» И так далее, например, можно сделать голосовой звонок на мобильный (только для локации США, Канада, Мексика) или на устройство с Alexa, а также послать SMS и многое другое. Для добавления новых навыков голосовому ассистенту нужно всего лишь зайти на сайт Alexa Skills или просто спросить, например, «Alexa, what are your top skills?» и затем выбрать нужные.
Популярность Amazon Alexa вполне можно объяснить амбициями всемирного интернет-магазина и, одновременно, облачной платформы AWS, но все же на первом плане стоят удобство речевого управления и доступность огромного числа готовых «навыков» (Skills) платформы, которые постоянно пополняются благодаря открытому API. Также в пользу Alexa можно добавить то, что везде, где установлено приложение, будь то смартфон или планшет и т.п., у пользователя всегда находится под рукой актуализированная база подключенных устройств, входящих в локальную инфраструктуру. Это достигается очень просто, благодаря единой учетной записи в сервисе Amazon.
Сейчас существует множество устройств и сервисов, которые поддерживают Alexa, начиная от умных лампочек, дверных замков и всяческих розеток до систем уровня хаба умного дома, облачного сервиса и т.п. Если бы не конкуренты, то можно было бы сказать, что Alexa стает стандартом де-факто для умного дома. Кстати, фактически так оно и есть, учитывая распространенность решений для Alexa на рынке США, ведь вряд ли современным высокотехнологичным производителям и многочисленным стартапам составляет большую сложность добавление требуемого функционала или свих «Skills» для платформы голосового интерфейса, предлагаемой Amazon.
Что можно сказать, немного наговорившись с Alexa по средствам Echo Dot? Пожалуй, это удобно и, несомненно, очень интересно «поиграться» с самой технологией. Встроенные микрофоны, как показалось, воспринимают ключевую фразу немного на повышенных тонах и с интонацией вопроса, т.е. благодаря этому практически нет ложных срабатываний. Возможно, нужно достаточно хорошее произношение английского языка для реакции на ключевое слово и, конечно, правильного последующего распознавания фразы. Также лучше подключить внешнюю акустику. Ко всему этому хочется расширения мультиязычной поддержки сервисом, ведь сейчас Alexa поддерживает только: English (US, UK, Canada, India, Australia), German, Japanese, French (будет скоро добавлен). Но не смотря на все недостатки, нельзя не признать уникальность сервиса и всей инфраструктуры Amazon.
Alexa позиционируется не только, как пользовательское устройство для умного дома, но и собирается завоевать корпоративную нишу, уже в качестве управляемого сервиса для бизнеса. Например, с голосовым ассистентом, вполне, можно реализовать сценарии из повседневной офисной жизни: “Alexa, call Jeff.”, “Alexa, ask Teem to find an open conference room.”, “Alexa start the meeting.”, “Alexa, order more paper for the copier.”, “Alexa, turn on the lights.”, “Alexa, ask Splunk, ‘how many Amazon EC2 instances are running in South America’.”, “Alexa, when is my next meeting?” и т.п. Проведение конференций, работа с расписанием, календарем, заказ бумаги для офисного принтера/копира, а также голосовые запросы статистических данных, например, по компании, предоставляемым сервисам, продуктам и т.д., все это и многое другое несомненно должно привлечь внимание корпоративного пользователя для организации совместной работы в офисе или компании в целом.
Image: Alexa for Business – Amazon Web Services
Принципиально Alexa for Business отличается от обычного потребительского сервиса, наличием привязки устройств не к персональному аккаунту пользователя, а корпоративной учетной записи, что дает возможность централизованно управлять устройствами, группировать их и добавлять необходимые навыки для Alexa. При этом в корпоративной учетной записи могут быть зарегистрированы и пользователи, и их персональные устройства, что может расширить функционал навыков голосового ассистента для конкретного пользователя. По замыслу разработчиков, Alexa должна помочь эффективно организовать рабочее место и пространство для совместной работы. Фактически, по достаточно произвольной голосовой команде можно получить адекватную ответную реакцию необходимых систем или узнать нужные сведения.
Picture: Alexa for Business – Amazon Web Services
Конечно, если говорить о безопасности, то не стоит «учить» Alexa раскрывать сразу всем конфиденциальные данные компании. В этом плане, следует отметить, что для сервиса Alexa for Business предусмотрен дополнительный набор API, в котором предусматривается возможность получения информации о местоположении устройства. Таким образом, голосовой запрос выполняется в контексте устройства и его привязки к расположению в офисе. Понятно, речь идет не об GPS-координатах, а о фактической группировке устройств, которое задается в панели управления сервисом. Так же, отметим, что вряд ли стоит пытаться автоматизировать максимум сценариев для голосового ассистента, получив тем самым: автоматизацию ради ее же самой. К тому же, не стоит ждать, что голосовые запросы пользователей повысят продуктивность работы, например, в Open Space офисах, хотя, и тут можно придумать ряд интересных сценариев.
Screenshot: Announcing Alexa for Business: Using Amazon Alexa’s Voice Enabled Devices for Workplaces – AWS News Blog
Можно рассмотреть еще различные варианты использования Alexa в инфраструктуре офиса, например, в конференц-зале достигается положительный эффект от голосового ассистента при проведении презентации и настройке оборудования. Для упрощения рутинной работы в переговорной комнате, вполне уместно попросить Alexa озвучить перечень предлагаемых продуктов и услуг, детализировать определенные характеристики и т.д. Получаем, что сервис голосового ассистента достаточно хорош не только для умного дома, но и весьма неплох на рабочем месте. Главное соблюдать баланс и не навязывать такой сервис только ради того, чтобы угодить новому тренду. Но уже сейчас видно, что у Alexa есть все перспективы, чтобы гармонично дополнить любое офисное пространство.
Но, как говорится, из офиса возвращаемся домой, затем, снова – в офис, конечно, на своем автомобиле и тут Alexa тоже стремится занять свое «почетное» место. Сейчас ведущие автопроизводители (BMW/Mini, Ford, SEAT, Skoda, Toyota/Lexus, Volkswagen и др.) и компании, разрабатывающие автоэлектронику, заявили о ближайшей поддержке Alexa и включении голосового ассистента в состав своих транспортных средств. Таким образом, сервис Alexa стает доступным повсеместно. Но, конечно, интересно и то, как будут разворачиваться события, например, относительно других производителей голосовых сервисов и ассистентов. А также, например, в контексте недавней оригинальной разработки Mercedes-Benz User Experience (MBUX), дебютировавшей в серии A-Class моделей 2018 года.
Image: Toyota is adding Amazon’s Alexa to cars. We’ve been using Alexa in a car for 6 months and it’s the best infotainment system we’ve ever used — Business Insider
Итак, поскольку Alexa наращивает темпы проникновения на рынок, а также соответствующий сервис явно заслуживает внимание разработчиков, то сразу встает вопрос о том, как создать свой оригинальный навык (Skill)? Кстати, сделать это можно совсем элементарно, если воспользоваться мобильным приложением и продумать свой диалог с системой.
Screenshot: Приложение Alexa на телефоне с Android (рисунок подготовлен с использованием сервиса MockUPhone)
Более интересно поуправлять «живыми» устройствами, например, умного дома, прибегнув к помощи голосового ассистента. Для этого можно воспользоваться подходом, основанном на эмуляции устройства Belkin WeMo, что достаточно часто описывается в Интернет-публикациях энтузиастов, разрабатывающих системы умного дома и стремящихся применить голосовой интерфейс в своей инфраструктуре.
Конечно, если только прозвучало упоминание «умный дом», то фактически сразу стоит упомянуть о соответствующем стандарте де-факто для реализации конечных устройств – микросхеме ESP8266 или подобных бюджетных решениях. За эталонное устройство так или иначе придется взять устройства WeMo, т.к. Amazon Echo умеет с ними работать напрямую и протокол обмена данными достаточно «изучен» энтузиастами. Сразу хочется отметить, что поскольку этот подход основан на реверс-инжиниринге протоколов коммерческих устройств, то к нему следует относиться, хотя, как наиболее простому решению для «умного дома», но понимать, что для задач потребительского уровня, скорее всего, потребуется лицензирование протоколов или сертификация своих устройств. Во всяком случае потребуется «договориться» с Amazon о поддержке решений. Но пока интересно рассмотреть только саму концепцию взаимодействия с голосовым ассистентом на уровне прототипа.
Picture: Amazon Echo and Home Automation – Maker Musings
Итак, в качестве примера можно взять реализацию протокола взаимодействия на Python или, еще проще, использовать технологии проекта Arduino IDE для устройств ESP8266. Один из приглянувшихся проектов – «Arduino Esp8266 Alexa Multiple Belkin wemo switch emulator», позволяет, фактически в очень сжатые сроки разработать свое смарт-устройство с голосовым интерфейсом. Для разрабатываемого устройства следует немного адаптировать код прошивки. Потребуется лишь ввести параметры подключения к Wi-Fi точке доступа и модифицировать код функций обратного вызова, которые будут выполняться в зависимости от логики работы устройства. Например, объявление вызова переключателя света в комнате: «room = new Switch(«apartment lights», 80, roomLightsOn, roomLightsOff);». Соответственно, функции «roomLightsOn», «roomLightsOff» должны задавать логику работы цифровых портов платы. Все просто, впрочем, как для любого проекта в стиле Arduino.
Photo: Разработка на базе Esp8266 и взаимодействие с устройством через голосовой интерфейс Alexa
После прошивки платы на основе ESP8266 остается только дать команду: «Alexa, Discover Devices». Затем в мобильном приложении появятся обнаруженные устройства в настройках «Smart Home» и далее можно будет уже создавать свои навыки для Alexa и соответствующих устройств. Пожалуй, такой путь создания Alexa Skill самый простой для пользователя. Следует добавить, что поиск смарт-устройств можно выполнить и в мобильном приложении без включенной Alexa, но тогда для разрабатываемых устройств должен присутствовать заранее предопределенный навык и т.п. Пожалуй, с точки зрения разработки это более правильное решение, т.к. будет использован официальный API Alexa. Здесь одним из самых простых решений может стать использование известного сервиса IFTTT. Кстати, для отладки навыков может быть интересен сервис Alexa Skill Testing Tool.
Если говорить о разработке для IoT и умного дома, то скорее всего «умный» концентратор (Hub) для такого решения уже будет содержать поддержку технологий Amazon Alexa, например, openHAB Cloud service, ioBroker и другие или функционал голосового ассистента можно будет обеспечить на уровне ранее упомянутого сервиса IFTTT. Также этот сервис вполне интегрируется со средой Node-RED.
Picture: Functional Architecture – openHAB Cloud
Для тех, кто совсем не хочет разбираться с документацией Alexa SDK и программированием, вполне подойдут интерактивные сервисы для «обучения навыкам» голосового ассистента. Это сервисы Backendess и Storyline. И в первом, и во втором для создания навыков используется графический интерфейс на базе «Drag and Drop» и заранее предопределенных блоков.
Screenshot: Storyline lets you build and publish Alexa skills without coding – TechCrunch
Интерфейс сервиса Storyline аскетичен и прост, а Backendess подойдет тем, кто любит создание логики в стиле Google Blockly.
Screenshot: Developing Alexa skill without writing any code – Part1 (Codeless in Backendless mBaaS) – Backend as a Service Platform
Очевидно, что самый правильный путь, впрочем, как и бесплатный, для разработки своих навыков Alexa – это использование оригинального Alexa Skills Kit от Amazon. Этот путь рассмотрим немного дальше в этой публикации. А сейчас, пожалуй, отвлечемся от программных решений и рассмотрим аппаратную платформу Amazon Echo Dot.
Текущая, вторая, версия Echo Dot состоит из двух плат. Одна – с одним микрофоном по центру и шестью по периметру, плюс светодиодная подсветка. Вторая – фактически ядро системы на базе 64-битного 4-х ядерного ARM процессора от Mediatek.
Алгоритм работы и структура AVS Device SDK достаточно понятна. Устройство пользователя должно распознать ключевую фразу «Alexa» (используется Audio Input Processor и Wake Word Detection (KWD) – библиотека распознавания ключевой фразы, фактически реализуемая аппаратной системой на чипе или DSP), затем следует оцифровать и передать остальную часть голосового запроса для обработки в облако Amazon и последующего выполнения предписаний (используются библиотеки: Alexa Communications Library (ACL) для передачи данных в формате JSON по протоколу HTTP/2, Alexa Directive Sequencer Library (ADSL) для обеспечения жизненного цикла директив, Capability Agents для обеспечения интерфейса событий и т.п.).
Picture: Alexa Voice Service SDK Architecture – GitHub
Нельзя не отметить, что AVS Device SDK можно установить на различных платформах: Ubuntu Linux, Raspberry Pi (Raspbian Stretch), macOS, Windows 64-bit, Generic Linux. Конечно, отдельно следует выделить возможность установки на Raspberry Pi 2 или 3. Получается, что можно превратить Raspberry Pi в некое подобие Echo Dot. Но сразу хочется оговориться, дело в том, что AVS Device SDK создан для прототипирования устройств и «игра будет стоит свеч», если цель – создание устройства. Для простого ознакомления вполне достаточно установить мобильное приложение.
Чтобы увидеть в действии AVS Device SDK и разобраться с составляющими платформы рассмотрим установку на Raspberry Pi 3 под управлением Raspbian Stretch with Desktop. Сначала стоит установить на Raspberry Pi операционную систему и сделать минимальные настройки, например, настроить локаль клавиатуры, подключиться к Wi-Fi. Кстати, бытует мнение, что для Raspberry Pi сложно настроить подключение к скрытой точке доступа. На самом деле, требуется только подредактировать файл настроек: «$ sudo nano /etc/wpa_supplicant/wpa_supplicant.conf». В конец этого файла следует добавить строчки с именем скрытой точки доступа и соответствующим паролем:
Photo: Развертывание AVS Device SDK на платформе Raspberry Pi 3
Пожалуй, самое простое решение для настройки по умолчанию звука на базе Raspberry Pi 3 – это вывод по HDMI-каналу и запись микрофона c USB-звуковой карты. Следующий этап – это разворачивание AVS Device SDK, но перед этим стоит зарегистрироваться на портале Amazon developer и в разделе Alexa Voice Service зарегистрировать свой продукт, пусть даже это будет локальный тестовый образец. Дело в том, что после загрузки всех составляющих AVS Device SDK: «$ wget raw.githubusercontent.com/alexa/avs-device-sdk/master/tools/Install/setup.sh && wget raw.githubusercontent.com/alexa/avs-device-sdk/master/tools/Install/config.txt && wget raw.githubusercontent.com/alexa/avs-device-sdk/master/tools/Install/pi.sh» нам потребуется заполнить конфигурационный файл config.txt, где следует указать токен доступа и идентификаторы клиента и устройства, которые задаются или генерируются на этапе регистрации голосового устройства:
После выполненных действий остается лишь запустить установочный скрипт и принять решение о соглашении с лицензией от Amazon и сторонних разработчиков: «$ sudo bash setup.sh config.txt». Все, теперь только нужно авторизовать в облаке новое устройство по протоколу OAuth, запустив скрипт: «$ sudo bash startauth.sh» и перейти на локальный сервер: localhost:3000. Теперь запускаем тестовое приложение и общаемся с Alexa: «$ sudo bash startsample.sh». Особенно хочется отметить, что если взглянуть в настройки мобильного приложения Alexa, то там автоматически появится наше новое устройство. Это еще один маленький штришок в пользу целостности инфраструктуры голосового ассистента от Amazon.
Вся последовательность действий развёртывания AVS Device SDK на базе Raspberry Pi хорошо описана в документах: «Raspberry Pi Quick Start Guide with Script» и «Create Security Profile». От себя хочется добавить, что большую проблему составляет настройка аудио-интерфейса. Следует отметить, что модуль распознавания стартового слова так и не начал работать, но фразы команд и вопросов прекрасно записываются и обрабатываются облаком. Немного создается впечатление прерывания ответных реакций системы, похоже, это вызвано приоритетом вывода диагностических сообщений. Стоит еще раз подчеркнуть, что AVS Device SDK стоит воспринимать не сколько заменой Echo Dot, а средствами разработки, хотя, как сказать, ведь все зависит от энтузиазма и вдохновения.
Еще нельзя не упомянуть о том, что в нашем случае, для платы Raspberry Pi 3 не успели приехать из Китая радиаторы, поэтому во время компиляции плата была близка к перегреву и все-таки один раз зависла. Перезапуск установки все решил, впрочем, как и понижения внешней температуры в помещении, хорошо, что коммунальные службы удачно подгадали и отключили отопление.
Итак, хотя публикация и стала достаточно большой, но все-таки поставленная цель близка – фактически мы приближаемся к полному описанию инфраструктуры голосового ассистента Amazon Alexa и, в частности, устройства Echo Dot. Если разбить этот обзор на части, то просто потеряется целостность «всей картины». Для завершения описания инфраструктуры проекта Alexa, просто необходимо хоть и вскользь упомянуть о правильном пути «right way», или официальном, разработки своих навыков для голосового ассистента от Amazon. Конечно, такая разработка начинается с портала разработчиков и Developer Console.
Screenshot: New Alexa Skills Kit Developer Console (Beta) Streamlines Development Process – Alexa Blogs
Фактически разработка проходит через фазы: build, test, launch, measure. Сначала в интерактивном режиме описывается проект и создается основа проекта, затем в консоли разработки можно протестировать навыки и запустить проект, сделав его публичным или частным, а также разработчикам предоставляется статистика по использованию их навыков. Документация по созданию навыков на основе Alexa Skills Kit позволяет быстро начать и выполнить свой проект, а сам Skills Kit предоставляет множество готовых примеров, которые можно взять за образец для разработки. Также Alexa Skills Kit включает множество подготовленных API-интерфейсов, которые можно использовать совместно со своими навыками.
Функционально разрабатываемые навыки делятся на четыре вида: Custom skill (custom interaction model), Smart Home Skill API (pre-built model), Video Skill API (pre-built model) и Flash Briefing Skill API (pre-built model). Пользовательские навыки (Custom skill) – это традиционный диалог между устройством с навыками Alexa и пользователя. Если для реализации навыка потребуется логика ветвления или работа с базой данных, то для реализации программной части Amazon предлагает связать разработку навыка и возможности облака AWS при помощи сервиса AWS Lambda.
Фактически разработка сводится к описанию взаимодействия с Alexa в формате файлов JSON и программирования сервиса AWS Lambda, с размещением (хостингом) в этом же сервисе реализации своего навыка. Alexa будет посылать запросы на сервис Lambda, где программный код на Node.js, Java, Python илиr C# будет выполнять логику запроса. Как альтернатива – это размещение реализации своего навыка на своем же веб-сервисе и хостингом на любой альтернативной площадке, например, другого облачного хостинг-провайдера. В случае самостоятельного хостинга программный язык реализации не играет роли, главное, чтобы веб-решение поддерживало стандартный протокол HTTPS для работы с API Alexa.
Следующий тип навыков – это Smart Home Skill API, как несложно догадаться, предназначенный для решений, связанных с аппаратными решениями и оборудованием умного дома. Здесь сервис AWS Lambda может стать своеобразным «мостом» между работой голосового ассистента и серверами, выполняющими обработку и управление «электронной начинкой» умного дома, впрочем, как и другими смарт-устройствами, например, промышленного применения, для сферы бизнеса и т.п.
Picture: How the Smart Home Skill API Works – Alexa Skills Kit
Оставшиеся направления реализаций навыков для Alexa – это разработка навыков по управлению и работе с видео-контентом (Video Skill API) и работы с новостным контентом (Flash Briefing Skill API), например, работа с запросами HTTPS, лентами новостей в формате RSS или контентом структурированном в формате JSON и т.п. Но тут стоит признать, что лучше «один раз попробовать» и создать свой навык для Alexa, чем «смотреть» и заниматься теорией. Хотя, это уже непременно будет материалом для наших следующих публикаций.
В завершении хочется отметить, что у Amazon есть еще множество интересных решений, связанных с искусственным интеллектом и аудио интерфейсом в контексте облака AWS. Например, если не требуется управлять устройствами, а только озвучить некоторые фразы, то в облаке Amazon существует сервис Polly, который преобразует текст в естественную речь и сохраняет результат в файле MP3.
Picture: Amazon Polly – Amazon Web Services
В случае, если требуется создать чат-бота, который понимал бы естественный язык, можно использовать Amazon Lex. Этот сервис, на основе технологий глубокого обучения, которые, кстати, использует и Alexa, позволяет выполнить автоматическое распознавание речи, получив на выходе текст.
Picture: С помощью Amazon Lex можно создавать сверх интерактивные диалоговые пользовательские решения для подключенных устройств – Amazon Web Services
Но, безусловно, с Alexa значительно веселее и, пожалуй, проще решать задачи на новом уровне построения аудио интерфейсов для взаимодействия с устройствами IoT, при том, что цена на колонку Echo Dot стала вполне доступной. Впрочем, у каждого гика найдется под рукой подходящая плата Raspberry Pi, на которую элементарно устанавливается Alexa Voice Service. Фактически голосовой ассистент Echo Dot на основе сервиса Alexa расширяет рамки устоявшихся подходов для решения повседневных задач. Конечно, есть ограничение на локализацию, на количество предоставляемых услуг вне США и т.п. Но всегда интересно взглянуть в будущее и поэкспериментировать с этим в настоящем.
Пусть Alexa сейчас ошибается и, например, может случайно напугать своим смехом, или среагировать на «голосовую атаку» спровоцированную рекламным сообщением в телевизоре, но искусственный интеллект от Amazon непрерывно совершенствуется, переводя на новый уровень существующие компьютерные системы. К слову сказать, проблема со смехом решена замены фразы «Alexa, laugh» на «Alexa, can you laugh», а реакция на массовые голосовые запросы просто отсекается искусственным интеллектом облака. Правда, что будет, если запрос не массовый, а именно направлен на компрометацию определенного устройства, атаку на конкретного пользователя и т.д.? Пожалуй, это уже новый повод рассмотреть подходы к обеспечению кибербезопасности, в целом, и защиту устройств с голосовым интерфейсом, в частности. И, конечно, немного «космического» юмора с Alexa.
Далее, пожалуй, следует рассмотреть альтернативные решения, например, от компании Google, сравнить сервисы и т.д., но, как говорится, это уже тема для следующей публикации. И всегда интересны комментарии наших читателей об опыте работы с Alexa или идеями о роли и месте речевых интерфейсов в нашей повседневной жизни. Ведь, с одной стороны, такие решения пока больше направлены на получение некоего «вау-эффекта» от демонстрации технологии, но с другой стороны – нельзя не признать потенциальное удобство и пользу от рассмотренных нами технологий и решений.
Интересные ресурсы и ссылки:
Теория, сравнения и описание инфраструктуры:
