Голосовое управление посредством arduino

Содержание

Распознаём дату и время в естественной речи

Задача

Привет, Хабр! Увлёкся я навыками для Алисы и стал думать, какую пользу они бы могли принести. На площадке много разных прикольных игр (в том числе мои), но вот захотелось сделать рабочий инструмент, который действительно нужен в голосовом исполнении, а не просто копирует существующего чат-бота с кнопками.


Голос актуален тогда, когда либо руки заняты, либо нужно выполнять много последовательных операций, особенно на экране телефона. Так возникла идея навыка, который по одной команде выделяет из текста указание на дату и время и добавляет событие с этим текстом в Google Calendar. Например, если пользователь скажет Послезавтра в 11 вечера будет красивый закат, то в календарь на послезавтра в 23:00 уходит строка Будет красивый закат.

Под катом описание алгоритма работы библиотеки Hors: распознавателя даты и времени в естественной русской речи. Хорс — это славянский бог солнца.

Github | NuGet

Как Мефодий стал Анной: опыт разработки и запуска классификаторов голосовых сообщений. Часть 3

Цели серии статей

Напомню, что в рамках первого и второго поста мы получили модель классификации обращений в техподдержку и научились выводить её в продуктив, не собирая все грабли. Пришли к выводам, что прежде, чем строить сложные модели, нужно понять полноту и точность своих данных. А вывод №2 стал таким: пойми пользователя своего и тогда запустить сервис станет в разы проще. В этой статье мы поговорим о втором кейсе, который нам помогла решить голосовой робот Анна.

Кейс №2. Задача и данные

После того, как мы поняли логику людей и набили шишки при внедрении первого голосового классификатора, мы вдохновились на решение ещё одной задачи.

Проблематика.

34% звонков из отдела продаж переводятся в службу техподдержки. Хочется сократить количество переводов между отделами. Для начала разберёмся, как работало раньше?

Веб-сёрфинг на ПК с помощью Google Voice

Владельцам смартфонов под управлением операционной системы Android хорошо известна встроенная функция голосового поиска Google Search, при помощи которой вы можете осуществлять поиск, просто произнося запросы в микрофон устройства. Система распознавания речи автоматически преобразует запрос в текстовый вид и передаёт его поисковой системе.

В «десктопном» браузере Google Chrome теперь также реализована технология Google Voice, и вы можете её использовать на любом настольном или портативном компьютере со встроенным или внешним микрофоном.

Просто откройте браузер, зайдите на страницу поиска Google и щёлкните по иконке микрофона в правом конце поисковой строки. В верхней части окна появится строка с запросом на разрешение использования микрофона, с чем следует согласиться. После этого на экране возникнет большой значок микрофона и слово «Говорите». Произнесите запрос, на экране появится сообщение об обработке, а затем обычная страница результатов поиска Google. Если система не поймёт запроса, она сообщит вам, что запрос неразборчив? и попросит повторить.

Система Google Voice работает весьма убедительно даже не в самом тихом помещении, и с русским языком она чувствует себя весьма уверенно для эффективного использования. Кроме того, в демонстрационном режиме работает и более универсальная система распознавания речи — так называемый «Программный интерфейс веб-речи», который в перспективе позволит заполнять «голосом» различные формы, отправлять комментарии и надиктовывать письма в Gmail.

Что делать, если не работает голосовое управление

Проблемы с работой голосового управления бывают редко, но все же встречаются. Если по каким-то причинам система не работает, в первую очередь рекомендуется проверить «Настройки». Далее следует выбрать подраздел, касающийся голосового помощника, а затем «Распознавание OK Google». Корректировку работы, связанной с возникновением багов или сбоев, следует делать в подразделе «Из приложения Google» и поставить отметку на нем.

Важно! Следует помнить, что правильная и корректная работа помощника осуществляется только в том случае, если имеется стабильно работающее подключение к сети интернет. Без доступа к Wi-Fi или мобильному интернету голосовое управление имеет весьма ограниченный функционал

Как можно понять, работа с голосовым помощником проста, но при этом очень полезна. Рекомендуется освоить данную систему, чтобы улучшить взаимодействие с мобильным устройством. Многие пользователи отмечают, что после того, как они стали пользоваться голосовым управлением, они уже не могут отказаться от этого из-за удобства.

«Алиса»

  • имитацию живого диалога;
  • умение распознавать речь в устном и письменном виде;
  • наличие навыков голосового и текстового ответов на поставленные вопросы.
  • более точно прокладывать маршрут по карте и подсказывать наиболее оптимальный путь к месту назначения;
  • включать/выключать музыку, видео, новости и пр. по голосовому запросу;
  • выполнять операции в «Госуслугах».
  • поиск и предоставление найденной в интернете информации;
  • поиск мест и прокладывание маршрутов;
  • открытие локальных файлов и приложений.
  • Для этого зайдите на домашнюю страницу сервиса alice.yandex.ru, прокрутите немного вниз до блока «Мои любимые приложения» и щёлкните по кнопке «Яндекс»:

  • Вас перекинет на страницу «Яндекс.Приложения». Выберите «Компьютер»:

  • Нажмите «Скачать» в блоке «Голосовой помощник». Это бета-версия «Алисы», но она работает стабильно и без «глюков».

  • После загрузки установите и запустите приложение, просто кликнув мышью по строке «Напишите сообщение». Щёлкните по верхнему значку в левой части окна, здесь вы увидите краткую информацию о том, что «Алиса» умеет делать. Перемещение по презентации основных возможностей осуществляется с помощью стрелок.

  • Перейдите в «Навыки Алисы»и щёлкните по кнопке «Каталог навыков».

  • Подборки навыков откроются в установленным в системе по умолчанию браузере. На странице можно более подробно узнать, что умеет голосовой помощник.

  • Вкладка «Помощь» содержит подсказки касательно той или иной опции. Щёлкните мышью по функции, чтобы изучить их.


  • В блоке «Табло», также, как в «Яндекс.Браузере», содержатся кнопки переходов по сервисам. Также здесь визуализированы актуальные темы.

  • Блок «Программы» представляет собой альтернативу меню «Пуск» в Windows. Кому-то, возможно, такой формат покажется более удобным, чем, к примеру, плитки в Windows 10.

  • Блок «Папки» для быстрого поиска файлов и папок, минуя стандартный «Проводник».

  • В «Настройках» вы можете включить/отключить некоторые функции «Алисы» и настроить микрофон. Весьма полезная опция — «Голосовая активация».

  • Здесь же в «Настройках» вы можете изменить внешний вид приложения (полное окно, компактное или свёрнутое в значок), назначить браузер по умолчанию или выключить «Алису», если она вам надоела.

  • Начните общение, щёлкнув по иконке с микрофоном или произнеся ключевую фразу «Слушай Алиса».

  • умение не только открывать программы на ПК, но и работать с ними, выполняя сложные действия;
  • навыки онлайн-заказов (вызов такси, заказ пиццы и т. д.);
  • умение конвертировать валюты и считать на калькуляторе;
  • навыки распознавания изображений и участия в разговорных играх.

Как снова включить голосовой поиск

Многие обладатели мобильных телефонов боятся, что деактивировав работу виртуального помощника, они не смогут больше использовать собственный голос для работы на своем девайсе. Однако подобные опасения беспочвенны. При желании или возникшей необходимости вновь активировать работу сервиса «OR, Google» можно без проблем в течение нескольких минут.

Поскольку опция голосовых команд работает только в приложении «Google Now», его нужно открыть и изменить параметры настроек. После этого появится возможность управления всеми функциями и программами устройства.

После запуска утилиты в появившемся окне нажать на кнопку, открывающую меню

В перечне выбрать раздел «Настройки» и войти в него (важно не перепутать с опцией «Настроить»!). На новой странице потребуется открыть раздел «Голосовой поиск», и далее подраздел «Распознавание О’кей Google». В появившихся настройках голосового управления нужно будет включить опцию «Их всех приложений»

Далее система предложит трижды произнести фразу «О’кей Google». Проговаривать слова важно четко и раздельно. Данное действие необходимо для того, чтобы система могла лучше распознавать голос.

После окончания его выполнения на экране появится уведомление о завершении настройки. С этого момента можно будет использовать возможности голосового управления в полном объеме.

Функцию голосового управления на Андроид можно ограничить или полностью отключить . Для выполнения подобных действий разработчик предусмотрел несколько вариантов. Если четко следовать инструкции и последовательно выполнять все ее пункты, проблем удастся избежать.

Чем пользуетесь вы для голосового управления телефоном?

Google Ассистент 0%

Другим голосовым помощником, Окей Гугл совсем нефункциональный 0%

Вообще не пользуюсь этой функцией, считаю ее бесполезной 0%

Проголосовало:

Свежие статьи

Умный Яндекс Дом в помощнике Алиса и умных колонках

Платформа умного дома от Яндекса позволяет управлять розетками, лампочками, телевизорами и другими бытовыми приборами.

Как бесплатно слушать радио онлайн в Яндекс.Станции, Irbis A и Dexp Smartbox. Полный список всех FM радиостанций.

Аудиокниги в сервисе Яндекс Музыка и колонках с Алисой

Как слушать аудиокниги онлайн бесплатно на компьютере, на Android и iPhone, и на умных колонках Яндекс.Станция, Irbis A и Dexp Smartbox.

Как настроить запуск двигателя голосом в приложении СтарЛайн через Быстрые команды Сири.

Как смотреть телевизор онлайн бесплатно, через мобильное приложение и на Яндекс.Станции.

Xiaomi и HomeKit в одном сценарии умного дома

Как связать умные устройства от Сяоми с устройствами с поддержкой HomeKit в один сценарий с помощью Быстрых команд Siri Shortcuts.

Голосовое управление в машине: как это происходит

Модулей голосового управления может быть сразу несколько, что облегчает вождение и управление автомобилем любому водителю. Микрофон, призванный распознавать речь, чаще всего располагается внутри зеркала заднего вида − для того, чтобы находиться максимально близко от говорящего человека.

Речевые команды, распознаваемые устройством, в дальнейшем передаются в системы автомобиля, формируя своеобразные сигналы. Таким образом машина выполняет требуемое действие без необходимости нажимать на ту или иную кнопку.


Но так как подобных систем голосового управления существует сразу несколько, конкретная реализация может отличаться, впрочем, не слишком существенно. Вы можете отдельно приобрести систему контроля за дворниками, освещением салона и некоторые другие.

В некоторых случаях управление голосом может быть предусмотрено уже производителем, что избавляет от необходимости покупать что-либо дополнительно.

Настройки голосового доступа

Вы можете получить доступ к дополнительным функциям голосового доступа в его меню настроек. Доступ к меню настроек немного сложен, так как вы не открываете его из ящика приложений, как большинство приложений. Вместо этого необходимо нажать на запись «Голосовой доступ» в области уведомлений, а затем нажать «Настройки». Или перейдите в Настройки> Специальные возможности> Голосовой доступ> Настройки.

В меню настроек есть дополнительные опции. Из них наиболее важными являются:

  • Кнопка активации: перекрывает постоянный пузырь на экране. Нажав на нее, вы активируете распознавание голоса из любого меню.
  • Настройка ключа активации: позволяет назначить физическую кнопку, например клавиатуру или переключатель Bluetooth, в качестве триггера для распознавания голоса.
  • Тайм-аут после отсутствия речи: отключение этого позволяет непрерывно запускать голосовой доступ, пока включен экран телефона. По умолчанию при включении этот тайм-аут составляет 30 секунд.
  • Активен во время звонков: позволяет использовать голосовой доступ во время телефонных звонков.
  • Отмена при касании: обычно касание экрана отключает голосовой доступ. Включение этого делает его таким, что касание экрана не отключает распознавание голоса.
  • Показать все команды: посмотрите все, что позволяет голосовой доступ.
  • Открыть учебное пособие: снова запускает учебное пособие на случай, если вам понадобится переподготовка по использованию голосового доступа.

Now on Tap

Описанию этого сервиса было уделено отдельное пристальное внимание на презентации Android 6.0 Marshmallow. И преподносился он как одна из основных особенностей новой прошивки

Но более-менее нормальную функциональность в России мы получили только в декабре. В официальном русском переводе он называется контекст от Now.

Как это работает? «Когда вы запускаете контекст от Now, Google анализирует все, что вы видите на экране, и ищет информацию в соответствии с этими данными» — вот официальное описание со страницы поддержки. На деле это значит, что вместо того, чтобы выделять и копировать интересующие фразы на экране, затем открывать поиск и вставлять фразу, можно просто нажать и удерживать кнопку «Домой». После этого Google предложит варианты для найденных ключевых фраз. Это могут быть картинки, видео, предложение открыть это место на картах, новости. Может предложить открыть сайт организации или сделать звонок, открыть профиль Facebook или посмотреть Twitter-аккаунт знаменитостей, добавить заметку. При наличии соответствующих приложений на устройстве после тапа на иконке страница откроется сразу внутри приложения. При прослушивании музыки из разных приложений можно одним нажатием вызвать подробную информацию об исполнителях, альбомах, клипах на YouTube и прочем.

Работа Now on Tap на примере «ВКонтакте»

Пасхалки в поиске Google

Так же как и в десктопной версии поиска, в голосовом поиске есть пасхалки. Приведу только несколько команд, остальные можешь узнать по этой ссылке. К сожалению, почти все они срабатывают только на английском языке и с английским интерфейсом или при выбранном в настройках только английском языке.

«Do a barrel roll». «Make me a sandwich!» «Sudo make me a sandwich!» «When am I?» «Beam me up, Scotty!» «Up up down down left right left right». «What does the fox say?»

Голосовой интерфейс как способ управления вычислительной системой

Системы, зависимые от диктораСистемы, независимые от диктораСкрытых Марковских Моделей (СММ)Искусственных Нейронных сетейРаспознавание голосовых меток Распознавание лексических элементовГорыныч ПРОФ 3.0

  • дикторозависимость;
  • языкозависимость (русский язык и английский язык);
  • точность распознавания зависит от ядра системы американской программы «Dragon Dictate»;
  • предоставляет средства голосового управления отдельными функциями операционной системы, текстовых редакторов и прикладных программ;
  • требует обучения.

VoiceNavigator

  • дикторонезависимость;
  • устойчивость к окружающим шумам и помехам в телефонном канале;
  • распознавание русской речи работает с надежностью 97% (словарь 100 слов).

Speereo Speech Recognition

  • распознавание русской речи работает с надежностью около 95%;
  • дикторонезависимость;
  • словарный запас около 150 тыс. слов;
  • одновременная поддержка нескольких языков;
  • компактный размер движка.Sakrament ASR Engine (разработка компании «Сакрамент»)

Sakrament ASR Engine

  • дикторонезависимость;
  • языконезависимость;
  • точность распознавания достигает 95-98%;
  • распознавание речи в виде выражений и небольших предложений;
  • нет возможности обучения.

Google Voice Search

  • поддержка русского языка;
  • возможность встраивать распознавание речи на веб-ресурсы;
  • голосовые команды, словосочетания;
  • для работы необходимо постоянное подключение к сети internet.

Dragon NaturallySpeaking

  • отсутствует поддержка русского языка;
  • точность распознавания до 99%.

ViaVoice

  • точность распознавания достигает 95-98%;
  • дикторонезависимость;
  • словарь системы ограничен набором специфических терминов.

Sphinx

  • дикторонезависимость;
  • распознавание слитной речи;
  • обучаемость;
  • наличие версии для встраиваемых систем — Pocket Sphinx.

Сущности для платформы Яндекс.Диалоги

В прошлую субботу состоялся онлайн-хакатон по разработке навыков Алисы. Жаль, что никто не написал здесь об итогах, любопытно почитать истории победителей. Но раз желающих не нашлось, то поделюсь своей историей. Я делаю голосовой интерфейс для управления брокерским счётом, уже писал об этом на Хабре — Алиса, купи акции Яндекс. В какой-то момент мне понадобилось извлекать из запроса цену в разных валютах. Уверен, я не первый, кто столкнулся такой задачей, поэтому попытался найти готовые интенты или именованные сущности на GitHub, но ничего не нашёл. На носу был хакатон, много разработчиков в одном месте, подумал я, если каждый поделится своими наработками, то сущностей наберётся на целую библиотеку. Так родилась идея для репозитория «библиотека сущностей».

Laitis

  • Во время первого запуска вам будет предложено установить расширение для вашего веб-браузера. Это необходимо для работы голосового помощника с сайтами. Если не собираетесь работать в интернете, нажмите «Пропустить»:

  • Далее перейдите на вкладку «Команды». Вы увидите подсказки по данному разделу. Прочитайте их.

  • Через несколько секунд появится интерфейс настроек голосовых команд. Выберите одну из них, флажок слева должен быть включен. Щёлкните по строке с группами команд, которые вы хотите отредактировать.

  • Выберите команду, которую будете редактировать (справа). Щёлкните по блоку «Действия» и укажите путь к файлу.

  • Перейдите на вкладку «Настройки». Здесь вы можете активировать запуск программы при старте системы, включить или выключить всплывающие уведомления вверху экрана, сменить сервис распознавания голоса и настроить другие полезные опции.

  • На вкладке «Журнал» можно при необходимости посмотреть историю вашей работы в Laitis и, если нужно, очистить её.

Диктуем тексты в iPhone и iPad на русском и других языках

Несмотря на «смышлёность» Siri, она не слишком хорошо справляется с диктовкой, к тому же с русским языком у оригинальной версии возникают затруднения. Поэтому для «диктантов» лучше использовать специализированное бесплатное приложение Dragon Dictation, которое, помимо всего прочего, прекрасно понимает по-русски.

При установке Dragon Dictation попросит дать ей доступ к вашим контактам, что улучшит распознавание знакомых вам имён и фамилий.

Для диктовки нужно просто нажать на виртуальную кнопку записи, для окончания — коснуться экрана. Кроме того, можно включить автоматическое определение завершения диктовки, что удобно, если вы не намерены делать длительные паузы.


Разумеется, наилучшие результаты получаются, если вы диктуете медленно и чётко. После распознавания можно внести в получившийся текст исправления через экранную клавиатуру. Затем его можно отправить по электронной почте либо в социальные сети Facebook или Twitter.

Аналогичную Dragon Dictation функциональность в устройствах под управлением Android обеспечивает программа ListNote, существующая в бесплатной (c ограничением по времени записи) и платной версиях и использующая движок Google Voice.

Как убрать строку поиска Google с экрана телефона

Существует несколько вариантов удаления поисковой строки с рабочего стола смартфона, каждый из которых зависит от установленной прошивки и версии Android. Все методы расположены в порядке возрастания своей популярности, поэтому начинайте прочтение текста с самого начала.

Способ 1: перетаскиваем виджет

Этот метод зачастую работает на телефонах со свежей версией операционной системы. Для его выполнения не требуется производить каких-то сложных манипуляций и удалять программы. Всё что нужно – выполнить рекомендации следующей инструкции:

  1. Удерживаем палец на поисковой строке до того момента, пока она не начнёт перемещаться по дисплею.
  2. Затем переносим её на иконку корзины, расположенной в верхней части экрана.

Убираем строку поиска Google с экрана

Подтверждать удаление блока не нужно, потому что это не программа, а всего лишь обычный виджет. При желании поисковую строку можно вернуть, посетив вкладку со всеми виджетами.

Способ 2: отключаем приложение

Следующим вариантом удаления поисковой строки Google с экрана является временное отключение соответствующего приложения. Представленная далее инструкция подойдёт для смартфонов под управлением Андроид 6 и ниже, однако возможны и исключения. Итак, первым делом открываем настройки, а далее следуем указаниям пошагового руководства:

  1. Переходим в раздел «Все приложения» или «Установленные программы».

Переходим в раздел «Все приложения»

  1. Среди списка с софтом находим утилиту «Google Поиск» или просто «Google» и переходим на страницу с ней.

Находим утилиту «Google Поиск» или просто «Google»

  1. Здесь нажимаем по кнопке «Остановить», а далее подтверждаем процедуру, кликнув в открывшемся окошке «Ок».

Казалось бы, что поисковая строка исчезла, но это не навсегда. При перезагрузке телефона ненужный блок снова появится на экране, поэтому данные метод несовершенный.

Способ 3: устанавливаем сторонний лаунчер

Если стандартными возможностями системы не удалось избавиться от строки с голосовым вводом Google, то можно установить сторонний лаунчер, и уже с помощью него выполнить удаление. На сегодняшний день в Play Маркете имеется множество лончеров, некоторые из которых работают даже лучше стандартных. Например, себя неплохо зарекомендовали такие приложения, как POCO Launcher, Nova Launcher и Microsoft launcher. При желании вы можете использовать другие программы, найденные посредством ввода соответствующего запроса в Google Play.

Устанавливаем сторонний лаунчер

После установки лаунчера необходимо применить изменения. Для этого открываем приложение и нажимаем по кнопке «Домой». Система предложить выбрать утилиту, которую вы хотите использовать в качестве рабочего стола. Отмечаем нужное приложение и в появившемся окне выбираем «Всегда». Теперь просто нажимаем или удерживаем палец на поисковой строке Google и удаляем её. Всё опять-таким зависит от установленного лаунчера.

Способ 4: удаляем поисковую строку полностью

Устанавливаем программу ADB Run

Далее активируем на телефоне откладку по USB. Чтобы сделать всё правильно, обратимся к подробной инструкции:

  1. Заходим в настройки.
  2. Открываем вкладку «О телефоне» или «Моё устройство».
  3. Получаем права разработчика, несколько раз нажав по номеру сборки или версии прошивки.
  4. Возвращаемся назад и заходим в подкатегорию «Расширенные настройки».
  5. Открываем меню «Для разработчиков» и напротив пункта «Откладка по USB» переводим ползунок вправо.

Включаем отладку по USB

Подключаем телефон к компьютеру и запускаем на нём программу. Вводим команду a и нажимаем по кнопке «Enter».

Вводим команду a и нажимаем по кнопке «Enter»

Теперь вписываем комбинацию adb shell и также нажимаем «Enter».

Вписываем комбинацию adb shell

А далее указываем имя пакета удаляемого приложения. В нашем случае – это com.android.google.quicksearchbox, однако оно может быть другим, поэтому перед началом процедуру уточните информацию в настройках. Нажимаем по клавише «Enter» и видим, как поисковая строка исчезла с экрана телефона. При желании можно изменить принцип действий, вернувшись на стартовое окно программы. В нём вписываем цифру 12, а затем 7. Так же вводим имя пакета и нажимаем «Enter».

Пример удаления приложения

Остаётся отключить телефон от компьютера, воспользовавшись режимом безопасного извлечения устройства.

Прорывы #DeepPavlov в 2019 году: обзор и итоги года

Когда еще один плодотворный год подходит к концу, хочется оглянуться назад, подвести итоги и показать, что мы смогли сделать за это время. Библиотеке #DeepPavlov, на минуточку, уже два года, и мы рады, что наше сообщество с каждым днем растет. За год работы над библиотекой мы достигли:

  • Скачивания библиотеки возросли на треть по сравнению с прошлым годом. Сейчас у DeepPavlov более 100 тысяч установок и более 10 тысяч установок контейнеров.
  • Увеличилось количество коммерческих решений за счет state-of-art технологий, реализованных в DeepPavlov, в разных отраслях от ритейла до промышленности.
  • Вышел первый релиз DeepPavlov Agent.
  • Количество активных участников сообщества возросло в 5 раз.
  • Наша команда студентов и аспирантов была отобрана для участия в Alexa Prize Socialbot Grand Challenge 3.
  • Библиотека стала призером конкурса от компании Google «Powered by TensorFlow Challenge».

Что же помогло достичь таких результатов и почему DeepPavlov — это лучший открытый источник для построения разговорного AI? Расскажем в нашей статье.


С этим читают