luckyea77 (luckyea77) wrote,
luckyea77
luckyea77

Categories:

Как смарт-дисплеи наблюдают за хозяином и управляют умным домом



В декабре 2020 года В России появился первый отечественный смарт-дисплей — SberPortal с голосовым помощником Salut. За рубежом такие устройства на волне популярности уже не первый год. Алексей Пышкин, R&D директор дизайн-хауса notAnotherOne, рассказывает о смарт-дисплеях, их использовании в бизнесе и о том, какие еще умные устройства с дисплеями появятся в будущем.

Смарт-дисплей — это умное устройство, состоящее из колонки и экрана. В него встроены микрофоны дальнего поля действия, динамики, а за коммуникацию с пользователем отвечает голосовой ассистент. Эти устройства также поддерживают алгоритмы голосового управления: активацию по ключевому слову (wake word engine), VAD (voice activity detection, обнаружение голосовой активности — «Хайтек») и прочие алгоритмы обработки голоса.

Экран показывает видео, текстовую и графическую информацию, с его помощью можно делать видеозвонки. Некоторые воспринимают смарт-дисплей как электронный планшет, но это концептуально разные устройства. Интерфейс смарт-дисплея нарочито упрощен, так как его основная цель — решение бытовых задач с помощью голосового ассистента: управление умным домом, планирование и управление календарем, поиск информации, настройка таймера или будильника.

Умные дисплеи умеют то же, что и умные колонки, но к этому добавляется дополнительный функционал. К примеру, вот на что способен Google Nest Hub Max:

  • Показывать видеоролики и фильмы, но из-за особенностей DRM, Netflix появился на Hub и Hub Max сравнительно недавно, только в июле 2020 года.
  • Отображать фотографии.
  • Искать информацию и показывать результаты поиска на экране. Интересно, что большую долю в статистике поисковых запросов с умных дисплеев занимают рецепты блюд — это и выдает одно из наиболее популярных расположений девайса в доме.
  • Совершать видеозвонки с помощью Duo и Meet, а с августа 2020-го — еще и Zoom.
  • Переводить голосовые команды на иностранные языки в режиме реального времени — при этом перевод при чтении с экрана легче осмыслить.


  • Если говорить про управление умным домом, то выбрав нужный девайс из списка, можно, к примеру, в одно касание отрегулировать яркость лампы. Очень удобно.

    Интересная также опция, доступная при реализации видеозвонков, — auto-framing (также известную, как auto-zoom или auto-pan). При автофрейминге камера фокусируется на человеке и «следует» за ним при передвижениях (в пределах поля зрения камеры разумеется). Это достигается с помощью компьютерного зрения и кропа изображения. Впервые на умных дисплеях autoframing внедрили на Facebook Portal, а затем на Nest Hub Max. Активно эту фичу используют Google и Facebook, и пользователи позитивно на нее реагируют — это видно по Net Promoter Score.

    С чего все начиналось

    Прообразы умных дисплеев без голосовых помощников появились в 2000 году. Первопроходцем в разработке устройств интернета вещей с экраном стал 3Com, производитель цифровой электроники (его сооснователь Роберт Меткалф придумал Ethernet). 3Com Audrey задумывалось как устройство для кухни и имело доступ в интернет, писать и отправлять электронные письма, а также проигрывать аудио и видео.


    Sony Dash, 2010

    В 2006 году анонсирован первый тачскрин девайс от Chumby для потребления медиаконтента, который положил начало одноименной линейке устройств. В Sony Dash, выпущенном в 2010 году, использовалась платформа от Chumby с функциями будильника, радио, выходом в интернет, проигрыванием аудио и видеоконтента и огромным количеством приложений. Несмотря на стабильную работу девайса, в 2017 году Sony приостановили работу обслуживающих Sony Dash серверов без выпуска другого аналога.

    Основное, что отличало эти устройства от нынешних смарт-дисплеев — отсутствие виртуального ассистента, жестового, а также голосового управления.


    Sony Dash, 2010

    От первых моделей к буму потребительских дисплеев

    За последние три года только в США и Европе вышло более 30 моделей умных дисплеев от более 12 брендов. В июне 2017 года Amazon запустил продажи своего первого смарт-дисплея — Amazon Echo Show, в сентябре этого же года — продажи Echo Spot, умного будильника с экраном и голосовым ассистентом.

    Вплоть до лета 2018 года онлайн-гигант был монополистом на рынке умных экранов, пока Lenovo и JBL не выпустили свои устройства с Google-ассистентом. Сам Google анонсировал Google Home Hub (позже переименовали в Nest Hub) в октябре 2018 года, позиционируя девайс как хаб для управления умным домом, в то время как его партнеры, использовавшие Google-ассистент, сделали ставку на качество звука.

    Месяцем позже на рынок пришел Facebook Portal c голосовым помощником Alexa от Amazon, и его главным пользовательским сценарием назвали видеозвонки. Россия также не стала отставать от тренда — в конце 2020-го SberDevices анонсировали SberPortal — первый российский смарт-дисплей с системой виртуальных ассистентов на борту. К слову, дизайном российского портала занималась команда notAnotherOne,и уже в апреле 2021-го девайс завоевал самые престижные дизайн-награды — Red Dot Design и iF design awards, — и вместе с ними признание мирового дизайн-сообщества. Наконец, анонсированное недавно обновление линейки iMac хоть и нельзя назвать смарт-дисплеем, но ряд функций почерпнут именно в смарт-дисплеях — микрофонная матрица из трех микрофонов и шесть встроенных динамиков. Эти нововведения позволяют как использовать устройство для конференц-связи, так и управлять функциями с помощью голосового помощника / голосового ввода (начиная с ревизии MacOS Catalina, пользователям доступны функции расширенного голосового управления, в дополнение к функционалу Siri).

    Сегодня мы можем наблюдать взрывной рост сегмента смарт-дисплеев во всем мире.




    Немного аналитики

    Рынок умных дисплеев

    Первое место занимает Амазон с 55% долей рынка, далее Google — 33%, а Facebook — всего 2% с его тремя поколениями устройств: Facebook Portal, Facebook Portal Plus и Facebook Portal Mini. Умные дисплеи от Lenovo, JBL и LG со встроенным Google-ассистентом занимают 6% рынка (без разбивки по брендам).




    Рост популярности дисплеев наглядно иллюстрируют цифры: в первом квартале 2018 года доля смарт-дисплеев составляла менее 2 % рынка, в первом квартале 2019-го — 10 %, а к концу 2020 года — уже 26 %.

    *Global Smart Speaker Market Report Q3 2020




    По состоянию на Q4 2020 года объем продаж умных дисплеев составил чуть более 25% от общих продаж умных колонок. В Q1 2018 доля продаж умных дисплеев менее 2%, в Q1 2019 — порядка 10%

    Места размещения умных дисплеев

    Места, где принято располагать смарт-дисплеи и колонки весьма прогнозируемы: 44% устройств находится в гостиных, 37% устройств находятся в спальне, 32% — на кухне.




    Если в гостиных чаще находятся колонки, так как функцию дисплея на себя берет телевизор, на кухне — смарт-дисплеи, то в спальне главенствуют смарт-будильники и умные часы.




    На изображении выше несколько представителей этих устройств. Их объединяет маленький базовый экран, разрешения которого хватает для отображения основной информации, а также микрофонная матрица, динамик и голосовой ассистент. Ценник такого девайса может начинаться от $50. Amazon изначально заняли премиальный сегмент, добавив камеру и качественные динамики.

    Отдельно стоит упомянуть свежий релиз умного дисплея от Google — Nest Home Hub 2. Благодаря встроенному mmWave-радару, девайс может следить за фазами и длительностью сна владельца, поэтому подойдет для размещения на прикроватной тумбочке.

    С помощью массива микрофонов устройство также способно измерить частоту дыхания, продолжительность храпа и количество покашливаний за ночь.

    Распознает ли устройство владельца по храпу — пока не ясно, но мы обязательно протестируем этот момент.

    Дисплеи для кухни

    В 2018 году компания General Electric анонсировала умную вытяжку с 27-дюймовым тачскрин-экраном, двумя камерами и ассистентом от Google на борту — Kitchen Hub. Вытяжка умеет совершать видеозвонки, позволяет просматривать рецепты и проигрывать видео на дисплее. Голосовое управление устройством осуществляется через пульт.

    Уже запустив продажи Kitchen Hub, GE объявили о Kitchen Hub 2, микроволновой печи с экраном. Разработчики поместили третью камеру с искусственным интеллектом внутрь устройства, что позволяет распознавать ингредиенты и готовность блюд. К сожалению, информации о старте продаж пока нет.



    На CES 2019 представили еще один прототип смарт-дисплея для кухни — 10-дюймовый KitchenAid Smart Display c Google Assistant от Whirlpool. Его основное отличие — влагозащищенность и олеофобное покрытие дисплея, благодаря которому на поверхности не остаются отпечатки пальцев — обычное дело на кухне. Увы, устройство в продажу так и не поступило.



    Дисплеи для других комнат

    Компания Kohler в 2018 году анонсировала умное зеркало. К сожалению, его функциональность ограничена только голосовым помощником, и оно не способно отображать информацию. В 2019 году несколько китайских компаний начали разработку умного зеркала с интегрированным дисплеем. Несмотря на большое количество DIY-продуктов, массовых и коммерчески успешных умных зеркал для дома пока не случилось.



    Нам хотелось бы заглянуть в будущее и показать, как нам видится концепт умного зеркала, который отлично впишется в любую ванную комнату.



    Несколько возможных фич этого устройства:

  • Фокус на приватности — без камер + кнопка физического включения микрофона или жест для включения и выключения.
  • Электрохромное стекло — изменяемая степень зеркальности и прозрачности в зависимости от условий и контента, который там отображается.
  • Влагозащита, в этом поможет использование MEMS-динамиков и пьезо-микрофонов.
  • Встроенный mmWave-радар для распознавания пользователей, управления жестами, распознавания параметров жизнедеятельности (температура, пульс, цвет кожных покровов, состояние зрачка). Радар может без использования камер, с сохранением приватности пользователя, распознавать скелет и движения пользователя, считывать частоту сердцебиения и дыхания.





  • Что же может случиться с рынком смарт-дисплеев в ближайшем будущем?

  • Со временем рынок дисплеев станет еще более сегментированным, усилится специализация и сценарии использования устройства: от дисплеев для кухни до усовершенствованных дисплеев в спальне. Например, умный будильник с мягкой подсветкой, которая позволит мягко разбудить пользователя.
  • Появление нового сегмента: сегодня на рынке наблюдается нехватка премиальных устройств. Средняя стоимость девайса для дома составляет порядка $400. Возможно, есть потребность со стороны производителей люксовой техники, в том числе и премиальных аудиобрендов.
  • Возможно использование технологий-enabler’ов: дисплеи (microLED, AMOLED, 3D дисплеи, проекторы), динамики и микрофоны (массивы CMOS-динамиков, параметрические динамики, дальнейшее наращивание количества микрофонов в матрицах, использование пьезо-микрофонов), радары и сенсоры (mmWave-радары, датчики окружающей среды), connectivity (WiFi 6, 5G).
  • Дальнейший рост сегмента при небольшом количестве новых игроков: быть партнером Google / Amazon с большим объемом вложений и низкой маржинальностью готово лишь ограниченное количество компаний. Но все сливки сегодня снимают то небольшое количество игроков, обладающих полной инфраструктурой сервисов.





  • Дисплеи для B2B

    Дисплеи в корпоративном сегменте

    Во многих компаниях, особенно из Fortune 500, использование устройств с микрофонами и умных колонок под запретом, так как существует огромное недоверие к приватности и защите данных. Одной из немногих компаний, кому удалось зайти в крупный корпоративный сегмент, стала Cisco.

    Cisco в 2020 году обновила линейку умных дисплеев для конференц-связи. Сейчас представлены две модели. Младшая модель — 23″, старшая — 27″. Камера — с физической шторкой в обеих моделях. Старшая модель — поддерживает стилус, подключение ноутбука с параллельной его зарядкой, ИИ / динамические фоны, запатентованную систему шумоподавления. Стоимость младшей начинается от $1 490. Стоимость старшей — от $5 990.

    Отдельно стоит упомянуть кобрендинг-инициативу от Zoom — Zoom for Home, линейку профессиональных устройств для работы из дома. Рекомендованная розничная стоимость первого устройства линейки — $599. При этом устройство обладает широким набором интерфейсов, начиная с 27″ тач-дисплея с поддержкой пера, заканчивая тремя камерами, массивом из восьми микрофонов и стереодинамиками. При всем при этом, это узкоспециализированное устройство для видеоконференций и презентаций, — прочий функционал урезан на уровне ОС. Не имея экспертизы в сфере электронике, Zoom Inc. привлекли в качестве партнера производителя конференц-решений DTEN, что принесло свои плоды — устройство удостоили звания Best of The Best Red Dot design award в 2019.

    Смарт-дисплеи в гостиничном бизнесе

    Большой тренд — использование умных колонок и дисплеев в гостиницах.

    Несмотря на то, что Amazon запустил Alexa for Hospitality еще в июне 2018 года, поддержка этой программы на Echo Show еще не доступна.

    Nest for hospitality — программа и инициатива от Google, направленная на использование смарт-устройств в сетях отелей. Используется кастомная версия Hub Max без камеры (в пользовательской версии камера присутствует, в версии для отеля она убрана) и специальная версия прошивки / UI (ограничен функционал, администрируется удаленно; упор — на приватность, после того, как пользователь выполнил чекаут, вся информация о нем стирается). Основное предназначение дисплея в этом случае — предоставление пользователю информации об услугах отеля и его окрестностях, получение финансовой информации (счет за проживание и доп. услуги) .

    Еще один интересный кейс для отелей был представлен компанией CIRQ+ в прошлом году. Данная модульная система позволяет контролировать системы кондиционирования, мультимедиа и освещения. В устройстве есть радар, предназначенный для управления системами. К примеру, если радар находится в другой комнате, то он регулирует интенсивность кондиционирования таким образом, что сэкономить затраты на электроэнергию.



    Но, как и во многих других отраслях, Китай опережает западных конкурентов — китайский стартап Xiezhu представил аж пять умных устройств, ориентированных на гостиничный сегмент:

  • Дисплей для саморегистрации, призванный заменить сотрудников ресепшне.


  • Умный дверной видеозвонок для отелей с возможностью впускать посетителей не вставая с кровати.


  • Смарт-дисплей для номеров, интегрированный с системами освещения, климат-контроля и мультимедиа.


  • Умный пульт для телевизора с голосовым управлением.


  • Смарт-дисплеи в телемедицине

    Пандемия привела к повышенному интересу к телемедицине, причем, как к сервисам, так и к устройствам для телемедицинских обследований.

    Ряд игроков (Amwell, H4D, etc.) анонсировали киоски для телемедицины, центральным элементом которых является умный дисплей. В части устройств — базовые рекомендации / инструкции даются голосовым помощником, а сам процесс происходит под контролем врача.

    Позволим себе немного пофантазировать на тему киоска для телемедицины: портативная система, мозгом которой является умный дисплей. Требуется чаще всего направлять экран ближе к пользователю, предполагается автоматическая подстройка на сервоприводах. Массив из камер и сенсоров для отслеживания основных жизненных параметров / показателей.

  • Портативная система для телемедицины, центром которой является умный дисплей.
  • Автоматическая подстройка положения экрана на сервоприводах.
  • Массив из камер для анализа vital signs, мимики.
  • Высокочувствительные far-field микрофоны (анализ дыхания, кашля, хрипов).
  • Мощность платформы, достаточная для процессинга задач КЗ.







  • Развитие и популярность технологий смарт-дисплеев обусловлена безусловным спросом на их функционал: от управления умным домом до мониторинга сна и демонстрации рецептов на кухне. Тотальная социальная изоляция еще больше подогрела интерес к таким устройствам, а развитие интернета вещей и технологий беспроводной связи позволит адаптировать использование смарт-дисплеев для более прикладных кейсов, в том числе и в непростых условиях применения.

    Источник

    Tags: дисплей, дом, технологии
    Subscribe

    Posts from This Journal “дисплей” Tag

    promo luckyea77 december 30, 15:00 8
    Buy for 10 tokens
    По этой ссылке можно скачать информационную базу для программы "1С:Предприятие". С помощью данной базы можно готовиться и сдавать экзамены по темам: - Электробезопасность - Основы промышленной безопасности А.1 - Специальные требования промышленной безопасности: Б 9.31. Эксплуатация опасных…
    • Post a new comment

      Error

      default userpic

      Your IP address will be recorded 

      When you submit the form an invisible reCAPTCHA check will be performed.
      You must follow the Privacy Policy and Google Terms of use.
    • 3 comments