Методика основана на оценке изменений цвета кожи. В будущем исследователи планируют добавить функции оценки артериального давления и частоты дыхания.
Исследователи из Китайской академии наук разработали алгоритм RhythmNet, который оценивает пульс человека по его лицу. Как сообщает Venture Beat, в его основе лежит фотоплетизмография — оптический метод измерения объема крови в тканях кожи.
Во время сердечного сокращения кровь заполняет кровеносные сосуды кожи, в результате чего она интенсивнее поглощает свет. Эти изменения незаметны для человеческого взгляда, однако современные камеры и датчики могут их уловить.
Чтобы натренировать нейросеть видеть тончайшие изменения оттенка кожи лица и рассчитывать на их основе частоту сердечных сокращений, команда скормила ей около 3000 видеозаписей. Из них 2378 были сняты при нормальном освещении, а 752 — в ближнем инфракрасном диапазоне. Люди на видео стоят в разных позах и движутся, что осложняет анализ.
Получившаяся на выходе программа обнаруживает на видео лицо и выравнивает его пигментацию, чтобы исключить из анализа глаза и волосы. Затем она нарезает запись на отдельные кадры, которые обрабатывает с помощью системы машинного обучения, высчитывая среднее значение пульса.
Эксперименты показали, что RhythmNet достаточно точна. Для 71% образцов ошибка не превышает 5 ударов в минуту. Лучше всего алгоритм работает в диапазоне между 47 и 147 ударами в минуту.
В дальнейшем команда намерена увеличить точность системы, а также научить ее измерять частоту дыхания и артериальное давление — тоже по видео.
Journal information