Apple Watch предоставили множество преимуществ для здоровья за последние шесть лет, включая мониторинг состояния сердца / показаний ЭКГ, обнаружение падений, содержание кислорода в крови, отслеживание упражнений, и стали более широко использоваться в исследованиях здоровья. Однако исследователи из Гарварда и Мичиганского университета теперь поделились опасениями по поводу использования Apple Watch в исследованиях алгоритмов носимых устройств, создающих «черные ящики».
Как сообщает The Verge, доцент биостатистики Дж. П. Оннела подробно описал потенциальные проблемы с использованием Apple Watch для научных исследований. Конкретный случай, на который он обратил внимание, — это данные о вариабельности сердечного ритма, собранные Apple Watch, которые сочли их непоследовательными, и он считает, что причина может повлиять и на другие исследования.
Проблема связана с тем, как Apple обновляет алгоритмы своих носимых устройств с течением времени, что означает, что «данные за один и тот же период времени могут изменяться без предупреждения».
«Эти алгоритмы представляют собой то, что мы назвали бы черными ящиками — они непрозрачны. Поэтому невозможно узнать, что в них содержится », — сказал The Verge доцент биостатистики Гарвардской школы здравоохранения им. Т. Чана и разработчик платформы данных с открытым исходным кодом Beiwe Дж. П. Оннела.
Такие устройства, как Apple Watch, известны тем, что экспортируют информацию только после обработки с помощью алгоритмических фильтров, что может быть проблематичным для «воспроизводимой науки». Вот почему Оннела обычно использует устройства исследовательского уровня для исследований, которые выводят необработанные данные, но ему было интересно узнать больше об использовании Apple Watch в предстоящем исследовании и о том, насколько серьезными могут быть потенциальные проблемы с данными.
Итак, они проверили данные о частоте сердечных сокращений, которые его сотрудник Хассан Давуд, научный сотрудник из больницы Бригама и женщин, экспортировал из его Apple Watch. Давуд дважды экспортировал свои суточные данные о вариабельности сердечного ритма: один раз 5 сентября 2020 года и второй раз 15 апреля 2021 года. Для эксперимента они использовали данные, собранные за тот же промежуток времени — с начала декабря 2018 года по сентябрь 2020 года.
Оннела был готов увидеть некоторые различия в одних и тех же данных, экспортированных в два разных момента. И их средние значения оказались схожими: 52 против 55, однако дисперсии показали большие различия на уровне 1240 против 572, а также те же данные имели относительно низкую линейную корреляцию Пирсона 0,67.
Оннела объяснил больше в своем блоге:
Чтобы было ясно, эти данные охватывают один и тот же диапазон дат, поэтому они должны быть идентичными. Фактически, их средние очень похожи, 52 против 55 для первого и второго экспорта, соответственно, но их дисперсии сильно различаются: 1240 против 572. Чтобы получить более подробное представление об этом, я построил диаграмму разброса значений. одного временного ряда по сравнению с другим. Пунктирная линия идентичности — это то место, где мы хотели бы видеть, как точки упали, если бы они были идентичны, как мы надеемся. Вместо этого в данных много разброса, а их коэффициент линейной корреляции Пирсона составляет всего 0,67. Это не очень высокая корреляция.
Имейте в виду, что это всего лишь один неофициальный пример данных Apple Watch, и он не был результатом исследования, но его все же было достаточно, чтобы вызвать беспокойство у Оннела.
В разговоре с The Verge Оннела также привел пример отслеживания веса тела, на который влияют проблемы с изменяющимся алгоритмом. Но все, скорее всего, сводится к типу использования:
Для кого-то, кто проявляет лишь случайный интерес к отслеживанию своего здоровья, это может быть нормально — различия не будут существенными. Но в исследованиях последовательность имеет значение. «Это вызывает беспокойство», — говорит он.
Исследователь сна из Мичиганского университета Оливия Уолч рассказала об этом, подтвердив использование устройств, которые предоставляют необработанные данные:
«Это проверка, потому что я в своей маленькой мыльнице касаюсь необработанных данных, и приятно иметь конкретный пример, где это действительно имеет значение», — говорит она.
Еще один интересный момент в отношении надежности данных — разные участники исследования носят умные часы с разным программным обеспечением и алгоритмами.
По словам Уолча, из-за постоянного изменения алгоритмов использование коммерческих носимых устройств для исследования сна становится непомерно трудным. Исследования сна уже стоят дорого. «Сможете ли вы привязать к кому-нибудь четыре FitBits, на каждом из которых будет установлена другая версия программного обеспечения, а затем сравнить их? Возможно нет.»
…
Кто-то может, например, провести исследование, используя носимое устройство, и прийти к выводу о том, как меняются режимы сна людей в зависимости от изменений в их среде. Но этот вывод может быть верным только для этой конкретной версии программного обеспечения носимого устройства. «Возможно, у вас был бы совершенно другой результат, если бы вы просто использовали другую модель», — говорит Уолч.
Тем не менее, Уолч сказал, что поиск более широких тенденций в «макроуровне» все еще может быть полезен для таких носимых устройств, как Apple Watch:
«Если вы заботитесь о вещах такого макроуровня, тогда вы можете позвонить и продолжать использовать устройство», — говорит Уолч. Но если конкретная вариабельность сердечного ритма, рассчитанная на каждый день, имеет значение для исследования, полагаться на Apple Watch может быть опаснее, говорит она. «Это должно заставить людей задуматься об использовании определенных носимых устройств, если ковер рискует вырваться из-под ног».
Apple не ответила The Verge на комментарий по этой проблеме.
