Примеры сводок уведомлений в iOS 18.1
Британская BBC пожаловалась на то, что функция обобщения уведомлений Apple в iOS 18 полностью выдумывает суть статьи. Вот что произошло и почему.
Внедрение Apple Intelligence включало функции обобщения, экономящие время пользователей, предлагая ключевые моменты документа или набор уведомлений. В пятницу обобщение уведомлений стало большой проблемой для одного крупного новостного агентства.
BBC пожаловалась Apple на то, что при составлении сводок неправильно интерпретируются заголовки новостей и делается неправильный вывод при составлении сводок. Представитель сообщил, что с Apple связались, чтобы «выразить обеспокоенность и решить проблему».
В качестве примера, приведенного в публичной жалобе, в уведомлении, резюмирующем BBC News, говорится, что «Луиджи Манджионе застрелился», имея в виду человека, арестованного за убийство генерального директора UnitedHealthcare Брайана Томпсона. Манджионе, находящаяся под стражей, вполне жива.
«Для нас очень важно, чтобы наша аудитория могла доверять любой информации или журналистским материалам, опубликованным от нашего имени, включая уведомления», — сказал представитель.
Неправильные обобщения являются проблемой не только BBC: жертвой стала и газета New York Times. В сообщении Bluesky, посвященном сводке новостей от 21 ноября, говорится, что «Нетаньягу арестован», однако на самом деле речь шла о том, что Международный уголовный суд выдал ордер на арест премьер-министра Израиля.
Apple отказалась от комментариев BBC.
Галлюцинации новостей
Случаи неправильных изложений называются «галлюцинациями». Это относится к случаям, когда модель ИИ либо дает не совсем фактические ответы, даже несмотря на чрезвычайно четкие наборы данных, такие как новостная статья.
Галлюцинации могут стать большой проблемой для сервисов искусственного интеллекта, особенно в тех случаях, когда потребители рассчитывают на получение прямого и простого ответа на запрос. Это также то, с чем приходится иметь дело не только Apple, но и другим компаниям.
Например, ранние версии Bard AI от Google, теперь Gemini, каким-то образом объединяли Малкольма Оуэна, автора AppleInsider, с умершим одноименным певцом из группы The Ruts.
Галлюцинации могут возникать в моделях по разным причинам, например, из-за проблем с обучающими данными или самим процессом обучения, а также из-за неправильного применения изученных закономерностей к новым данным. В модели также может не хватать контекста в данных и предлагать полностью правильный ответ или сделать неверное предположение об исходных данных.
Неизвестно, что именно вызывает проблемы с обобщением заголовков в этом случае. В исходной статье было ясно сказано о стрелке, но ничего не говорилось о нападении на мужчину.
Это проблема, которую генеральный директор Apple Тим Кук понял как потенциальную проблему на момент анонса Apple Intelligence. В июне он признал, что этого будет «не 100%», но все равно будет «очень высокое качество».
В августе выяснилось, что у Apple Intelligence были инструкции специально по борьбе с галлюцинациями, в том числе фразы «Не галлюцинируйте. Не выдумывайте фактическую информацию».
Также неясно, захочет ли Apple или сможет ли что-либо сделать с галлюцинациями, поскольку она решила не отслеживать то, что пользователи активно видят на своих устройствах. Apple Intelligence отдает приоритет обработке на устройстве, где это возможно, и это мера безопасности, которая также означает, что Apple не будет получать много отзывов о фактических результатах обобщения.
