Визуальный интеллект — это, возможно, самая мощная функция Apple Intelligence. Вот что это такое, как она работает, и мы рассмотрим несколько различных примеров из реального мира.
Apple добавила функцию Visual Intelligence в iOS 18.2, и для её использования вам понадобится iPhone 16 или iPhone 16 Pro. Извините, пользователи iPhone 15 Pro.
Она находится в разделе «Интеллектуальные функции Apple». Это одна из немногих функций Apple Intelligence, которая является эксклюзивной для семейства iPhone 16.
Эта функция искусственного интеллекта использует камеру вашего iPhone для сканирования окружающей среды и предоставления информации. Если это кажется вам немного абстрактным — не волнуйтесь, сейчас мы покажем вам несколько демонстрационных примеров в нашей студии и за ее пределами, чтобы показать, как она может вам помочь.
Как использовать визуальный интеллект
Чтобы активировать функцию Visual Intelligence, нажмите и удерживайте кнопку управления камерой в правом нижнем углу iPhone. Это сравнимо с коротким нажатием, которое открывает приложение «Камера».
Ваш телефон завибрирует, когда откроется камера с изящной и красочной анимацией. Вы увидите новый интерфейс, который показывает живую ленту камеры с кнопкой «спросить», кнопкой «поиск» и кнопкой захвата в центре.
Давайте начнем с самого простого использования. Откройте Visual intelligence, направьте ее на что-то и сделайте снимок.
Визуальный интеллект поможет идентифицировать шнуры
Затем вы можете получить информацию из chatGPT о том, на что вы смотрите, или выполнить поиск по картинкам в Google, чтобы узнать об этом больше.
Например, мы можем сфотографировать все эти различные кабели, которые есть у нас в студии. Визуальный интеллект каждый раз сможет определить, какие это кабели, и предоставить о них основную информацию.
Вы даже можете задавать дополнительные вопросы, чтобы получить больше информации о сканированных кабелях.
Если вам попадется кабель, о котором вы мало что знаете, вы можете задать уточняющий вопрос, чтобы получить дополнительную информацию. Как, например, в этом подробном описании возможностей кабеля DisplayPort.
У нас также есть старый GameBoy Color. Быстрое сканирование с помощью Visual Intelligence, и мы сможем узнать, в каком году она была выпущена.
Эти два способа позволят вам получить информацию через ChatGPT. В качестве альтернативы можно воспользоваться поиском по картинке.
После сканирования контроллера DualSense мы получили результаты о том, где его можно купить
Когда мы отсканировали контроллер Playstation 5 DualSense, мы увидели этот конкретный цвет. Затем мы смогли перейти в приложение Walmart, чтобы купить его.
Использование визуального интеллекта с текстом
Помимо задавания вопросов и поиска фотографий, он также может помочь при работе с текстом и цифрами.
Визуальный интеллект может резюмировать или читать текст вслух
Когда вы наводите телефон на блок текста, появляются новые кнопки, учитывающие контекст. Вы можете либо сгенерировать резюме ИИ, либо попросить телефон прочитать его вслух.
Если вы путешествуете и обнаружите текст на другом языке, появится кнопка перевода. Когда вы нажмете ее, устройство сделает снимок и заменит текст на изображении на язык по умолчанию.
Перевод меню ресторана на английский язык
Мы протестировали его, переведя меню испанского ресторана. Это здорово, потому что нет необходимости использовать другие приложения, и все работает автоматически.
Наконец, с текстом и числами можно решать уравнения. То, что было бы здорово, когда мы еще учились в школе.
Визуальный интеллект может решать математические задачи с пошаговыми результатами
Вам даже не нужно вводить задачу — просто отсканируйте ее с помощью визуального интеллекта и попросите решить ее за вас. В нашем примере с уравнением он даже разобрал все шаги.
Сканирование продуктов питания
Хотя это и не совсем конкретно, Visual Intelligence также помог собрать макросы из вашей пищи. Как и в других демонстрациях, мы просто наводили прибор на свою тарелку, и он определял продукты и выдавал приблизительный диапазон того, что мы едим.
Это лишь приблизительная оценка, но Visual Intelligence предоставила нам информацию о питании нашего попкорна
У нас была небольшая горсть попкорна, и мы спросили Visual Intelligence, сколько в нем калорий. Он сказал нам, что калорийность такой горсти варьируется в зависимости от вида и способа приготовления.
Если совместить этот диапазон с тем, что вы знаете о попкорне (SmartPop, воздушный, кинотеатральный и т. д.), можно получить достойное представление о реальной стоимости.
Подсчет углеводов был бы огромным, если бы был более точным
Аналогичным образом мы сфотографировали пончик с глазурью и спросили, сколько углеводов он содержит. И снова мы получили диапазон возможных углеводов.
Подобные функции могут быть очень важны для некоторых пользователей. Например, для недавно диагностированных диабетиков 1 типа, которые, как правило, являются детьми и пока не умеют считать углеводы.
Надеемся, что по мере совершенствования моделей ИИ эта функция будет становиться все более точной.
Идентификация растений и животных
В iOS 18.3 Apple добавила несколько новых функций в Визуальный интеллект. Теперь Visual Intelligence может автоматически идентифицировать растения и животных.
Идентификация нашего комнатного растения на кухне с помощью визуального интеллекта
Когда мы навели устройство на растение на нашей кухне, в верхней части появился пузырек с названием растения, как только оно его распознало. Если вы коснетесь пузырька, он покажет вам дополнительную информацию из Википедии.
Это работает и с животными, хотя, конечно, если вы заводите собаку, то она должна быть в некотором роде породистой. Ни один ИИ не сможет точно определить родословную собаки только по фотографии.
Наша собака не является чистокровным ретривером с плоской шерстью, но есть вероятность, что в ней есть какая-то примесь
Наш щенок, Бруклин, был помечен как ретривер с плоской шерстью. Хотя в ней и есть немного ретривера, она ни в коем случае не чистокровный плоский ретривер.
Другие, более общие животные, вероятно, лучше подходят для этого. Или, по крайней мере, для общей идентификации.
Планирование встреч
В iOS 18.3 также появилась функция планирования встреч. Это работает со всем, начиная от вывесок, плакатов и заканчивая рукописными заметками.
Находясь в Нью-Йорке, мы можем отсканировать фасад театра, чтобы добавить день открытия спектакля в наш календарь. А вернувшись домой, мы можем отсканировать записку о свидании, размещенную на холодильнике.
Вечер свиданий! Быстрое добавление в календарь с помощью визуального интеллекта
У вас есть возможность отредактировать встречу в календаре перед ее сохранением. Кроме того, при просмотре в приложении «Календарь» исходная фотография также прикрепляется для справки.
Рестораны и предприятия
Наша любимая функция Visual Intelligence — это использование ее в зданиях, предприятиях и ресторанах. В зависимости от вида бизнеса, здесь есть огромное количество функций.
Визуальный интеллект был удобен для поиска памятников, когда мы путешествовали по Нью-Йорку
С помощью визуального интеллекта легко определить достопримечательности. Вы можете увидеть их название, время постройки и другие полезные факты.
Если вы видите какое-либо предприятие, вы можете направить свой телефон, чтобы получить всю необходимую информацию о нем. Он может показать часы работы магазина, веб-сайт, номер телефона и многое другое.
Используйте визуальный интеллект для получения информации о предприятиях
Когда вы сканируете ресторан, на экране появляются фотографии блюд, меню, и вы можете сделать заказ. Предполагается, что ресторан поддерживает бронирование, онлайн-заказ блюд и т. п.
Рестораны могут показывать часы работы, фотографии блюд, меню, отзывы, варианты оплаты и даже могут помочь вам забронировать столик или сделать заказ
Мы протестировали эту функцию в небольшом городе и обнаружили, что можем узнать часы работы местной кофейни, а в пиццерии можно просмотреть меню и сделать заказ на вынос.
Визуальный интеллект становится только лучше
Apple Intelligence в целом развивается не так быстро, но Apple явно верит в нее. Добавляются все новые и новые функции, как, например, в Visual Intelligence.
К ней нужно немного привыкнуть, новая кнопка и все такое, но как только мы начали ее использовать, она стала очень полезной.
По мере того как Apple будет продолжать совершенствовать Apple Intelligence, мы, вероятно, увидим новые варианты использования.
