В сегодняшнем сообщении в блоге инженеры Apple поделились новыми подробностями о сотрудничестве с NVIDIA для повышения производительности генерации текста с помощью больших языковых моделей.
Ранее в этом году Apple опубликовала и открыла исходный код своей технологии Recurrent Drafter (ReDrafter). Он представляет собой новый метод генерации текста с помощью LLM, который значительно быстрее и «достигает самой современной производительности». Он сочетает в себе два метода: лучевой поиск (для изучения множества возможностей) и динамическое внимание к дереву (для эффективной обработки выбора).
Хотя исследования продемонстрировали хорошие результаты, Apple в сотрудничестве с NVIDIA применила ReDrafter в производстве. В рамках этого сотрудничества ReDrafter был интегрирован в NVIDIA TensorRT-LLM, инструмент, который помогает быстрее запускать LLM на графических процессорах NVIDIA.
Вот результаты:
Чтобы обеспечить интеграцию ReDrafter, NVIDIA добавила новые операторы или раскрыла существующие, что значительно улучшило возможности TensorRT-LLM по работе со сложными моделями и методами декодирования. Разработчики машинного обучения, использующие графические процессоры NVIDIA, теперь могут легко воспользоваться преимуществами ускоренной генерации токенов ReDrafter для своих производственных приложений LLM с помощью TensorRT-LLM.
При тестировании модели производства десятков миллиардов параметров на графических процессорах NVIDIA с использованием инфраструктуры ускорения вывода NVIDIA TensorRT-LLM с ReDrafter мы наблюдали увеличение скорости генерации токенов в секунду в 2,7 раза для жадного декодирования. Эти результаты тестов показывают, что эта технология может значительно снизить задержку, с которой могут столкнуться пользователи, а также использовать меньше графических процессоров и потреблять меньше энергии.
«LLM все чаще используются в производственных приложениях, и повышение эффективности вывода может как повлиять на вычислительные затраты, так и сократить задержки для пользователей», — заключают исследователи Apple в области машинного обучения. «Благодаря новому подходу ReDrafter к спекулятивному декодированию, интегрированному в среду NVIDIA TensorRT-LLM, разработчики теперь могут получить выгоду от более быстрой генерации токенов на графических процессорах NVIDIA для своих производственных приложений LLM».
Вы можете узнать больше об этой работе на сайте Apple и в блоге на сайте NVIDIA:
: Threads, Bluesky, Instagram и .
