Компактная языковая модель (SLM) Phi Silica от Microsoft теперь способна понимать не только текст, но и изображения, что переводит её в статус мультимодальных. Это важное обновление, поскольку модель интегрирована в операционную систему Windows 11 на устройствах ПК Copilot+ и работает на локальном нейронном процессоре (NPU), встроенном в процессор. Сейчас модель работает только с процессором Snapdragon X, но в ближайшее время появится поддержка чипов от AMD и Intel.
Вместо добавления отдельной громоздкой модели для анализа изображений, инженеры Microsoft объединили существующие компоненты. Базой осталась уже развернутая модель Phi Silica. Для машинного зрения применяется кодировщик изображений Florence, который также используется в предварительной версии Windows Recall и улучшенном поиске на базе ИИ. И, наконец, разработан небольшой дополнительный модуль «Projector» (всего 80 млн параметров), который преобразует визуальные данные от Florence в формат, понятный Phi Silica.
Так Microsoft удалось избежать необходимости развёртывания ещё одной громоздкой модели на устройствах пользователей. Этого подход позволил сэкономить дисковое пространство и уменьшить вычислительную нагрузку. Кроме этого, повторное использование существующих компонентов сократило затраты и время на обучение моделей.
Главным примером практического применения новой технологии стала функция генерации описаний изображений для незрячих или слабовидящих пользователей. Мультимодальная Phi Silica может генерировать для «Экранного диктора» описания изображений с разной степенью детализации,
Phi Silica создаёт краткие описания изображений из 135 символов в среднем за 4 секунды, тогда как для подробного описания из 400-500 символов требуется около 7 секунд. Текущая версия оптимизирована для английского языка, но в будущем планируется поддержка других языков.
Краткое описание:
Подробное описание:
Дополнительную техническую информацию об обновлении модели Phi Silica можно найти в официальном блоге Microsoft по этой ссылке.
ИсточникНет комментариев.
Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.
Microsoft Windows 11, 10, 8.1, 7, XP, Server -
10-10-2024, 09:31История и эволюция программного обеспечения Aimp
31-03-2021, 15:38Схемы материнских плат ПК
3-05-2024, 12:29Схемы материнских плат ноутбуков
3-05-2024, 12:29Microsoft подтвердила, что мартовские
12-03-2021, 11:31Нашли ошибку?
Вы можете сообщить об этом администрации.
Выделив текст нажмите CTRL+Enter