Поиск по сайту:

IBM, Nvidia и Bloomberg рекламируют KServe как инкубационный проект для LF AI & Data Foundation

Это объявление предшествует выпуску KServe 0.8.

IBM и Bloomberg объявили в четверг, что KServe присоединяется к LF AI & Data Foundation в качестве своего последнего инкубационного проекта. KServe предоставляет определение пользовательского ресурса Kubernetes для обслуживания моделей машинного обучения в произвольных платформах и лежит в основе нескольких продуктов IBM, включая Watson Assistant.

Bloomberg, Google, IBM, Nvidia, Seldon и другие организации сотрудничали с сообществом KServe Project, чтобы выпустить и опубликовать его с открытым исходным кодом.

В своем блоге Анимеш Сингх из IBM, Дэн Сан и Алекса Гриффит из Bloomberg заявили, что они выступали от имени сообщества KServe, и похвалили LF AI & Data Foundation за его работу по «созданию экосистемы для поддержки инноваций в области искусственного интеллекта и проектов с открытым исходным кодом данных». ."

По словам компаний, KServe стремится решать сценарии использования, обслуживающие производственные модели, предоставляя производительные интерфейсы с высокой степенью абстракции для распространенных сред машинного обучения, таких как TensorFlow, XGBoost, Scikit-learn, PyTorch и ONNX.

«KServe воплощает в себе сложность автоматического масштабирования, работы в сети, проверки работоспособности и конфигурации сервера, чтобы привнести в ваши развертывания машинного обучения передовые функции обслуживания, такие как автомасштабирование графического процессора, масштабирование до нуля и Canary-развертывания. Он обеспечивает простую, подключаемую и полную историю для производства. Обслуживание машинного обучения, включая прогнозирование, предварительную обработку, постобработку и объяснимость», — сказали Сингх, Сан и Гриффит.

Анимеш Сингх, технический директор и директор Watson AI в IBM, сказал, что компания является одновременно соучредителем и внедрителем KServe. Сингх сказал, что сотни тысяч моделей одновременно работают для интернет-приложений искусственного интеллекта, таких как IBM Watson Assistant и IBM Watson Natural Language Doesnging.

Сингх добавил, что ModelMesh от IBM, имеющий открытый исходный код и доступный как часть проекта KServe, решает проблему дорогостоящего управления контейнерами, эффективно позволяя им запускать сотни тысяч моделей в одном производственном развертывании с минимальными затратами.

Старший директор по управлению продуктами Nvidia для ускоренных вычислений Пареш Харья объяснил, что сервер Nvidia Triton Inference Server работает синхронно с KServe, чтобы инкапсулировать сложность развертывания и масштабирования ИИ в Kubernetes с помощью своей бессерверной инфраструктуры вывода.

«Nvidia продолжает активно участвовать в проекте сообщества открытого исходного кода KServe, направленном на поддержку легкого развертывания моделей машинного обучения искусственного интеллекта в больших масштабах», — сказал Харья.

KServe также помогает Bloomberg расширять использование искусственного интеллекта в терминале Bloomberg и других корпоративных продуктах, по словам руководителя отдела разработки искусственного интеллекта Bloomberg Анжу Камбадура. Камбадур объяснил, что Bloomberg хочет быстро перейти от идеи к прототипу и производству, и ему необходимо обеспечить плавное развитие моделей после их создания с учетом изменений в данных.

«Это важно не только для более быстрого создания более качественных продуктов, но и для того, чтобы мы могли раскрыть творческий потенциал наших исследователей в области ИИ, не обременяя их написанием тонн шаблонного кода. В этом отношении я очень рад и благодарен KServe, который Bloomberg помог основать и возглавить разработку и добился таких успехов», — сказал Камбадур.

Марк Винтер, инженер-программист популярной южнокорейской поисковой системы Naver Search, добавил, что KServe позволил им модернизировать инфраструктуру обслуживания искусственного интеллекта и предоставил инструменты, необходимые для обработки различий в масштабировании трафика между дневными и ночными циклами.

«Предлагая стандартизированный интерфейс поверх Knative и Kubernetes, KServe позволяет нашим исследователям искусственного интеллекта сосредоточиться на создании лучших моделей и воплощении своей тяжелой работы в производство, не становясь при этом экспертами в предоставлении и управлении высокодоступными серверными службами», — сказал Винтер.

Это объявление предшествует выпуску KServe 0.8, который, по словам представителя, будет иметь такие функции, как новый пользовательский ресурс ServingRuntime, согласование нескольких пространств имен ModelMesh, улучшенную поддержку CloudEvent и gRPC, а также интеграцию REST API KServe v2 с TorchServe.

По словам представителя, дорожная карта для версии 1.0 включает стабилизированный API, объединяющий развертывания ModelMesh и единой модели, а также более продвинутые возможности графа вывода.

Статьи по данной тематике