NVIDIA Triton Inference Server и инференс в продакшене

На вебинаре мы расскажем как упростить внедрение инференса ML-решений в продакшн и справиться с основными препятствиями, возникающими на пути. Сначала мы расскажем про Triton Inference Server и про то, как он помогает найти общий язык командам DevOps, отвечающим за IT инфраструктуру, и датасаентистам, отвечающим за качество моделей, позволяя каждой стороне сфокусироваться на своих задачах. Далее мы более подробно рассмотрим конкретные кейсы и обсудим способы оптимизации производительности инференса готовых моделей внутри Triton. Наконец, расскажем о том, как Triton вписывается в общую инфраструктуру приложений, с какими инструментами и как он сочетается, а также как строить масштабируемые системы на его основе. Слайды к вебинару: