Ускорьте подготовку данных, чтобы быстрее перейти к следующему этапу. Это позволит быстрее обуч��ть модели, а специалисты по data science и инженеры смогут сосредоточиться на более сложных задачах.
Используйте ускорение на GPU для конвейера обработки данных в Apache Spark™ 3 без изменений кода, а также ускорьте обработку данных и тренировку моделей, существенно снизив затраты на инфраструктуру.
Ключевые преимущества Spark на GPU NVIDIA
Ускорение выполнения операций
Ускорение аналитики для ИИ
Spark 3 управляет всем конвейером: от ввода данных до обучения моделей и визуализации. Для Spark и фреймворков машинного/глубокого обучения можно использовать одну и ту же инфраструктуру, что устраняет необходимость в разных кластерах и обеспечивает ускорение на GPU для всего конвейера.
Снижение затрат на инфраструктуру
Больше возможностей с меньшими затратами: Spark на GPU NVIDIA® выполняет задачи быстрее, чем на CPU, экономя время и сокращая затраты компании на основные средства или операционные расходы при использовании облачных платформ.
Предварительный анализ
Используйте интеллектуальный инструмент оптимизации нагрузок, чтобы определить и оценить экономическую выгоду для ваших задач Apache Spark™, подходящих для ускорения на GPU. Инструмент предоставит рекомендации по оптимизированным параметрам графических процессоров для экономии средств и повышения производительности.
Инновации в Spark 3
Учитывая чрезвычайную параллельность многих задач обработки данных, вполне естественно использовать архитектуру GPU для запросов обработки данных Spark, аналогично ускорению на GPU для нагрузок глубокого обучения при работе с ИИ. Разработчик получает прозрачное ускорение на GPU и все преимущества без каких-либо изменений в коде. В Spark 3 реализованы три ключевых инновации для прозрачного ускорения на GPU:
Новый RAPIDS Accelerator для Spark 3
NVIDIA® CUDA® — это передовая архитектура параллельных вычислений, которая поддерживает ускорение вычислительных операций на GPU NVIDIA. RAPIDS — это разработанный NVIDIA набор открытых библиотек на основе CUDA, который обеспечивает GPU-ускорение для обработки данных.
Для Spark 3 NVIDIA создала RAPIDS Accelerator, который ускоряет конвейеры ETL, значительно повышая скорость выполнения операций Spark SQL и DataFrame.
Модификации компонентов Spark
Spark 3 поддерживает обработку колоночных данных в оптимизаторе запросов Catalyst, к которому подключается RAPIDS Accelerator для ускорения операторов SQL и DataFrame. Когда план запроса выполнен, эти операторы можно поставить в очередь для запуска на GPU в кластере Spark.
NVIDIA также создала в Spark новую реализацию распределения, которая оптимизирует передачу данных между процессами. Она создана на базе GPU-ускоренных библиотек коммуникации, включая UCX, RDMA и NCCL.
Планирование выполнения задач на GPU в Spark
Spark 3 распознает GPU как ресурс первого класса, наряду с CPU и системной памятью. Это позволяет Spark 3 размещать GPU-ускоренные нагрузки прямо на серверах с необходимыми ресурсами GPU, которые требуются для ускорения и выполнения задачи.
Инженеры NVIDIA внесли вклад в это улучшение Spark, обеспечив запуск приложений Spark на ресурсах GPU в Spark, кластерах YARN и Kubernetes.
В Spark 3 теперь доступен единый конвейер: от получения данных до их подготовки и тренировки моделей. Теперь операции могут использовать ускорени�� на GPU, а инфраструктура обработки данных объединена и упрощена.
Ускорение аналитики и ИИ в Spark
В Spark 3 реализован важный этап для аналитики и ИИ: операции ETL теперь получают ускорение, а GPU-ускоренные приложения глубокого и машинного обучения используют ту же инфраструктуру GPU. Ниже показан полный стек для ускоренного конвейера обработки данных.
Начало работы с GPU-ускорением в Spark
Загрузите RAPIDS Accelerator и используйте ускорение на GPU для конвейера обработки данных в Spark 3. Вы можете связаться со специалистом команды Nvidia Spark на GitHub здесь.
Скачайте брошюру бесплатно
Хотите узнать больше о важности больших данных и возможностях ИИ? Скачайте новую брошюру «Ускорение Apache Spark™ 3.x. Использование графических процессоров NVIDIA для обеспечения новой эры аналитики и ИИ», чтобы узнать больше о следующих инновациях в Apache Spark™.