人
已阅读
已阅读
无极4开户链接APACHE SPARK 3.0增加了对NVIDIA机器学习
作者：无极4平台 来源：无极4平台 发布时间：2020-05-16
内存大数据处理框架Apache Spark将在即将发布的3.0版本中完全加速。最重要的是，无极4开户链接如今的Spark应用无需修改就可以利用GPU加速;现有的Spark api都是按原样工作的。
GPU加速组件由英伟达提供，旨在补充Spark应用程序的所有阶段，包括ETL操作、机器学习培训和推理服务。
英伟达的Spark贡献利用了gpu加速的数据科学图书馆RAPIDS套件。RAPIDS的许多内部数据结构，比如dataframes，都是对Spark的补充，但是让Spark原生地使用RAPIDS已经花费了将近4年的时间。
Spark 3.0加速不仅仅来自GPU加速。Spark 3.0还通过最小化进出gpu的数据移动来获得性能收益。当数据确实需要跨集群移动时，统一通信X框架会以最小的开销将数据直接从一个GPU内存块传输到另一个GPU内存块。
据英伟达称，无极4开户体验在Databricks平台上运行的Spark 3.0预览版在使用GPU加速时，性能提高了7倍，但工作负载及其数据集的详细信息尚不清楚。
Spark 3.0的一般可用性还没有确定的日期。您可以从Apache Spark项目网站下载预览版本。
