元经纪 - 元宇宙与人工智能领域相关产品与服务一站式采购平台

400-6166692

BigDL:用于大数据的分布式/安全的API

分类:开源 时间:2023-03-20 07:04 浏览:1015
概述
内容

概述

用于大数据的快速、分布式、安全的AI。

BigDL 使用以下库将您的数据分析和 AI 应用程序从笔记本电脑无缝扩展到云端:

  • Orca:Spark 和 Ray 上的分布式大数据和 AI(TF 和 PyTorch)管道

  • Nano:Tensorflow 和 PyTorch 程序在 XPU 上的透明加速

  • DLlib:用于深度学习的“相当于 Spark MLlib”

  • Chronos:使用 AutoML 的可扩展时间序列分析

  • Friesian:端到端推荐系统

  • PPML:保护大数据和人工智能(使用 SGX 硬件安全)

选择合适的 BigDL 库

 

安装

[hidecontent type="logged" desc="隐藏内容:登录后可查看"]

  • 要安装 BigDL,我们建议使用conda 环境:

    conda create -n my_env 
    conda activate my_env
    pip install bigdl

    要安装最新的每晚构建,请使用pip install --pre --upgrade bigdl;有关详细信息,请参阅PythonScala用户指南。

  • 要安装每个单独的库,例如 Chronos,请使用pip install bigdl-chronos;有关详细信息,请参阅文档网站。

入门

Orca

  • Orca库可跨大型集群无缝扩展您的单节点TensorFlowPyTorchOpenVINO程序(以便处理分布式大数据)。

    显示 Orca 示例

    有关详细信息,请参阅 Orca用户指南以及TensorFlowPyTorch快速入门。

  • 此外,您还可以使用 Orca 中的RayOnSpark在 Spark 集群上运行标准Ray程序。

    显示 RayOnSpark 示例

    有关详细信息,请参阅 RayOnSpark用户指南快速入门。

Nano

您可以使用Nano在笔记本电脑或服务器上透明地加速 TensorFlow 或 PyTorch 程序。通过最少的代码更改,Nano自动将现代 CPU 优化(例如,SIMD、多处理、低精度等)应用于标准 TensorFlow 和 PyTorch 代码,速度提高高达 10 倍。

显示纳米推理示例
显示 Nano 训练示例

有关详细信息,请参阅 Nano用户指南教程。

DLlib

借助DLlib ,您可以使用相同的Spark DataFramesML Pipeline API将分布式深度学习应用程序编写为标准(ScalaPython )Spark 程序。

显示 DLlib Scala 示例
显示 DLlib Python 示例

有关详细信息,请参阅 DLlib NNFramesKeras API用户指南。

Chronos

Chronos库可以轻松构建快速、准确和可扩展的时间序列分析应用程序(使用 AutoML)。

显示 Chronos 示例

有关详细信息,请参阅 Chronos用户指南快速入门。

Friesian

Friesian库可以轻松构建端到端的大规模推荐系统(包括离线特征转换和训练、近线特征和模型更新以及在线服务管道)。

有关详细信息,请参阅 Freisian自述文件。

PPML

BigDL PPML提供硬件(英特尔 SGX)保护的 可信集群环境,用于运行分布式大数据和人工智能应用程序(以安全方式在私有云或公共云上)。

有关详细信息,请参阅 PPML用户指南教程。

[/hidecontent]

 

 
微信客服
返回顶部