开源
BigDL:用于大数据的分布式/安全的API
来源:元经纪     阅读:1012
网站管理员
发布于 2023-03-20 07:04
查看主页

概述

用于大数据的快速、分布式、安全的AI。

BigDL 使用以下库将您的数据分析和 AI 应用程序从笔记本电脑无缝扩展到云端:

选择合适的 BigDL 库

 

安装

[hidecontent type="logged" desc="隐藏内容:登录后可查看"]

  • 要安装 BigDL,我们建议使用conda 环境:

    conda create -n my_env 
    conda activate my_env
    pip install bigdl

    要安装最新的每晚构建,请使用pip install --pre --upgrade bigdl;有关详细信息,请参阅PythonScala用户指南。

  • 要安装每个单独的库,例如 Chronos,请使用pip install bigdl-chronos;有关详细信息,请参阅文档网站。

入门

Orca

  • Orca库可跨大型集群无缝扩展您的单节点TensorFlowPyTorchOpenVINO程序(以便处理分布式大数据)。

    显示 Orca 示例

    有关详细信息,请参阅 Orca用户指南以及TensorFlowPyTorch快速入门。

  • 此外,您还可以使用 Orca 中的RayOnSpark在 Spark 集群上运行标准Ray程序。

    显示 RayOnSpark 示例

    有关详细信息,请参阅 RayOnSpark用户指南快速入门。

Nano

您可以使用Nano在笔记本电脑或服务器上透明地加速 TensorFlow 或 PyTorch 程序。通过最少的代码更改,Nano自动将现代 CPU 优化(例如,SIMD、多处理、低精度等)应用于标准 TensorFlow 和 PyTorch 代码,速度提高高达 10 倍。

显示纳米推理示例
显示 Nano 训练示例

有关详细信息,请参阅 Nano用户指南教程。

DLlib

借助DLlib ,您可以使用相同的Spark DataFramesML Pipeline API将分布式深度学习应用程序编写为标准(ScalaPython )Spark 程序。

显示 DLlib Scala 示例
显示 DLlib Python 示例

有关详细信息,请参阅 DLlib NNFramesKeras API用户指南。

Chronos

Chronos库可以轻松构建快速、准确和可扩展的时间序列分析应用程序(使用 AutoML)。

显示 Chronos 示例

有关详细信息,请参阅 Chronos用户指南快速入门。

Friesian

Friesian库可以轻松构建端到端的大规模推荐系统(包括离线特征转换和训练、近线特征和模型更新以及在线服务管道)。

有关详细信息,请参阅 Freisian自述文件。

PPML

BigDL PPML提供硬件(英特尔 SGX)保护的 可信集群环境,用于运行分布式大数据和人工智能应用程序(以安全方式在私有云或公共云上)。

有关详细信息,请参阅 PPML用户指南教程。

[/hidecontent]

 

 
免责声明:本文为用户发表,不代表网站立场,仅供参考,不构成引导等用途。 开源
苹果CEO库克暗示短期内不会退休 已满头白发
以创求变 培育生产力碰撞新机遇
AI开始当公务员,“铁饭碗”不“铁”只是时间问题
第二届“文创上海”创新创业大赛“文创赋能时尚消费品+”赛道决赛
想看人数破55万!新《射雕英雄传》2025大年初一上映 肖战演郭靖

首页

分类

定制方案

消息

我的