开源
ai-flow:连接大数据和人工智能的框架
来源:元经纪     阅读:1107
网站管理员
发布于 2023-04-11 06:59
查看主页

概述

AI Flow 是一个开源框架,它连接了大数据和人工智能。

AIFlow 是一个基于事件的工作流编排平台,允许用户以编程方式创作和计划工作流,混合使用流式处理和 批处理任务。

数据挖掘平台在此起到数据运营的承上启下的环节,主要负责数据的挖掘分析、ETL、数据检测。

[hidecontent type="logged" desc="隐藏内容:登录后可查看"]

大多数现有的工作流编排平台(例如 Apache AirFlow、KubeFlow) 根据上游任务的状态变化调度任务执行 执行。虽然这种方法适用于有保证的批处理任务 最后,它不适用于可能运行 无限时间,无需更改状态。AIFlow旨在促进 涉及流式处理任务的工作流的编排。

例如,用户可能希望连续运行 Flink 流作业以 可组装的训练数据,并在每次 Flink 作业已经处理了过去一小时的所有上游数据。为了 使用非基于事件的工作流编排平台安排此工作流, 用户需要根据挂钟时间定期安排训练作业。如果 出现流量高峰或上游作业失败,则 Flink 作业可能不会 在 TensorFlow 之前已经处理了预期的上游数据量 作业启动。上游作业应继续等待,或快速失败,或者 处理部分数据,其中没有一个是理想的。相比之下,AIFlow 提供 用于 Flink 作业的 API,用于在每次基于事件的水印时发出事件 递增一小时,触发用户指定训练的执行 约伯,没有遭受上述问题。

了解更多关于 AIFlow 的信息 https://ai-flow.readthedocs.io

特征

一站建模 平台提供全流程建模组件支持,涉及数据源、数据探索、数据处理、机器学习、模型管理等组件;

智能分析 具备自动学习能力,降低建模分析的使用算法基础能力的门槛;

交互分析 具备拖拽组件建模,建模流程洞察、建模信息传递、信息校验能力;

通用部署 提供多种挖掘成果部署服务形式,便捷服务业务场景。

数据分析洞察 流程设计完成,点击执行,界面切入到流程监控界面,每个组件执行结束,点击组件图标,下端窗口会展示对应组件的处理洞察信息。

元信息洞察 流程设计界面进行挖掘建模时,组件具备完备的校验机制保证挖掘流程建模的稳定性,校验机制能够在配置层面校验建模逻辑的正确性。

数据校验洞察 流程设计界面进行挖掘建模时,组件具备完备的校验机制保证挖掘流程建模的稳定性,校验机制能够在配置层面校验建模逻辑的正确性。

关于 AIFlow 的文章

[/hidecontent]

 
免责声明:本文为用户发表,不代表网站立场,仅供参考,不构成引导等用途。 开源
上海:全力布局新赛道 打造数字经济、元宇宙等创新策源高地
中国健康传媒集团“大数据战略”助力药品监管
加快布局未来产业 温大元宇宙研究院揭牌
【2023年9月20日成都】2023人工智能CEO大会暨人工智能大模型西部峰会
全球算力竞争白热化,SOT是否具备突围能力?

首页

分类

定制方案

消息

我的