gearpump：一个实时大数据流引擎

分类：开源时间：2023-04-01 07:37 浏览：721

概述

内容

概述

Gearpump 是一个轻量级的实时大数据流引擎。它的灵感来自Akka框架的最新进展以及改进现有流框架的愿望。

我们在 Akka actor 层次结构中对流进行建模。

[hidecontent type="logged" desc="隐藏内容：登录后可查看"]

根据初始基准，我们能够在 4 节点集群上以 8 毫秒的延迟处理每秒近 1800 万条消息（每条消息 100 字节）。

有关重现性能测试的步骤，请查看性能基准。

1). 克隆 Gearpump 存储库

  git clone https://github.com/gearpump/gearpump.git
  cd gearpump

2). 构建包

  ## Please use scala 2.12
  ## The target package path: output/target/gearpump-${version}.zip
  sbt clean +assembly +packArchiveZip

构建完成后会在output/target/文件夹下生成一个包文件gearpump-${version}.zip。

要构建 Scala 文档，请使用

   ## Will generate the scala doc under target/scala_2.xx/unidoc/
   sbt unidoc

注意： 构建需要网络连接。如果您使用企业代理，请确保在运行构建命令之前已在您的环境中设置代理。对于窗户：

set HTTP_PROXY=http://host:port
set HTTPS_PROXY= http://host:port

对于 Linux：

export HTTP_PROXY=http://host:port
export HTTPS_PROXY=http://host:port

在提交 PR 之前，您应该始终先运行样式检查：

  ## Run style check for compile, test, and integration test.
  sbt scalastyle test:scalastyle it:scalastyle

[/hidecontent]

点击排行