动机

当前开发基于 ML 的应用程序的经验需要数据工程师、数据科学家、业务分析师团队以及大量高级语言和编程工具，如 Python、SQL、SAS、SASS、Julia、R。工具和开发的碎片化环境给模型训练/调整带来了额外的工程困难。如果我们将使用最广泛的数据管理/处理语言 SQL 与 ML/系统功能结合起来，让具有 SQL 技能的工程师开发基于 ML 的高级应用程序，会怎样？

该行业已经有一些工作正在进行中。我们可以使用诸如 之类的运算符在 SQL 中编写简单的机器学习预测（或评分）算法DOT_PRODUCT。但是，这需要将训练程序中的模型参数复制粘贴到 SQL 语句中。在商业世界中，我们看到一些专有的 SQL 引擎提供扩展以支持机器学习功能。

• Microsoft SQL Server：Microsoft SQL Server 具有机器学习服务，可以将 R 或 Python 中的机器学习程序作为外部脚本运行。
• Teradata SQL for DL：Teradata 还提供 RESTful 服务，可从扩展的 SQL SELECT 语法中调用。
• Google BigQuery：Google BigQuery 通过引入CREATE MODEL语句在 SQL 中启用机器学习。

现有的解决方案都没有解决我们的痛点，相反我们希望它是完全可扩展的。

1. 此解决方案应该与许多 SQL 引擎兼容，而不是特定版本或类型。
2. 它应该支持复杂的机器学习模型，包括用于深度学习的 TensorFlow 和用于树的XGBoost 。
3. 我们还希望能够灵活地配置和运行尖端的 ML 算法，包括指定特征交叉，至少，SQL 语句中没有嵌入 Python 或 R 代码，并与超参数估计完全集成。

4. 快速概览

   以下是使用示例数据 Iris.train 训练 TensorFlow DNNClassifier模型以及使用训练后的模型运行预测的示例。您可以看到使用 SQL 编写一些优雅的 ML 代码是多么酷：

   sqlflow> SELECT *
   FROM iris.train
   TO TRAIN DNNClassifier
   WITH model.n_classes = 3, model.hidden_units = [10, 20]
   COLUMN sepal_length, sepal_width, petal_length, petal_width
   LABEL class
   INTO sqlflow_models.my_dnn_model;
   
   ...
   Training set accuracy: 0.96721
   Done training

   sqlflow> SELECT *
   FROM iris.test
   TO PREDICT iris.predict.class
   USING sqlflow_models.my_dnn_model;
   
   ...
   Done predicting. Predict table : iris.predict

   如何使用SQLFlow

   • 快速开始
   • 语言指南
   • 互动范例
     • Iris 数据集上的 DNN 分类示例
     • 欺诈检测的 DNN 分类示例
     • 使用 XGBoost 预测房价
     • 房价预测说明
     • 数学优化指南