136      手机大全

什么是大数据开发套件__产品简介_大数据开发套件-阿里云

1 产品架构dfd

“大数据开发套件”是阿里云推出的大数据领域平台级产品，提供一站式大数据开发、数据权限管理、任务离线调度，等功能。底层依赖阿里云自主研发的海量数据计算引擎MaxCompute（原ODPS），提供海量任务的离线加工、分析、云数仓搭建、大数据挖掘等应用于多种场景的功能。‘开箱即用’的使用方式，让用户无需再过多关心底层集群的搭建和运维所带来的成本和繁琐。

产品架构如下图所示：

由上图可以看出，大数据开发套件底层是基于MaxCompute（原ODPS）的集成开发环境，提供海量异构数据元数据同步、离线调度、工作流配置、MR、机器学习等能力，并且与阿里云所提供的BI、数据可视化、推荐等产品能够无缝对接，为您提供更为方便的一站式平台。

2 大数据开发套件的主要特性

大数据开发套件引入全新的工作流任务设计理念，较之前版本具有如下几大特性：

1）拖拽式的工作流拖拽界面

系统数据开发模块提供丰富的可视化组件，包括SQL（ODPS SQL）、数据同步、MR（ODPSMR）、机器学习、SHELL等任务类型。相较于开源的工作流拖拽，提供更为便捷和灵活的体验与交互。

2）个性化数据收藏与管理

系统数据管理模块提供个性化的数据收藏与管理功能，您可轻松收藏所关注的数据表，同时可对数据表的生命周期、基本信息、负责人等信息进行管理，也可查看数据表存储信息、分区信息、产出信息、血缘信息等内容。

3）一键式跨项目任务发布

在同一个主账号下，提供不同项目之间的快速任务迁移和发布能力。为客户提供模拟‘开发’和‘生产’的双环境模型，以及更多的线下、线上生产模型。

4）可视化任务监控

运维中心提供可视化的任务监控管理工具，支持以DAG图的形式展示任务运行时的全局情况。异常管理便捷化，支持重跑、恢复、暂停和终止等操作。

3 开发流程

通常情况下，数据开发需经由如下开发流程来完成：

从上图可以看出，数据开发的总体流程可包括数据产生、数据收集与存储、分析与计算、数据提取、数据展现与分享。其中虚线框内的开发流程都可基于阿里云大数据平台来完成。说明如下：

1）数据产生业务系统每天会产生大量结构化的数据，这些数据都存储在业务系统所对应的数据库中，包括MySQL、Oracle、RDS等。

2）数据收集与存储若想利用MaxCompute（原ODPS）的海量数据存储与处理能力来分析这些已有的数据，首先需要将不同业务系统的数据进行同步至MaxCompute（原ODPS）上来。阿里大数据开发平台提供数据同步服务，可支持多种数据源类型，将业务系统数据按照预设调度周期的同步到MaxCompute（原ODPS）。

3）数据分析与处理随之可对MaxCompute（原ODPS）上数据进行加工（ODPS SQL、ODPS MR）、分析与挖掘（数据分析、数据挖掘）等处理，从而发现价值。

4）数据提取分析与处理后的结果数据，需同步导出至业务系统供业务人员使用其分析的价值。

5）数据展现和分享可通过报表、地理信息系统等多种展现方式来展示与分享大数据分析、处理后的成果。

最后更新：2016-12-13 15:03:35

  上一篇： 常见错误说明__附录_大数据计算服务-阿里云

  下一篇： 功能索引__产品简介_大数据开发套件-阿里云