761      iPhone_iPad_Mac_手机_平板_苹果apple

专有网络__用户指南_E-MapReduce-阿里云

专有网络（Virtual Private Cloud，VPC）为用户创建一个隔离的网络环境，用户可以选择自有的 IP 地址范围、划分网络、配置路由表、网关等，详见专有网络产品简介；另外通过高速通道 可以实现跨地域或跨用户的 VPC 内网互通、VPC 与物理 IDC 机房互通。

创建专有网络集群

E-MapReduce 在创建集群的时候可以选择网络类型，即经典网络/专有网络，若选择专有网络，需要如下额外操作：

• 所属 VPC：选择将当前创建的 E-MapReduce 集群放在哪个 VPC 中，如果还没创建可以进入VPC 控制台进行创建，一般一个账号最多创建 2 个 VPC 网络，超过 2 个需要提工单。

• 子网（交换机）：E-MapReduce 集群内的 ECS 实例通过交换机进行通信，如果还没创建可以进入VPC 控制台进行创建，因为交换机有可用区的属性，所以在 E-MapReduce 创建集群时选定了可用区后，创建的交换机也必须属于该可用区。

• 新建安全组：如果打开，那么就需要输入新建的安全组的名字。

• 所属安全组：集群所属的安全组，经典网络的安全组不能在 VPC 中使用，VPC 的安全组只能在当前 VPC 中使用。这里只展示用户在 E-MapReduce 产品中创建的安全组。因为一些安全的原因目前尚不支持选择在 E-MapReduce 外创建的安全组。如果需要新建安全组，可以选择“新建安全组”选项，同时输入安全组的名字完成新建。

示例

不同 VPC 中的 EMR 集群通信（Hive 访问 HBase）

1. 创建集群：

   在 E-MapReduce 上面创建两个集群，Hive 集群 C1 处于 VPC1 中，HBase 集群 C2 处于 VPC2 中，两个集群都在杭州区域。

2. 配置高速通道：

   配置详见同地域下的 VPC 私网互通。

3. ssh 登录 HBase 集群，通过 HBase Shell 创建表。

hbase(main):001:0> create 'testfromHbase','cf'

1. ssh 登录 Hive

   修改 hosts，增加如下一行:

   $zk_ip emr-cluster //$zk_ip为Hbase集群的zk节点IP

   通过 Hive Shell 访问 HBase。

   hive> set hbase.zookeeper.quorum=172.16.126.111,172.16.126.112,172.16.126.113;
   hive> CREATE EXTERNAL TABLE IF NOT EXISTS testfromHive (rowkey STRING, pageviews Int, bytes STRING) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ('hbase.columns.mapping' = ':key,cf:c1,cf:c2') TBLPROPERTIES ('hbase.table.name' = 'testfromHbase');

   此时命令会卡住，然后会报 java.net.SocketTimeoutException 的异常，原因是 HBase 集群的 ECS 所在的安全组限制了相关端口的访问（E-MapReduce 创建的安全组默认只开放 22 端口）E-MapReduce，所以需要给 HBase 集群的安全组增加安全组规则开放端口给 Hive 集群，如下图所示：

   

自有 IDC 专线接入（访问 VPC 中 EMR 集群）

详见自行专线接入访问 VPC。

最后更新：2016-11-23 16:03:59

  上一篇： 引导操作__用户指南_E-MapReduce-阿里云

  下一篇： Hue 使用说明__开源组件介绍_用户指南_E-MapReduce-阿里云