閱讀761 返回首頁    go windows

專有網絡__用戶指南_E-MapReduce-阿裏雲

專有網絡（Virtual Private Cloud，VPC）為用戶創建一個隔離的網絡環境，用戶可以選擇自有的 IP 地址範圍、劃分網絡、配置路由表、網關等，詳見專有網絡產品簡介；另外通過高速通道 可以實現跨地域或跨用戶的 VPC 內網互通、VPC 與物理 IDC 機房互通。

創建專有網絡集群

E-MapReduce 在創建集群的時候可以選擇網絡類型，即經典網絡/專有網絡，若選擇專有網絡，需要如下額外操作：

  • 所屬 VPC：選擇將當前創建的 E-MapReduce 集群放在哪個 VPC 中，如果還沒創建可以進入VPC 控製台進行創建，一般一個賬號最多創建 2 個 VPC 網絡，超過 2 個需要提工單。

  • 子網（交換機）：E-MapReduce 集群內的 ECS 實例通過交換機進行通信，如果還沒創建可以進入VPC 控製台進行創建，因為交換機有可用區的屬性，所以在 E-MapReduce 創建集群時選定了可用區後，創建的交換機也必須屬於該可用區。

  • 新建安全組：如果打開，那麼就需要輸入新建的安全組的名字。

  • 所屬安全組：集群所屬的安全組，經典網絡的安全組不能在 VPC 中使用，VPC 的安全組隻能在當前 VPC 中使用。這裏隻展示用戶在 E-MapReduce 產品中創建的安全組。因為一些安全的原因目前尚不支持選擇在 E-MapReduce 外創建的安全組。如果需要新建安全組，可以選擇“新建安全組”選項，同時輸入安全組的名字完成新建。

示例

不同 VPC 中的 EMR 集群通信（Hive 訪問 HBase）

  1. 創建集群：

    在 E-MapReduce 上麵創建兩個集群，Hive 集群 C1 處於 VPC1 中，HBase 集群 C2 處於 VPC2 中，兩個集群都在杭州區域。

  2. 配置高速通道：

    配置詳見同地域下的 VPC 私網互通。

  3. ssh 登錄 HBase 集群，通過 HBase Shell 創建表。

  1. hbase(main):001:0> create 'testfromHbase','cf'

  1. ssh 登錄 Hive

    修改 hosts，增加如下一行:

    1. $zk_ip emr-cluster //$zk_ip為Hbase集群的zk節點IP

    通過 Hive Shell 訪問 HBase。

    1. hive> set hbase.zookeeper.quorum=172.16.126.111,172.16.126.112,172.16.126.113;
    2. hive> CREATE EXTERNAL TABLE IF NOT EXISTS testfromHive (rowkey STRING, pageviews Int, bytes STRING) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ('hbase.columns.mapping' = ':key,cf:c1,cf:c2') TBLPROPERTIES ('hbase.table.name' = 'testfromHbase');

    此時命令會卡住，然後會報 java.net.SocketTimeoutException 的異常，原因是 HBase 集群的 ECS 所在的安全組限製了相關端口的訪問（E-MapReduce 創建的安全組默認隻開放 22 端口）E-MapReduce，所以需要給 HBase 集群的安全組增加安全組規則開放端口給 Hive 集群，如下圖所示：

自有 IDC 專線接入（訪問 VPC 中 EMR 集群）

詳見自行專線接入訪問 VPC。

最後更新：2016-11-23 16:03:59

  上一篇：go 引導操作__用戶指南_E-MapReduce-阿裏雲
  下一篇：go Hue 使用說明__開源組件介紹_用戶指南_E-MapReduce-阿裏雲