閱讀533 返回首頁    go 魔獸

管道傳輸__最佳實踐_雲數據庫 Redis 版-阿裏雲

管道傳輸（pipeline）

場景介紹

ApsaraDB for Redis 提供了與 Redis 相同的管道傳輸（pipeline）機製。管道（pipeline）將客戶端 client 與服務器端的交互明確劃分為單向的發送請求（Send Request）和接收響應（Receive Response）：用戶可以將多個操作連續發給服務器，但在此期間服務器端並不對每個操作命令發送響應數據；全部請求發送完畢後用戶關閉請求，開始接收響應獲取每個操作命令的響應結果。

管道（pipeline）在某些場景下非常有用，比如有多個操作命令需要被迅速提交至服務器端，但用戶並不依賴每個操作返回的響應結果，對結果響應也無需立即獲得，那麼管道就可以用來作為優化性能的批處理工具。性能提升的原因主要是減少了 TCP 連接中交互往返的開銷。

不過在程序中使用管道請注意，使用 pipeline 時客戶端將獨占與服務器端的連接，此期間將不能進行其他“非管道”類型操作，直至 pipeline 被關閉；如果要同時執行其他操作，可以為 pipeline 操作單獨建立一個連接，將其與常規操作分離開來。

代碼示例1

性能對比

  1. package pipeline.kvstore.aliyun.com;
  3. import java.util.Date;
  5. import redis.clients.jedis.Jedis;
  6. import redis.clients.jedis.Pipeline;
  8. public class RedisPipelinePerformanceTest {
  11.         static final String host = "xxxxxx.m.cnhza.kvstore.aliyuncs.com";
  12.         static final int port = 6379;
  13.         static final String password = "password";
  15.         public static void main(String[] args) {
  17.             Jedis jedis = new Jedis(host, port);
  20.                 //ApsaraDB for Redis的實例ID及密碼
  21.                 String authString = jedis.auth(password);// password
  23.                 if (!authString.equals("OK")) {
  24.                     System.err.println("AUTH Failed: " + authString);
  25.                     jedis.close();
  26.                     return;
  27.                 }
  29.                 //連續執行多次命令操作
  30.                 final int COUNT=5000;
  32.                 String key = "KVStore-Tanghan";
  34.                 // 1 ---不使用pipeline操作---
  36.                 jedis.del(key);//初始化key
  38.                 Date ts1 = new Date();
  39.                 for (int i = 0; i < COUNT; i++) {
  40.                     //發送一個請求，並接收一個響應（Send Request and  Receive Response）
  41.                     jedis.incr(key);
  43.                 }
  44.                 Date ts2 = new Date();
  46.                 System.out.println("不用Pipeline > value為:"+jedis.get(key)+" > 操作用時：" + (ts2.getTime() - ts1.getTime())+ "ms");
  49.                 //2 ----對比使用pipeline操作---
  51.                 jedis.del(key);//初始化key
  53.                 Pipeline p1 = jedis.pipelined();
  55.                 Date ts3 = new Date();
  56.                 for (int i = 0; i < COUNT; i++) {
  57.                     //發出請求 Send Request 
  58.                     p1.incr(key);
  59.                 }
  61.                 //接收響應 Receive Response
  62.                 p1.sync();
  64.                 Date ts4 = new Date();
  66.                 System.out.println("使用Pipeline > value為:"+jedis.get(key)+" > 操作用時：" + (ts4.getTime() - ts3.getTime())+ "ms");
  68.                 jedis.close();
  70.         }
  72.     }

運行結果1

在輸入了正確的 ApsaraDB for Redis 實例訪問地址和密碼之後，運行以上 Java 程序，輸出結果如下。從中可以看出使用 pipeline 的性能要快的多。

  1. 不用Pipeline > value為:5000 > 操作用時：5844ms
  2. 使用Pipeline > value為:5000 > 操作用時：78ms

代碼示例2

在 Jedis 中使用管道（pipeline）時，對於響應數據（response）的處理有兩種方式，請參考以下代碼示例。

  1. package pipeline.kvstore.aliyun.com;
  3. import java.util.List;
  4. import redis.clients.jedis.Jedis;
  5. import redis.clients.jedis.Pipeline;
  6. import redis.clients.jedis.Response;
  8.     public class PipelineClientTest {
  10.         static final String host = "xxxxxxxx.m.cnhza.kvstore.aliyuncs.com";
  11.         static final int port = 6379;
  12.         static final String password = "password";
  14.         public static void main(String[] args) {
  16.             Jedis jedis = new Jedis(host, port);
  19.                 // ApsaraDB for Redis的實例ID及密碼
  20.                 String authString = jedis.auth(password);// password
  22.                 if (!authString.equals("OK")) {
  23.                     System.err.println("AUTH Failed: " + authString);
  24.                     jedis.close();
  25.                     return;
  26.                 }
  28.                 String key = "KVStore-Test1";
  30.                 jedis.del(key);//初始化
  32.                 // -------- 方法1
  33.                 Pipeline p1 = jedis.pipelined();
  35.                 System.out.println("-----方法1-----");
  37.                 for (int i = 0; i < 5; i++) {
  38.                     p1.incr(key);
  39.                     System.out.println("Pipeline發送請求");
  40.                 }
  43.                 // 發送請求完成，開始接收響應
  44.                 System.out.println("發送請求完成，開始接收響應");
  45.                 List<Object> responses = p1.syncAndReturnAll();
  47.                 if (responses == null || responses.isEmpty()) {
  48.                     jedis.close();
  49.                     throw new RuntimeException("Pipeline error: 沒有接收到響應");
  50.                 }
  51.                 for (Object resp : responses) {
  52.                     System.out.println("Pipeline接收響應Response: " + resp.toString());
  53.                 }
  54.                 System.out.println();
  56.                 //-------- 方法2
  57.                 System.out.println("-----方法2-----");
  59.                 jedis.del(key);//初始化
  61.                 Pipeline p2 = jedis.pipelined();  
  63.                 //需要先聲明Response
  64.                 Response<Long> r1 = p2.incr(key); 
  65.                 System.out.println("Pipeline發送請求");
  67.                 Response<Long> r2 = p2.incr(key);
  68.                 System.out.println("Pipeline發送請求");
  70.                 Response<Long> r3 = p2.incr(key);
  71.                 System.out.println("Pipeline發送請求");
  73.                 Response<Long> r4 = p2.incr(key);  
  74.                 System.out.println("Pipeline發送請求");
  76.                 Response<Long> r5 = p2.incr(key);
  77.                 System.out.println("Pipeline發送請求");
  79.                 try{  
  80.                     r1.get();  //此時還未開始接收響應，所以此操作會出錯
  81.                 }catch(Exception e){  
  82.                     System.out.println(" <<< Pipeline error：還未開始接收響應  >>> ");  
  83.                 }  
  86.              // 發送請求完成，開始接收響應
  87.                 System.out.println("發送請求完成，開始接收響應");
  88.                 p2.sync();  
  90.                 System.out.println("Pipeline接收響應Response: " + r1.get());  
  91.                 System.out.println("Pipeline接收響應Response: " + r2.get());  
  92.                 System.out.println("Pipeline接收響應Response: " + r3.get());
  93.                 System.out.println("Pipeline接收響應Response: " + r4.get());
  94.                 System.out.println("Pipeline接收響應Response: " + r5.get());
  96.                 jedis.close();
  97.             }
  99.     }

運行結果2

在輸入了正確的 ApsaraDB for Redis 實例訪問地址和密碼之後，運行以上 Java 程序，輸出結果如下:

  1. -----方法1-----
  2. Pipeline發送請求
  3. Pipeline發送請求
  4. Pipeline發送請求
  5. Pipeline發送請求
  6. Pipeline發送請求
  7. 發送請求完成，開始接收響應
  8. Pipeline接收響應Response: 1
  9. Pipeline接收響應Response: 2
  10. Pipeline接收響應Response: 3
  11. Pipeline接收響應Response: 4
  12. Pipeline接收響應Response: 5
  14. -----方法2-----
  15. Pipeline發送請求
  16. Pipeline發送請求
  17. Pipeline發送請求
  18. Pipeline發送請求
  19. Pipeline發送請求
  20.  <<< Pipeline error：還未開始接收響應  >>> 
  21. 發送請求完成，開始接收響應
  22. Pipeline接收響應Response: 1
  23. Pipeline接收響應Response: 2
  24. Pipeline接收響應Response: 3
  25. Pipeline接收響應Response: 4
  26. Pipeline接收響應Response: 5

最後更新：2016-12-16 17:25:21

  上一篇：go 消息發布與訂閱__最佳實踐_雲數據庫 Redis 版-阿裏雲
  下一篇：go 事務處理__最佳實踐_雲數據庫 Redis 版-阿裏雲