閱讀73 返回首頁    go 技術社區[雲棲]


Netty 5用戶指南(一)

前言

問題

現如今我們使用通用的應用程序或者類庫來實現係統之間地互相訪問,比如我們經常使用一個HTTP客戶端來從web服務器上獲取信息,或者通過web service來執行一個遠程的調用。

然而,有時候一個通用的協議和他的實現並沒有覆蓋一些場景。比如我們無法使用一個通用的HTTP服務器來處理大文件、電子郵件、近實時消息比如財務信息和多人遊戲數據。我們需要一個合適的協議來處理一些特殊的場景。例如你可以實現一個優化的Ajax的聊天應用、媒體流傳輸或者是大文件傳輸的HTTP服務器,你甚至可以自己設計和實現一個新的協議來準確地實現你的需求。

另外不可避免的事情是你不得不處理這些私有協議來確保和原有係統的互通。這個例子將會展示如何快速實現一個不影響應用程序穩定性和性能的協議。

解決方案

Netty是一個提供異步事件驅動的網絡應用框架,用以快速開發高性能、高可靠性的網絡服務器和客戶端程序。

換句話說,Netty是一個NIO框架,使用它可以簡單快速地開發網絡應用程序,比如客戶端和服務端的協議。Netty大大簡化了網絡程序的開發過程比如TCP和UDP的 Socket的開發。

“快速和簡單”並不意味著應用程序會有難維護和性能低的問題,Netty是一個精心設計的框架,它從許多協議的實現中吸收了很多的經驗比如FTP、SMTP、HTTP、許多二進製和基於文本的傳統協議,Netty在不降低開發效率、性能、穩定性、靈活性情況下,成功地找到了解決方案。

有一些用戶可能已經發現其他的一些網絡框架也聲稱自己有同樣的優勢,所以你可能會問是Netty和它們的不同之處。答案就是Netty的哲學設計理念。Netty從第一天開始就為用戶提供了用戶體驗最好的API以及實現設計。正是因為Netty的設計理念,才讓我們得以輕鬆地閱讀本指南並使用Netty。

入門指南

這個章節會介紹Netty核心的結構,並通過一些簡單的例子來幫助你快速入門。當你讀完本章節你馬上就可以用Netty寫出一個客戶端和服務端。

如果你在學習的時候喜歡“自頂向下(top-down)”的方法,那你可能需要要從第二章《架構概述》開始,然後再回到這裏。

開始之前

運行本章節中的兩個例子最低要求是:Netty的最新版本(Netty5)和JDK1.6及以上。最新的Netty版本在項目下載頁麵可以找到。為了下載到正確的JDK版本,請到你喜歡的網站下載。

閱讀本章節過程中,你可能會對相關類有疑惑,關於這些類的詳細的信息請請參考API說明文檔。為了方便,所有文檔中涉及到的類名字都會被關聯到一個在線的API說明。當然如果有任何錯誤信息、語法錯誤或者你有任何好的建議來改進文檔說明,那麼請聯係Netty社區

DISCARD服務(丟棄服務,指的是會忽略所有接收的數據的一種協議)

世界上最簡單的協議不是”Hello,World!”,是DISCARD,他是一種丟棄了所有接受到的數據,並不做有任何的響應的協議。

為了實現DISCARD協議,你唯一需要做的就是忽略所有收到的數據。讓我們從處理器的實現開始,處理器是由Netty生成用來處理I/O事件的。

package io.netty.example.discard;

import io.netty.buffer.ByteBuf;

import io.netty.channel.ChannelHandlerContext;
import io.netty.channel.ChannelHandlerAdapter;

/**
 * Handles a server-side channel.
 */
public class DiscardServerHandler extends ChannelHandlerAdapter { // (1)

    @Override
    public void channelRead(ChannelHandlerContext ctx, Object msg) { // (2)
        // Discard the received data silently.
        ((ByteBuf) msg).release(); // (3)
    }

    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) { // (4)
        // Close the connection when an exception is raised.
        cause.printStackTrace();
        ctx.close();
    }
}
  1. DisCardServerHandler 繼承自 ChannelHandlerAdapter,這個類實現了ChannelHandler接口,ChannelHandler提供了許多事件處理的接口方法,然後你可以覆蓋這些方法。現在僅僅隻需要繼承ChannelHandlerAdapter類而不是你自己去實現接口方法。
  2. 這裏我們覆蓋了chanelRead()事件處理方法。每當從客戶端收到新的數據時,這個方法會在收到消息時被調用,這個例子中,收到的消息的類型是ByteBuf
  3. 為了實現DISCARD協議,處理器不得不忽略所有接受到的消息。ByteBuf是一個引用計數對象,這個對象必須顯示地調用release()方法來釋放。請記住處理器的職責是釋放所有傳遞到處理器的引用計數對象。通常,channelRead()方法的實現就像下麵的這段代碼:
     @Override
    public void channelRead(ChannelHandlerContext ctx, Object msg) {
        try {
            // Do something with msg
        } finally {
            ReferenceCountUtil.release(msg);
        }
    }
    
  4. exceptionCaught()事件處理方法是當出現Throwable對象才會被調用,即當Netty由於IO錯誤或者處理器在處理事件時拋出的異常時。在大部分情況下,捕獲的異常應該被記錄下來並且把關聯的channel給關閉掉。然而這個方法的處理方式會在遇到不同異常的情況下有不同的實現,比如你可能想在關閉連接之前發送一個錯誤碼的響應消息。

到目前為止一切都還比較順利,我們已經實現了DISCARD服務的一半功能,剩下的需要編寫一個main()方法來啟動服務端的DiscardServerHandler。

package io.netty.example.discard;

import io.netty.bootstrap.ServerBootstrap;

import io.netty.channel.ChannelFuture;
import io.netty.channel.ChannelInitializer;
import io.netty.channel.ChannelOption;
import io.netty.channel.EventLoopGroup;
import io.netty.channel.nio.NioEventLoopGroup;
import io.netty.channel.socket.SocketChannel;
import io.netty.channel.socket.nio.NioServerSocketChannel;

/**
 * Discards any incoming data.
 */
public class DiscardServer {

    private int port;

    public DiscardServer(int port) {
        this.port = port;
    }

    public void run() throws Exception {
        EventLoopGroup bossGroup = new NioEventLoopGroup(); // (1)
        EventLoopGroup workerGroup = new NioEventLoopGroup();
        try {
            ServerBootstrap b = new ServerBootstrap(); // (2)
            b.group(bossGroup, workerGroup)
             .channel(NioServerSocketChannel.class) // (3)
             .childHandler(new ChannelInitializer<SocketChannel>() { // (4)
                 @Override
                 public void initChannel(SocketChannel ch) throws Exception {
                     ch.pipeline().addLast(new DiscardServerHandler());
                 }
             })
             .option(ChannelOption.SO_BACKLOG, 128)          // (5)
             .childOption(ChannelOption.SO_KEEPALIVE, true); // (6)

            // Bind and start to accept incoming connections.
            ChannelFuture f = b.bind(port).sync(); // (7)

            // Wait until the server socket is closed.
            // In this example, this does not happen, but you can do that to gracefully
            // shut down your server.
            f.channel().closeFuture().sync();
        } finally {
            workerGroup.shutdownGracefully();
            bossGroup.shutdownGracefully();
        }
    }

    public static void main(String[] args) throws Exception {
        int port;
        if (args.length > 0) {
            port = Integer.parseInt(args[0]);
        } else {
            port = 8080;
        }
        new DiscardServer(port).run();
    }
}
  1. NioEventLoopGroup 是用來處理I/O操作的多線程事件循環器,Netty提供了許多不同的EventLoopGroup的實現用來處理不同傳輸協議。在這個例子中我們實現了一個服務端的應用,因此會有2個NioEventLoopGroup會被使用。第一個經常被叫做‘boss’,用來接收進來的連接。第二個經常被叫做‘worker’,用來處理已經被接收的連接,一旦‘boss’接收到連接,就會把連接信息注冊到‘worker’上。如何知道多少個線程已經被使用,如何映射到已經創建的Channels上都需要依賴於EventLoopGroup的實現,並且可以通過構造函數來配置他們的關係。
  2. ServerBootstrap 是一個啟動NIO服務的輔助啟動類。你可以在這個服務中直接使用Channel,但是這會是一個複雜的處理過程,在很多情況下你並不需要這樣做。
  3. 這裏我們指定使用NioServerSocketChannel類來舉例說明一個新的Channel如何接收進來的連接。
  4. 這裏的事件處理類經常會被用來處理一個最近的已經接收的ChannelChannelInitializer是一個特殊的處理類,他的目的是幫助使用者配置一個新的Channel。也許你想通過增加一些處理類比如DiscardServerHandle來配置一個新的Channel或者其對應的ChannelPipeline來實現你的網絡程序。當你的程序變的複雜時,可能你會增加更多的處理類到pipline上,然後提取這些匿名類到最頂層的類上。
  5. 你可以設置這裏指定的通道實現的配置參數。我們正在寫一個TCP/IP的服務端,因此我們被允許設置socket的參數選項比如tcpNoDelay和keepAlive。請參考ChannelOption和詳細的ChannelConfig實現的接口文檔以此可以對ChannelOptions的有一個大概的認識。
  6. 你關注過option()和childOption()嗎?option()是提供給NioServerSocketChannel用來接收進來的連接。childOption()是提供給由父管道ServerChannel接收到的連接,在這個例子中也是NioServerSocketChannel
  7. 我們繼續,剩下的就是綁定端口然後啟動服務。這裏我們在機器上綁定了機器所有網卡上的8080端口。當然現在你可以多次調用bind()方法(基於不同綁定地址)。

恭喜!你已經完成熟練地完成了第一個基於Netty的服務端程序。

觀察接收到的數據

現在我們已經編寫出我們第一個服務端,我們需要測試一下他是否真的可以運行。最簡單的測試方法是用telnet 命令。例如,你可以在命令行上輸入telnet localhost 8080或者其他類型參數。

然而我們能說這個服務端是正常運行了嗎?事實上我們也不知道因為他是一個discard服務,你根本不可能得到任何的響應。為了證明他仍然是在工作的,讓我們修改服務端的程序來打印出他到底接收到了什麼。

我們已經知道channelRead()方法是在數據被接收的時候調用。讓我們放一些代碼到DiscardServerHandler類的channelRead()方法。

@Override
public void channelRead(ChannelHandlerContext ctx, Object msg) {
    ByteBuf in = (ByteBuf) msg;
    try {
        while (in.isReadable()) { // (1)
            System.out.print((char) in.readByte());
            System.out.flush();
        }
    } finally {
        ReferenceCountUtil.release(msg); // (2)
    }
}
  1. 這個低效的循環事實上可以簡化為:System.out.println(in.toString(io.netty.util.CharsetUtil.US_ASCII))
  2. 或者,你可以在這裏調用in.release()。

如果你再次運行telnet命令,你將會看到服務端打印出了他所接收到的消息。
完整的discard server代碼放在了io.netty.example.discard包下麵。

ECHO服務(響應式協議)

到目前為止,我們雖然接收到了數據,但沒有做任何的響應。然而一個服務端通常會對一個請求作出響應。讓我們學習怎樣在ECHO協議的實現下編寫一個響應消息給客戶端,這個協議針對任何接收的數據都會返回一個響應。

和discard server唯一不同的是把在此之前我們實現的channelRead()方法,返回所有的數據替代打印接收數據到控製台上的邏輯。因此,需要把channelRead()方法修改如下:

@Override
public void channelRead(ChannelHandlerContext ctx, Object msg) {
    ctx.write(msg); // (1)
    ctx.flush(); // (2)
}

1. ChannelHandlerContext對象提供了許多操作,使你能夠觸發各種各樣的I/O事件和操作。這裏我們調用了write(Object)方法來逐字地把接受到的消息寫入。請注意不同於DISCARD的例子我們並沒有釋放接受到的消息,這是因為當寫入的時候Netty已經幫我們釋放了。
2. ctx.write(Object)方法不會使消息寫入到通道上,他被緩衝在了內部,你需要調用ctx.flush()方法來把緩衝區中數據強行輸出。或者你可以用更簡潔的cxt.writeAndFlush(msg)以達到同樣的目的。

如果你再一次運行telnet命令,你會看到服務端會發回一個你已經發送的消息。
完整的echo服務的代碼放在了io.netty.example.echo包下麵。

TIME服務(時間協議的服務)

在這個部分被實現的協議是TIME協議。和之前的例子不同的是在不接受任何請求時他會發送一個含32位的整數的消息,並且一旦消息發送就會立即關閉連接。在這個例子中,你會學習到如何構建和發送一個消息,然後在完成時主動關閉連接。

因為我們將會忽略任何接收到的數據,而隻是在連接被創建發送一個消息,所以這次我們不能使用channelRead()方法了,代替他的是,我們需要覆蓋channelActive()方法,下麵的就是實現的內容:

package io.netty.example.time;

public class TimeServerHandler extends ChannelHandlerAdapter {

    @Override
    public void channelActive(final ChannelHandlerContext ctx) { // (1)
        final ByteBuf time = ctx.alloc().buffer(4); // (2)
        time.writeInt((int) (System.currentTimeMillis() / 1000L + 2208988800L));

        final ChannelFuture f = ctx.writeAndFlush(time); // (3)
        f.addListener(new ChannelFutureListener() {
            @Override
            public void operationComplete(ChannelFuture future) {
                assert f == future;
                ctx.close();
            }
        }); // (4)
    }

    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) {
        cause.printStackTrace();
        ctx.close();
    }
}
  1. channelActive()方法將會在連接被建立並且準備進行通信時被調用。因此讓我們在這個方法裏完成一個代表當前時間的32位整數消息的構建工作。
  2. 為了發送一個新的消息,我們需要分配一個包含這個消息的新的緩衝。因為我們需要寫入一個32位的整數,因此我們需要一個至少有4個字節的ByteBuf。通過ChannelHandlerContext.alloc()得到一個當前的ByteBufAllocator,然後分配一個新的緩衝。
  3. 和往常一樣我們需要編寫一個構建好的消息。但是等一等,flip在哪?難道我們使用NIO發送消息時不是調用java.nio.ByteBuffer.flip()嗎?ByteBuf之所以沒有這個方法因為有兩個指針,一個對應讀操作一個對應寫操作。當你向ByteBuf裏寫入數據的時候寫指針的索引就會增加,同時讀指針的索引沒有變化。讀指針索引和寫指針索引分別代表了消息的開始和結束。比較起來,NIO緩衝並沒有提供一種簡潔的方式來計算出消息內容的開始和結尾,除非你調用flip方法。當你忘記調用flip方法而引起沒有數據或者錯誤數據被發送時,你會陷入困境。這樣的一個錯誤不會發生在Netty上,因為我們對於不同的操作類型有不同的指針。你會發現這樣的使用方法會讓你過程變得更加的容易,因為你已經習慣一種沒有使用flip的方式。另外一個點需要注意的是ChannelHandlerContext.write()(和writeAndFlush())方法會返回一個ChannelFuture對象,一個ChannelFuture代表了一個還沒有發生的I/O操作。這意味著任何一個請求操作都不會馬上被執行,因為在Netty裏所有的操作都是異步的。舉個例子下麵的代碼中在消息被發送之前可能會先關閉連接。
    Channel ch = ...;
    ch.writeAndFlush(message);
    ch.close();
    

    因此你需要在write()方法返回的ChannelFuture完成後調用close()方法,然後當他的寫操作已經完成他會通知他的監聽者。請注意,close()方法也可能不會立馬關閉,他也會返回一個ChannelFuture

  4. 當一個寫請求已經完成是如何通知到我們?這個隻需要簡單地在返回的ChannelFuture上增加一個ChannelFutureListener。這裏我們構建了一個匿名的ChannelFutureListener類用來在操作完成時關閉Channel。或者,你可以使用簡單的預定義監聽器代碼:
    f.addListener(ChannelFutureListener.CLOSE);
    

為了測試我們的time服務如我們期望的一樣工作,你可以使用UNIX的rdate命令

    $ rdate -o <port> -p <host>

Port是你在main()函數中指定的端口,host使用locahost就可以了。

最後更新:2017-05-23 18:02:23

  上一篇:go  Alphago再下一城,人機大戰能告訴我們什麼?
  下一篇:go  並發編程 Promise, Future 和 Callback