DAVINCI DM6446 開發攻略——V4L2視頻驅動和應用分析

 

第一節 DAVINCI視頻處理硬件

        有關DM6446 DAVINCI視頻處理技術，有兩個文檔：VPFE sprue38ec.pdf和VPBE sprue37c.pdf，必須要看看的。下圖是DAVINCI視頻處理技術的框圖，VPSS（視頻處理子係統）包含VPFE和VPBE，VPFE負責前端視頻采集和處理，而VPBE負責後端視頻輸出，通過OSD和VECN直接輸出到DACS（數字轉模擬輸出口，一共4個通道DAC，通過外圍視頻編碼芯片轉換成複合視頻CVBS輸出到普通電視機）或者直接輸出到LCD（DM6446支持RGB24位信號輸出到數字LCD屏，4.3寸，7寸屏等）。

 

從圖-1可以看出，VPFE係統可以接CCD或者CMOS sensor，同時也可以接視頻解碼芯片，目前Montavista Linux-2.6.18驅動給出的TI EVM驅動支持MT9T001 CMOS芯片和TVP5146視頻解碼芯片，VPFE采用RAW模式控製MT9T001 CMOS芯片，數碼相機產品基本是這種應用方式，而VPFE采用BT601或BT656的方式控製TVP5146視頻解碼芯片，很多做安防、機器視覺等的方案都是這種模式，因為這種方式最普通，視頻前端買個普通的CCD攝像機，接條視頻線和電源，就可以用通過類似TVP5146的芯片采集到圖像了，本人也著重介紹這種情況。而圖-1裏邊的Resizer（圖像縮放1/4x~4x）、Preview（預覽器）、H3A（硬件自動白平衡、自動對焦、自動曝光）、Histogram（直方圖）是對采集到的視頻進行處理，一般常用到的是Resizer，不需要占用ARM和DSP的資源，對采集到的YUV422數據進行處理，然後才提交給H264等算法進行壓縮，這一點可以在dvsdk_2_00_00_22\dvsdk_demos_2_00_00_07\dm6446裏邊的例子體現到。

VPBE係統可以對處理後的視頻（VIDEO）數據或圖像(IMAGE)進行處理和輸出，一般用戶可以通過OSD功能疊加自己的LOGO、字符、時間、坐標、框圖等信息，然後通過VENC模塊輸出到DAC或者LCD接口。

VPFE和VPBE所有的數據交換都是在DDR上處理，VPFE采集的視頻數據，比如YUV422格式（U0Y0V0Y1）都有指定的DDR地址，而VPBE也有另外指定的DDR地址。

 

第二節   V4L2采集驅動

 

對應上麵的硬件處理過程，軟件工程師最關心的是如何配置VPFE和VPBE的寄存器，如何實現DDR的視頻數據視頻緩衝處理，在LINUX內核裏如何實現DMA處理。Montavista 的Linux-2.6.18 V4L2驅動源碼已經幫客戶實現VPFE和VPBE的處理，他們的源碼目錄是linux-2.6.18_pro500\drivers\media\video\和linux-2.6.18_pro500\drivers\media\video\davinci目錄。對於LINUX驅動工程師，首先先按以下三個圖配置Montavista linux-2.6.18_pro500的內核，讓linux-2.6.18_pro500支持V4L2。

 

圖-2 配置Multimedia devices

    按圖-2選擇Video For Linux，然後進入“Video Capture Adapters”，按圖-3配置DAVINCI視頻采集選項，

 

圖-3 配置采集選項

 

    同在一個配置界麵，選擇和進入“Encoders and Decoders”，配置VPBE實現視頻輸出處理。

 

圖-4 配置VPBE DISPLAY選項

 

然後再去到驅動driver文件夾找到相關文件。

VPFE采集涉及到下麵幾個文件：

        ccdc_davinci.c（主要工作把重點放在ccdc_config_ycbcr（）函數上，主要是配置是否采用BT656或BT601，采集視頻的數據格式等）

       tvp5146.c（這個就是你板子外圍視頻采集芯片驅動，一般是I2C訪問，有些朋友的項目可以是TVP5150，我們開發板的是TVP5158，還可以是Techwell的芯片和nextchip的芯片參考TVP5146的驅動，把自己的項目芯片驅動移植過來就OK了）

       davinci_vpfe.c（這就是和應用程序打交道的內核程序，和v4l2配合使用，供應用層調用）

VPBE輸出涉及到：

      davinci_display.c

      davinci_enc_mngr.c

      davinci_osd.c

      davinci_platform.c

      vpbe_encoder.c

V4L2驅動：

在linux-2.6.18_pro500\drivers\media\video目錄裏，

     v4l2-common.c

     video-buf.c

     videodev.c

這些函數比較複雜，V4L2必須和davinci_vpfe.c、vpbe_encoder.c配合，借助davinci_vpfe.c提供的接口函數，LINUX應用程序才能控製TVP5156和CCDC采集；V4L2負責對采集到的視頻數據進行管理，包括DMA和緩衝處理，Montavista已經幫客戶搞定這些，我們需要的做的就是學習人家是如何實現這些處理的。本公司的開發板采用的是TVP5158芯片，見，https://zjbintsystem.blog.51cto.com/964211/392221。移植修改基本上是上麵的幾個VPFE采集源文件。至於我們板子上的美光MT9M112、MT9D112等類似CMOS芯片的控製，基本也是修改上麵的幾個VPFE采集源文件。

 

第三節   V4L2例子源碼分析

 

        在dvsdk_2_00_00_22\PSP_02_00_00_140\examples\dm644x\v4l2裏，有V4L2應用的例子，裏邊有v4l2_mmap_loopback.c和v4l2_userptr_loopback.c，我們主要分析v4l2_mmap_loopback.c。很多網友介紹LINUX V4L2視頻原理都是從本節開始的，以TVP5146采集芯片為例。

1、Makefile修改

下麵的Makefile的內容也適合於其他LINUX應用程序，

# Makefile for v4l2 application

CROSSCOMPILE = arm_v5t_le-

CC=$(CROSSCOMPILE)gcc

LD=$(CROSSCOMPILE)ld

OBJCOPY=$(CROSSCOMPILE)objcopy

OBJDUMP=$(CROSSCOMPILE)objdump

INCLUDE = /home/davinci/dm6446/ty-dm6446-1000/linux-2.6.18_pro500/include

（本人把產品級的linux-2.6.18_pro500放到上麵的目錄，ty-dm6446-1000是本人公司深圳桐燁科技的一個DM6446產品）

all: tvp5146_v4l2_mmap

 

tvp5146_v4l2_mmap: v4l2_mmap_loopback.c

（自動COPY到NFS進行調試）

 

%.o:%.c

 

clean:

2、下麵通過分析v4l2_mmap_loopback.c的源碼，從應用層的角度討論V4L2的原理：

 

#include <stdio.h>

#include <fcntl.h>

#include <string.h>

#include <getopt.h>

#include <stdlib.h>

。。。。。。。。。。。。。。。。。。。。。。。。。。

#include <fcntl.h>

#include <time.h>

/*以上指向你安裝的linux主機/usr/include*/

#include <linux/fb.h>/*指向Montavista linux-2.6.18\include\linux*/

#include <asm/types.h>/*指向linux-2.6.18\include\asm-arm*/

 

/* Kernel header file, prefix path comes from makefile */

#include <media/davinci/davinci_vpfe.h>/*指向linux-2.6.18 \include\media\davinci*/

#include <video/davincifb_ioctl.h>/*指向linux-2.6.18 \include\video*/

#include <linux/videodev.h>

#include <linux/videodev2.h>

#include <media/davinci/davinci_display.h>

#include <media/davinci/ccdc_davinci.h>

 

/*   LOCAL DEFINES*/

#define CAPTURE_DEVICE      "/dev/video0" 文件係統中采集驅動用到的設備節點

 

#define WIDTH_NTSC         720

#define HEIGHT_NTSC              480   視頻NTSC製式

#define WIDTH_PAL            720

#define HEIGHT_PAL          576   視頻PAL支持

 

#define MIN_BUFFERS       2    采集時存放YUV視頻數據的緩衝數，做到乒乓BUFFER，

 

#define UYVY_BLACK       0x10801080無圖像的YUV值處理

 

/* Device parameters */

#define VID0_DEVICE "/dev/video2"

文件係統中DISPLAY輸出設備節點（對照內核驅動davinci_display.c）

#define VID1_DEVICE "/dev/video3"文件係統中DISPLAY輸出設備節點

#define OSD0_DEVICE       "/dev/fb/0"文件係統中OSD0設備節點

#define OSD1_DEVICE       "/dev/fb/2"文件係統中OSD1設備節點

 

/* Function error codes */

#define SUCCESS          0

#define FAILURE           -1

 

/* Bits per pixel for video window */

#define YUV_422_BPP 16

#define BITMAP_BPP_8      8

 

#define DISPLAY_INTERFACE       "COMPOSITE"顯示輸出定義複合視頻輸出

#define DISPLAY_MODE_PAL        "PAL"顯示輸出定義PAL製輸出

#define DISPLAY_MODE_NTSC            "NTSC"顯示輸出定義NTSC製輸出

 

#define round_32(width)       ((((width) + 31) / 32) * 32 ) 字節對齊

 

/* Standards and output information */

#define ATTRIB_MODE              "mode"

#define ATTRIB_OUTPUT          "output"

 

#define LOOP_COUNT        500 本例子采集多少幀就停止運行（PAL製每秒25幀）

介紹完v4l2_mmap_loopback.c的前麵部分的定義，我們可以開始熟悉V4L2，這裏借用網友的描述，順便加入本人的分析。

      Video4linux2（簡稱V4L2),是linux中關於視頻設備的內核驅動。在Linux中，視頻設備是設備文件，可以像訪問普通文件一樣對其進行讀寫，攝像頭在/dev/video0下。

Video4linux2一般操作流程（視頻設備）：

1. 打開設備文件。 int fd=open(”/dev/video0″,O_RDWR);

2. 取得設備的capability，看看設備具有什麼功能，比如是否具有視頻輸入等。VIDIOC_QUERYCAP,struct v4l2_capability

3. 選擇視頻輸入，一個視頻設備可以有多個視頻輸入。VIDIOC_S_INPUT,struct v4l2_input

4. 設置視頻的製式和幀格式，製式包括PAL，NTSC，幀的格式個包括寬度和高度等。

VIDIOC_S_STD,VIDIOC_S_FMT,struct v4l2_std_id,struct v4l2_format

5. 向驅動申請幀緩衝，一般不超過5個。struct v4l2_requestbuffers

6. 將申請到的幀緩衝映射到用戶空間，這樣就可以直接操作采集到的幀了，而不必去複製。

7. 將申請到的幀緩衝全部入隊列，以便存放采集到的數據.VIDIOC_QBUF,struct v4l2_buffer

8. 開始視頻的采集。VIDIOC_STREAMON

9. 出隊列以取得已采集數據的幀緩衝，取得原始采集數據。VIDIOC_DQBUF

10. 將緩衝重新入隊列尾,這樣可以循環采集。VIDIOC_QBUF

11. 停止視頻的采集。VIDIOC_STREAMOFF

12. 關閉視頻設備。close(fd);

常用的結構體(參見linux-2.6.18_pro500/include/linux/include/linux/videodev2.h)：

struct v4l2_requestbuffers reqbufs;//向驅動申請幀緩衝的請求，裏麵包含申請的個數

struct v4l2_capability cap;//這個設備的功能，比如是否是視頻輸入設備

struct v4l2_input input; //視頻輸入

struct v4l2_standard std;//視頻的製式，比如PAL，NTSC

struct v4l2_format fmt;//幀的格式，比如寬度，高度等

struct v4l2_buffer buf;//代表驅動中的一幀

v4l2_std_id stdid;//視頻製式，例如：V4L2_STD_PAL

struct v4l2_queryctrl query;//查詢的控製

struct v4l2_control control;//具體控製的值

 

    從main()函數調用vpbe_UE_1（），在vpbe_UE_1（）裏，可以看到采集流程和顯示輸出流程。

3、V4L2采集過程

     initialize_capture（）裏初始化采集配置、分配采集內存緩衝、啟動開始采集。順序調用init_capture_device（）+set_data_format（），init_capture_buffers（），start_streaming（）。

 

      在V4L2中，視頻設備被看做一個文件。使用open函數打開這個設備：

/用非阻塞模式打開采集設備，見init_capture_device（）函數，fdCapture在本例子中定義為全局變量，

如果用阻塞模式打開采集設備，上述代碼變為：

if ((fdCapture = open(CAPTURE_DEVICE, O_RDWR, 0)) <= -1) {

 

關於阻塞模式和非阻塞模式，應用程序能夠使用阻塞模式或非阻塞模式打開視頻設備，如果使用非阻塞模式調用視頻設備，即使尚未捕獲到信息，驅動依舊會把緩存（DQBUFF）裏的東西返回給應用程序。

 

 

        打開視頻設備後，可以設置該視頻設備的屬性，例如裁剪、縮放等。這一步是可選的。在Linux編程中，一般使用ioctl函數來對設備的I/O通道進行管理：

extern int ioctl (int __fd, unsigned long int __request, …) __THROW;

__fd：設備的ID，例如剛才用open函數打開視頻通道後返回的fdCapture；

__request：具體的命令標誌符。

在進行V4L2開發中，一般會用到以下的命令標誌符：

1.    VIDIOC_REQBUFS：分配內存

2.    VIDIOC_QUERYBUF：把VIDIOC_REQBUFS中分配的數據緩存轉換成物理地址

3.    VIDIOC_QUERYCAP：查詢驅動功能

4.    VIDIOC_ENUM_FMT：獲取當前驅動支持的視頻格式

5.    VIDIOC_S_FMT：設置當前驅動的頻捕獲格式

6.    VIDIOC_G_FMT：讀取當前驅動的頻捕獲格式

7.    VIDIOC_TRY_FMT：驗證當前驅動的顯示格式

8.    VIDIOC_CROPCAP：查詢驅動的修剪能力

9.    VIDIOC_S_CROP：設置視頻信號的邊框

10. VIDIOC_G_CROP：讀取視頻信號的邊框

11. VIDIOC_QBUF：把數據從緩存中讀取出來

12. VIDIOC_DQBUF：把數據放回緩存隊列

13. VIDIOC_STREAMON：開始視頻顯示函數

14. VIDIOC_STREAMOFF：結束視頻顯示函數

15. VIDIOC_QUERYSTD：檢查當前視頻設備支持的標準，例如PAL或NTSC。

這些IO調用，有些是必須的，有些是可選擇的。他們可以從在內核中davinci_vpfe.c 裏static int vpfe_doioctl(struct inode *inode, struct file *file,unsigned int cmd, void *arg)函數找到對應關係。

 

 

        在set_data_format()函數裏，檢測完視頻設備支持的標準後，還需要設定視頻捕獲格式：PAL製還是NTSC製，采集像素格式UYVY，奇偶場交錯方式INTERLACED。

 

 

       接下來可以為視頻捕獲分配內存：

在init_capture_buffers（）裏，使用VIDIOC_REQBUFS，我們獲取了req.count個緩存，下一步通過調用VIDIOC_QUERYBUF命令來獲取這些緩存的地址，然後使用mmap函數轉換成應用程序中的絕對地址，最後把這段緩存放入緩存隊列：

// 讀取緩存

if (ioctl(fdCapture, VIDIOC_QUERYBUF, &buf) == -1) {

return -1;

}

buffers[numBufs].length = buf.length;

// 轉換成相對地址

buffers[nIndex].length = buf.length;

buffers[nIndex].start =

mmap(NULL, buf.length, PROT_READ | PROT_WRITE,

MAP_SHARED, fdCapture, buf.m.offset);

 

 

// 放入緩存隊列

if (ioctl(fdCapture, VIDIOC_QBUF, &buf) == -1) {

return -1;

}}

/* all done , get set go */

type = V4L2_BUF_TYPE_VIDEO_CAPTURE;

if (-1 == ioctl(fdCapture, VIDIOC_STREAMON, &type))

printf("start_streaming:ioctl:VIDIOC_STREAMON:\n");

 

        操作係統一般把係統使用的內存劃分成用戶空間和內核空間，分別由應用程序管理和操作係統管理。應用程序可以直接訪問內存的地址，而內核空間存放的是 供內核訪問的代碼和數據，用戶不能直接訪問。v4l2捕獲的數據，最初是存放在內核空間的，這意味著用戶不能直接訪問該段內存，必須通過某些手段來轉換地址。

一共有三種視頻采集方式：使用read、write方式；內存映射方式和用戶指針模式。

read、write方式:在用戶空間和內核空間不斷拷貝數據，占用了大量用戶內存空間，效率不高。

內存映射方式：把設備裏的內存映射到應用程序中的內存控件，直接處理設備內存，這是一種有效的方式。上麵的mmap函數就是使用這種方式。

用戶指針模式：內存片段由應用程序自己分配。這點需要在v4l2_requestbuffers裏將memory字段設置成V4L2_MEMORY_USERPTR。

 

 

        V4L2有一個數據緩存，存放req.count數量的緩存數據。數據緩存采用FIFO的方式，當應用程序調用緩存數據時，緩存隊列將最先采集到的 視頻數據緩存送出，並重新采集一張視頻數據。這個過程需要用到兩個ioctl命令,VIDIOC_DQBUF和VIDIOC_QBUF：

struct v4l2_buffer buf;

memset(&buf,0,sizeof(buf));

buf.type=V4L2_BUF_TYPE_VIDEO_CAPTURE;

buf.memory=V4L2_MEMORY_MMAP;

buf.index=0;

//讀取緩存

if (ioctl(fdCapture, VIDIOC_DQBUF, &buf) == -1)

{

return -1;

}

//…………視頻處理算法

//重新放入緩存隊列

if (ioctl(fdCapture, VIDIOC_QBUF, &buf) == -1) {

return -1;

}

關閉視頻設備

使用close函數關閉一個視頻設備

close(fdCapture)

 

4、V4L2顯示輸出

 

      配置視頻顯示輸出函數init_vid1_device（），初始化和采集差不多，這裏就不用多解析，這個顯示輸出的例子通過DAC口，把采集的圖像通過LOOPBACK方式，直接輸出到普通電視機或DVD等視頻IN的端口裏，當然你的板子要有把DM6446 DAC信號通過視頻放大器才能接到電視機上。從start_loop()函數裏，下麵的代碼

 

 

 

 

可以看出LOOPBACK方式的操作memcpy(dest, src, disppitch)，直接把采集的數據(720x576x2)字節放到視頻輸出緩衝dest，disppitch=1440,，就是一行UYVY的自己是1440。

 

第四節   DVSDK2.0有關V4L2的例子分析

 

      有上麵的介紹，我們可以深入學習DM6446 DVSDK2.0有關V4L2的例子。dvsdk_2_00_00_22\dvsdk_demos_2_00_00_07\dm6446裏有encode，decode，encodedecode的例子，這些例子全部是應用程序，V4L2的例子函數為capture.c和display.c，他們不像第三節介紹的v4l2_mmap_loopback.c直接跟內核davinci_vpfe.c接口函數打交道，而是通過dmai，即dvsdk_2_00_00_22\dmai_1_20_00_06\packages\ti\sdo\dmai\linux目錄下的源代碼，跟內核davinci_vpfe.c、vpbe_encoder.c打交道，Montavista把內核驅動和VISA調用封裝在一起，dvsdk_2_00_00_22\dvsdk_demos_2_00_00_07\dm6446裏的例子就是產品級的例子，帶有H264、MPEG4、G711這些算法的應用。dvsdk_2_00_00_22\dmai_1_20_00_06\packages\ti\sdo\_dmai\linux裏的c文件就是V4L2和內核對接的源文件，好好學習這些例子，對大家做DAVINCI嵌入式產品非常有好處，本人也是從這些例子裏學到很多LINUX的東西。

 

第五節後記

      新的產品即將出來，根據一些客戶的要求，我們重新對DM365/DM368進行第2輪PCB設計，我想很快就可以和大家探討高清的方案，深圳市桐燁科技有限公司專門提供對應硬件平台和產品方案支持，我們專注ARM+DSP的產品方案和項目設計，IVS（智能視頻監控）設計，810MHz的DM6446核心板將更加滿足算法的要求。同時我們根據客戶的項目需求，以深圳的速度（產品一條龍服務）幫客戶設計產品。