764
【玩轉數據係列十二】PAI平台深度學習Caffe框架實現圖像分類的模型訓練
PAI平台深度學習Caffe框架實現圖像分類的模型訓練
背景
我們在之前的文章中介紹過如何通過PAI內置的TensorFlow框架實驗基於Cifar10的圖像分類，文章鏈接:https://yq.aliyun.com/articles/72841。使用Tensorflow做深度學習做深度學習的網絡搭建和訓練需要通過PYTHON代碼才能使用，對於不太會寫代碼的同學還是有一定的使用門檻的。本文將介紹另一個深度學習框架Caffe，通過Caffe隻需要填寫一些配置文件就可以實現圖像分類的模型訓練。
關於PAI的深度學習功能開通，請務必提前閱讀https://help.aliyun.com/document_detail/49571.html
文末提供了相關下載鏈接。
數據介紹
本文使用的數據是開源數據集cifar10，這份數據是一份對包含6萬張像素為32*32的彩色圖片，這6萬張圖片被分成10個類別，分別是飛機、汽車、鳥、毛、鹿、狗、青蛙、馬、船、卡車。數據集截圖：
目前這份數據已經內置在PAI提供的公共數據集中，以jpg格式存儲。任何PAI的用戶都可以在深度學習組件的數據源OSS路徑中直接輸入,
- 測試數據： oss://dl-images.oss-cn-shanghai-internal.aliyuncs.com/cifar10/caffe/images/cifar10_test_image_list.txt
- 訓練數據：oss://dl-images.oss-cn-shanghai-internal.aliyuncs.com/cifar10/caffe/images/cifar10_train_image_list.txt
如圖：
格式轉換
目前PAI上的Caffe框架隻支持特定的格式，所以需要首先將jpg格式的圖片進行格式轉換。
經過格式轉換，可以在自己的OSS路徑下生成如下文件，訓練數據和測試數據各一份。
需要記錄對應的OSS路徑用於net文件的填寫，假設路徑名分別是：
訓練數據data_file_list.txt：bucket/cifar/train/data_file_list.txt
訓練數據data_mean.binaryproto:bucket/cifar/train/data_mean.binaryproto
測試數據data_file_list.txt：bucket/cifar/test/data_file_list.txt
測試數據data_mean.binaryproto:bucket/cifar/test/data_mean.binaryproto
Caffe配置文件
Net文件編寫，對應上文格式轉換生成的路徑：
Solver文件編寫：
運行
將編輯好的Solver文件和Net文件全部傳到OSS上，拖動caffe訓練組件如圖，在Sovler文件路徑上選擇OSS上提交的Solver文件，運行即可。
生成的圖片分類model文件可以在OSS對應路徑下查看，可以用以下模型進行圖片分類
日誌查看可以參照本文開頭提供的“Tensorflow實現圖像分類”。
往期文章
【玩轉數據係列十】利用阿裏雲機器學習在深度學習框架下實現智能圖片分類
【玩轉數據係列八】機器學習算法的離線調度實現-廣告CTR預測
【玩轉數據係列七】有娃的注意了，機器學習教您如何提高孩子學習成績
【玩轉數據係列四】聽說啤酒和尿布很配？本期教你用協同過濾做推薦
【玩轉數據係列二】機器學習應用沒那麼難，這次教你玩心髒病預測
其它
參與討論：雲棲社區公眾號
免費體驗：阿裏雲數加機器學習平台
作者微信公眾號(與作者討論)：
最後更新：2017-06-06 17:02:33