 |
| 名人以及圖片分析 在和LINE聊天機器人之對話中 |
聊天機器人(chatbot)作為人機介面，提供人類各種整合性服務是最容易產生的應用。而人臉辨識，一直都是人工智慧與數據分析的整合課題。因此，把LINE聊天機器人加上照片或人臉辨識的功能，似乎也很有趣。
 |
| 用LINE QR 加小姍為好友 可以測試人臉辨識 |
以前，在做關於影像的實驗性質的程式時，通常會先考慮opencv。雖然opencv確實是個好工具，但是如果你的目標不是改善演算法，或甚至做出更先進的人臉辨識方式，那麼opencv會過於複雜。
在2016年底，AWS發表另一個雲端服務：Rekognition。這個服務提供了API用以辨識影像，並順便提供了幾個在應用上的api：「比較人臉」「辨別名人」「識別限制級圖案」。(文件請參考這裡)
這些api要運用的最簡單方式之一，就是使用AWS Lambda來驅動AWS內自己的API，再透過API Gateway跟外界 - 也就是chatbot整合。換言之，這仍然符合公有雲廠商(無論是AWS, google還是azure)的所謂serverless的未來方向。雖然這些公有雲廠商，其實只是為了讓客戶更難離開公有雲環境，但不可否認的是，這些api的確有用而且在初期成本也不高。
快速製作在LINE上的人臉辨識，需要幾個步驟：
(1) 對serverless的設計概念有些瞭解
請參考這裡及這裡。
(2) 對Line聊天機器人申請和製作，以及對AWS Lambda先有基本的瞭解。
可參考這裡和這裡。
(3) 在LINE webhook的event中處理image id。
在webhook的lambda程式中，特別挑出image的id。LINE的訊息傳遞給chatbot時，有分不同的type，要處理的是image type。LINE並不會真的傳圖片檔案到webhook中，他傳遞的是圖片id，透過這個id，可以用一個URL拿到圖片：
https://api.line.me/v2/bot/message/<id>/content
要取得這個圖片，當然要有Line token
(4) 讀取圖片URL並且以取得bytes
以python為例，首先以requests讀取URL，記得stream必須設為True，因為接下來需要將資料(影像的byte)直接讀取成bytearray。參考程式如下
imageUrl = 'https://api.line.me/v2/bot/message/{}/content'.format(imageId)
r = requests.get(imageUrl, headers=headers, stream=True)
bArray = None
with r.raw as data:
f = data.read()
bArray = bytearray(f)
(5) 使用各種AWS的Rekognition服務。
取得bytearray之後，剩下的事情就很簡單了。
以python為例，可以使用boto3 (最好是1.4.4版本)。先取得rekognition的client物件，直接使用裡面的方法(例如以下範例)。將Image參數都設定成{ 'Bytes': your_byte_array} 就可以取得分析的結果。
rclient = boto3.client('rekognition')
response = rclient.recognize_celebrities(
Image = { 'Bytes':bArray }
)
要注意的是，分析結果response是一個含有各種標籤與技術數值(例如信心程度)的dictionary物件，所有的標籤都還是英文，必須得自己轉換成中文才行。
範例中的「名人辨識」(celebrities)所查到的名字都是英文。可以利用wiki 英文api搜尋這個英文字，找到對應的中文網頁，在取得中文字。
wiki的英文api可參考這裡。
(6) 存取S3之考量
如果看過AWS document應該會發現，使用recognize都可以設定image來源是S3。那麼範例為何不存取S3？
事實上，的確可以將LINE的影像，先存在S3，然後再進行分析。然而，這樣會多了「存入」S3和取出S3的時間。並且，S3也是要收費的！影像如果只「分析一次」，那麼存在S3其實很不划算，存在Rekognition裡面更是貴。如果會反覆利用，那麼恐怕還是得存在S3中。
目前結果分享
用LINE將小姍加入好友，就可以試用一下目前LINE與AWS人臉辨識整合。
加小姍為好友 ID-> @opn2514f
 |
加小姍為好友  |
下圖是辨識川普不同的表情，會被辨識出不同的年紀，和不同的心情。
沒有留言:
張貼留言