借力計算機視覺及深度學習,紐卡斯爾大學開發實時、自動化奶牛跛行檢測系統

內容一覽:近期,紐卡斯爾大學聯合費拉科學有限公司聯合開發了一個針對多頭奶牛的自動化、實時跛行檢測系統。該系統能夠按照跛行評分系統將奶牛進行分類,並且準確度高達 94%-100%。目前,該研究成果已發表在《Nature》上。

關鍵詞:奶牛跛行 畜牧業 機器學習

作者 | 緩緩

編輯 | 三羊

因口蹄疫等疾病造成的奶牛跛行對畜牧業而言,已成為一個全球性話題。相關科普顯示,它不僅會導致奶牛產奶量降低、繁殖效率下降,還會導致奶牛過早地被淘汰。國家動物健康監測服務奶業報告資料顯示,奶牛有 16% 的淘汰率是由跛行引起的。

跛行已成為奶牛業面臨的主要危機之一,因此,早監測、早預防成為規模化養殖奶牛中解決奶牛跛行的有效手段。過往,奶牛業一般都採用人工識別的方法,但這一方法存在效率低、成本高、主觀性強等弊病,在這種背景下,奶牛業對奶牛跛行的自動化檢測技術需求日益強烈。

近期,來自紐卡斯爾大學的 Shaun Barney、Satnam Dlay 以及來自費拉科學有限公司 (Fera Science Ltd) 的 Andrew Crowe 等人聯合開發了一個針對多頭奶牛的完全自動化、實時跛行檢測系統,並可在整個養殖場內進行部署。這一系統利用計算機視覺和深度學習分析攝像機視野內每頭奶牛的姿勢和步態,檢測準確度可達 94%-100%。目前該研究成果已發表在《Nature》上。

目前該成果已發佈在Nature

目前該成果已發佈在《Nature》

論文連結:

https://www.nature.com/articles/s41598-023-31297-1#Sec7

試驗資料集

本次試驗中,研究人員首先對英國某農場內 250 頭奶牛的運動情況進行視訊錄影,得到了 25 個視訊,然後又把每個視訊分解為 3,600 個組成幀。其次,研究人員提取了每秒鐘中的 1 幀畫面進行了標註。並且為了進一步改善網路泛化能力,他們從 Google 中下載了 500 張牛的相關圖片,為每個奶牛標註了 15 個關鍵點,再將這些圖片搜尋資料和自己的標註資料相結合,得到了一個大約含有 40,000 條標註資訊的資料庫。

每頭奶牛標註了 15 個關鍵點

每頭奶牛標註了 15 個關鍵點

為了用真實資料來評估演算法性能,3 名經過 AHDB 認證的觀察員同時使用 AHDB 奶牛移動性評分系統對 25 個視訊進行了評分,該系統有四個評分等級:0(完全不跛腳)、1(行動稍有不便)、2(跛腳)和 3(嚴重跛腳),下圖顯示了由這 3 名觀察員的評分分佈情況。

3 名觀察員對全部奶牛跛行程度評分分佈

3 名觀察員對全部奶牛跛行程度評分分佈

圖中顯示,25.2% 的奶牛跛行評分為 0(橙色),43.2% 的奶牛跛行評分為 1(綠色),25.6% 的奶牛跛行得分為 2(紅色),6.0% 的奶牛跛行評分為 3(灰色)。

試驗過程及成果

本研究使用攝像頭和深度卷積神經網路 (Mask-RCNN 演算法、SORT 演算法和 CatBoost 演算法) 來檢測多頭奶牛的姿態。研究人員通過追蹤視訊中奶牛背部、頭部的關鍵點,根據提取相關特徵指標進行分析,從而檢測出跛行程度。

姿態分析演算法

研究人員將 Mask-RNN(實體分割演算法)中的一部分進行自研後,構建了一個姿態分析演算法來對每頭奶牛進行姿態估計。該演算法使用了來自 Google 資料集中的 500 張圖像以及 250 頭牛中的 189 頭牛的圖像來進行訓練,而剩餘的 61 頭牛的圖像用來做最終的結果驗證。

同時,該演算法會高精度定位 15 個關鍵點位置,並輸出每個點的具體座標位置來用作姿態分析,其中背部有 5 個關鍵點,頭部有 2 個關鍵點。

跟蹤演算法

以上步驟中,從將視訊分解成組成幀到對每張圖像進行關鍵點標註再到應用 Mask-RNN 來進行姿態分析,都是基於單一的靜止圖像,因此,試驗還需要對奶牛隨著時間移動過程進行分析。對此,研究人員採用了 SORT 演算法(實時跟蹤演算法),該演算法能夠隨著時間檢測奶牛姿勢,獲取背部迴歸曲線、背部區域、頸部迴歸曲執行緒度以及頸部角度等指標資訊。

跟蹤演算法的視覺化效果

跟蹤演算法的視覺化效果

頂部圖像中顯示了第一幀中的三頭奶牛,每個都用不同顏色標記,中間圖像中顯示了 1 秒之後的奶牛移動情況,並且跟蹤演算法將剛才標記的奶牛都找出來併成功標記上對應顏色,同理,底部圖像則顯示了又過了一秒後的奶牛的移動情況。

分類演算法

得到由姿態深度學習模型輸出的姿態分析結果後,研究人員使用了 CatBoost 演算法對奶牛的跛腳情況進行評分分類。這裡值得注意的是,為了確保最大程度的泛化,只有最重要的姿態特徵結果才應該在最終的訓練模型中使用。因此,研究人員進行了一系列變數排列分析,最終得出刪除 4 個不重要的指標資訊,能夠降低誤差並對模型性能沒有太大影響。

為實現最低誤差而刪除的 4 個指標資訊

為實現最低誤差而刪除的 4 個指標資訊

最後,為了測試使用 CatBoost 演算法的準確性,研究人員採用了三重交叉驗證和分類驗證的方法來驗證模型性能。其中,三重交叉驗證結果顯示該演算法模型能夠將每頭奶牛按照跛行程度細緻地分類到不同跛行評分等級中,且平均準確率為 94%±0.05。

且平均準確率為 94%±0.05

三重交叉驗證時驗證損失和標準偏差視覺化圖

總之,研究人員提出,與現有檢測奶牛跛行系統相比,本研究成果有以下幾個顯著優勢:

* 能夠同時對多頭奶牛進行檢測。

* 根據奶牛的移動姿態按照常規使用的 AHDB 評分系統進行細緻分類。

* 能夠在時間維度上追蹤、分析每個個體。

* 完全自動化,對擠奶、餵養等生產不會造成任何影響。

最後,研究人員也提出了幾點挑戰:

  1. 該系統在區分跛行等級評分為 0 及 1 的準確率要比區分其他等級時的準確率低很多,未來該研究團隊將致力於提升微小特徵差異的能力,以準確區分不跛行奶牛和行動稍有不便的奶牛。

  2. 該系統需要藉助邊緣設備(如相機、移動設備或平板電腦)將結果發送到伺服器進行處理,從而實現實時觀察,這個過程中,如何減弱網路變化帶來的性能波動,將成為該項研究未來的工作重點。

  3. 該系統易受外部環境條件影響,例如地板與牛蹄顏色相近時,Mask-RCNN 演算法識別準確性會降低,因此,添加更泛化的能力訓練也成為該項研究未來的工作重點。

牛!AI 推動畜牧行業實現數字化

目前來看,AI 的風颳到畜牧業已成為一個不爭的事實。聚焦國外,除了我們本篇介紹的科研成果之外,由於其畜牧業本身規模化程度高、數字化基礎好,AI 落地成果已「百家齊放」。例如,荷蘭的農業科技公司 Connecterra 開發了「智慧牧場助理」(IDA ,The Intelligent Dairy Farmer’s Assistant) 系統,通過在奶牛的脖子上佩戴可穿戴設備,軟硬體配合實時監測奶牛的健康情況。據一位美國牧場主表示,通過應用 IDA 幫助其提高了 10% 的生產力。

將視線轉回國內,一方面近年來 AI 發力畜牧業的例子也不在少數。早在前幾年阿里就開啟了智慧養豬事業,而華為也曾聯合中國電信和銀川奧特推出基於 NB-IoT 的「牛聯網」產品「小牧童」。不過,另一方面,也需要看到 AI 在國內畜牧業應用的覆蓋面仍談不上很廣,對此,深牧科技 CEO 曾直言,「目前國內很多養殖者在談起人工智慧時,對它的認識還停留在最傳統的臉部辨識、語音識別上。」

因此,在這一背景下,如何讓 AI 在推動畜牧業數字化上發揮更多積極影響,無疑將成為 AI 和畜牧業兩個領域需要重點研究的課題之一。當然,對國內相關領域來說,這條道路更是任重而道遠。

相關文章

使用 TVMC 編譯和最佳化模型

使用 TVMC 編譯和最佳化模型

內容一覽:本節講解使用 TVMC 編譯和最佳化模型。TVMC 是 TVM 的命令驅動程序,通過命令列執行 TVM 功能。本節是了解 TVM ...

AI 加碼,超光學進入狂飆時代

AI 加碼,超光學進入狂飆時代

內容一覽:近年來,為了突破傳統光學研究的侷限性,光學與物理學交叉領域的一個新興技術超光學出現,並且展現出巨大的市場前景。在這門技術高速發展的...