中國煤科機器人公司趙紅菊高工：低照度模糊環(huán)境下輸送帶巡檢機器人目標識別關鍵技術

2025年12月09日 16:02 智能礦山雜志責編：戚金榮作者：智能礦山雜志

摘要

針對現(xiàn)有煤礦井下帶式輸送機巡檢目標識別(尤其是小目標缺陷識別)精度較低問題，提出了一種基于深度學習的目標智能檢測方法。采用YOLOv5 模型作為基礎網(wǎng)絡，引入了Res2Net 多尺度特征表征模塊，替換主干網(wǎng)絡中C3 模塊的 Bottleneck，以在網(wǎng)絡中增加感受野通道。在主干網(wǎng)絡和特征融合網(wǎng)絡中引入CA注意力機制，提升通道利用率和帶面早期損傷檢測精度。使用數(shù)據(jù)集訓練YOLOv5 模型，并與原有YOLOv5 框架對比試驗。經(jīng)現(xiàn)場試驗驗證，使用訓練后的模型對輸送帶跑偏距離≥10 cm的檢測準確率≥95%，對縱撕長度≥10 cm的檢測準確率為80%~95%，對異物檢測異物規(guī)格>80 mm的檢測準確率為80%~95%，托輥異常檢測準確率為96%。相比優(yōu)化改進之前，加權檢測準確度從83%提高到95%。

文章來源：《智能礦山》2025年第11期“礦山機器人技術創(chuàng)新與實踐特刊”

作者簡介：趙紅菊，高級工程師，主要從事煤礦機器人智能控制、電源管理等相關研究工作。 E-mail：zhaohj2020@126.com

作者單位：中煤科工機器人科技有限公司；中煤科工（遼寧）具身智能科技有限公司

引用格式：趙紅菊.低照度模糊環(huán)境下輸送帶巡檢機器人目標識別關鍵技術[J].智能礦山，2025，6(11)：65-70.

點擊文末左下角閱讀原文，免費下載閱讀pdf全文

關注微信公眾號，了解更多礦山智能化建設進展

視覺識別是煤礦智能化無人巡檢系統(tǒng)的核心功能之一，直接影響著巡檢結果的可靠性和有效性。由于煤礦井下環(huán)境復雜多變，存在圖像質(zhì)量低、目標對象多樣、目標尺度小和目標遮擋嚴重等問題，給視覺識別帶來了很大的困難和挑戰(zhàn)。

煤礦巡檢圖像數(shù)據(jù)集（CMID）的構建

為了支持算法研究內(nèi)容，構建了大規(guī)模的煤礦巡檢圖像數(shù)據(jù)集（CMID），并詳細標注數(shù)據(jù)集。該數(shù)據(jù)集基于煤礦井下帶式輸送機輸送場景，包含輸送帶裂縫、輸送帶跑偏、輸送帶異物、托輥脫落、煤料堵塞、煤粉灑落、煤流量等7種目標對象，具有一定的多樣性和復雜性。

1.1 數(shù)據(jù)集的采集過程和設備

圖像采集是用機器人系統(tǒng)拍攝井下圖像數(shù)據(jù)。該系統(tǒng)包括地面控制中心、無線通信系統(tǒng)、井下掛軌機器人。井下機器人的高清攝像頭和紅外攝像頭，高清攝像頭分辨率為1 920×1 080，拍攝彩色圖像；紅外攝像頭分辨率為640×480，拍攝低光照灰度圖像。機器人系統(tǒng)的組織架構及地面控制中心GUI界面如圖1所示。

圖1 機器人系統(tǒng)的組織架構及地面控制中心GUI界面

在煤礦井下帶式輸送機場景采集圖像，采集過程覆蓋了不同光照條件、背景雜亂程度、目標對象數(shù)量和類型等因素，共采集了約10萬張圖像，約占100 GB存儲空間。

1.2 數(shù)據(jù)集標注

研究使用LabelImg作為圖像標注軟件，邀請了10名具有煤礦巡檢經(jīng)驗的專業(yè)人員作為標注人員，標注了數(shù)據(jù)集中的每張圖像。將輸送帶巡檢視覺識別任務分為輸送帶裂縫、輸送帶跑偏、輸送帶異物、托輥脫落、煤料堵塞、煤粉灑落、煤流量7個任務類型。

研究使用XML格式存儲了圖像標注信息。部分采集數(shù)據(jù)集如圖2所示。為保證數(shù)據(jù)集的標注質(zhì)量準確率>95%，采用以下3項措施。

圖2 部分采集數(shù)據(jù)集

（1）專業(yè)培訓和指導標注人員。

（2）分批分配和交叉檢查數(shù)據(jù)集。

（3）隨機抽樣和質(zhì)量評估數(shù)據(jù)集。

基于深度學習的煤礦巡檢圖像識別方法

為實現(xiàn)高性能的煤礦巡檢圖像識別，提出了1種基于深度學習的目標智能檢測算法，該算法主要包括以下3個方面。

（1）使用YOLOv5模型作為基礎網(wǎng)絡。

（2）改進和優(yōu)化YOLOv5模型，包括引入Res2Net多尺度特征表征模塊、引入CA注意力機制、優(yōu)化輸出層等。

（3）使用CMID數(shù)據(jù)集對模型進行端到端訓練。

2.1 YOLOv5模型

YOLOv5是1種目標檢測網(wǎng)絡，使用1個全卷積神經(jīng)網(wǎng)絡（FCN）從輸入圖像中直接預測目標的類別和位置。YOLOv5模型使用CSPNet作為主干網(wǎng)絡，使用PANet作為特征融合網(wǎng)絡。YOLOv5模型的網(wǎng)絡結構如圖3所示。

圖3 YOLOv5模型的網(wǎng)絡結構

2.2 引入Res2Net多尺度特征表征模塊

Res2Net多尺度特征表征模塊是1種基于ResNet殘差網(wǎng)絡的改進模塊。Res2Net模塊的核心思想是將每個殘差塊中的輸入特征分為多個子特征，并對每個子特征進行不同尺度的卷積操作，然后將所有子特征進行拼接，形成輸出特征，Res2Net模塊如圖4所示。

圖4 Res2Net模塊

Res2Net模塊中的1個殘差塊包括2個部分：分支部分和融合部分。分支部分是指將輸入特征分為個子特征，并對每個子特征進行1×1卷積和3×3卷積操作，形成個不同尺度的子特征；融合部分是指將個子特征進行逐級拼接，并通過1×1卷積操作將通道數(shù)恢復為原來的一半，形成輸出特征。2個部分相互配合，實現(xiàn)了多尺度的特征表征。

將Res2Net模塊引入到YOLOv5模型中，并用其替換主干網(wǎng)絡中C3 模塊的Bottleneck，以在網(wǎng)絡中增加感受野通道，使網(wǎng)絡更好地學習對小目標缺陷區(qū)域的紋理和語義特征，設置=4。四尺度感受野結構如圖5所示，引入Res2Net模塊后的主干網(wǎng)絡結構如圖6所示。

圖5 四尺度感受野結構

圖6 引入Res2Net模塊后的主干網(wǎng)絡結構

2.3 引入CA注意力機制

CA注意力機制是1種基于通道注意力的特征增強模塊，通過1個自適應權重向量，對輸入特征圖的不同通道進行加權，以提升特征圖的通道利用率和表達能力。

在獲取特征時，CA模塊捕獲跨通道特征信息以及方向感知和位置感知信息，并通過坐標信息嵌入和坐標信息生成對輸入特征進行編碼。YOLOv5-CA機制結構如圖7所示，模塊包含在圖7中的紅色虛線框中。

圖7 YOLOv5-CA機制結構

利用H×1和1×W池化核分別沿水平和垂直坐標對每個通道進行編碼，得到H×1×C和1×W×C的特征圖。然后，融合不同方向特征，得到1個關注方向感知圖。

2.4 優(yōu)化輸出層

根據(jù)不同類別的目標對象所需預測的額外信息類型和數(shù)量，對輸出層進行了相應調(diào)整。對輸送帶跑偏、裂縫、異物的3個類別的目標對象增加了2個額外信息的回歸輸出，分別為目標對象的長軸長度和短軸長度。優(yōu)化后的輸出層中不同類別的目標對象所需預測的參數(shù)數(shù)量見表1。

表1 優(yōu)化后輸出層中不同類別的目標對象所需預測的參數(shù)數(shù)量

優(yōu)化前后檢測效果對比見表2，優(yōu)化后的輸出層中不同類別的目標對象所需預測的參數(shù)與原來不同，因此需要將預測層的輸出通道數(shù)由（+5）×修改為（，其中為不同類別的目標對象所需預測的參數(shù)之和，即=42。根據(jù)不同類別的目標對象在預測層中占據(jù)不同位置和數(shù)量的通道進行區(qū)分和解析。通過此方式，將輸出層的輸出結果解析為

式中：Out為輸出結果；Class為類別置信度；case_goal為目標框參數(shù)；case_extra為額外信息參數(shù)；為第個類別的置信度；x、y、w、h、c為目標框的中心坐標、寬度、高度和置信度；a、b為目標對象的長軸長度和短軸長度；為輸送帶的寬度。

輸送帶跑偏距離撕裂長度和異物規(guī)格的計算公式為

式中：為圖像寬度，作為檢測結果的一部分輸出，以提高檢測結果的可用性和可解釋性。

2.5 模型訓練

使用PyTorch框架實現(xiàn)了提出的方法，并在1臺配備了NVIDIA GeForce RTX 3090顯卡的計算機上進行了模型訓練。采用YOLOv5 Loss作為損失函數(shù)，計算公式為

式中：為第個類別的真實置信度；為第個類別的預測置信度；為第個目標框參數(shù)的真實值；為第個目標框參數(shù)的預測值；為目標框的真實置信度；為目標框的預測置信度；_cls_box_obj為不同損失項的權重系數(shù)。設置_cls=1.0，_box=0.05和_obj=1.0。

采用Albumentations庫實現(xiàn)圖像增強，并使用sklearn庫實現(xiàn)了交叉驗證技術。將數(shù)據(jù)集劃分為5個子集，并進行5次訓練和測試，以評估模型的泛化能力和穩(wěn)定性。

試驗結果與分析

3.1 試驗環(huán)境和評價指標

為了評估研究提出的方法的性能和效果，使用CMID數(shù)據(jù)集對研究所采用的方法進行了試驗，并與YOLOv5模型進行對比。采用以下指標來衡量模型的檢測效果。

（1）精確率（Precision）為檢測結果中正確的目標對象占所有檢測出的目標對象的比例，計算公式為，其中TP為真正例，即檢測結果中正確的目標對象，F(xiàn)P為假正例，即檢測結果中錯誤的目標對象。

（2）召回率（Recall）為檢測結果中正確的目標對象占所有真實存在的目標對象的比例，計算公式為，其中FN為假負例，即未被檢測出的目標對象。

（3）準確率（Accuracy）為檢測結果中正確的目標對象占所有檢測結果和真實結果的并集的比例，計算公式為

（4）Score）為精確率和召回率的調(diào)和平均值，計算公式為

使用交叉驗證技術，將數(shù)據(jù)集劃分為5個子集，并進行5次訓練和測試，以評估模型的泛化能力和穩(wěn)定性。使用mAP@0.5作為模型的綜合評價指標，該指標表示在不同類別上計算出的平均精確率（AP），其中交并比（IoU）閾值設為0.5。

3.2 試驗結果和對比分析

在煤礦井下進行現(xiàn)場試驗，驗證改進后算法的有效性和可靠性。經(jīng)現(xiàn)場試驗驗證，使用訓練后的模型對輸送帶跑偏距離≥10 cm的檢測準確率≥95%，對縱撕長度≥10 cm的檢測準確率為80%～95%，對異物檢測異物規(guī)格>80 mm的檢測準確率為80%～95%，托輥異常檢測準確率為96%。相比優(yōu)化改進之前，加權檢測準確度從83%提高到了95%。采用改進后的模型對輸送帶異物進行目標檢測如圖8所示。

圖8 采用改進后的模型對輸送帶異物進行目標檢測

表2表明，研究提出的方法在所有類別上都優(yōu)于YOLOv5模型，且平均提升了6%；提高了煤礦巡檢圖像識別任務的檢測效果，尤其是對于小目標缺陷區(qū)域的檢測能力。

表2 優(yōu)化前后檢測效果對比

總結

（1）為解決煤礦井下低照度模糊環(huán)境下輸送帶巡檢目標識別的關鍵問題，構建了大規(guī)模煤礦巡檢圖像數(shù)據(jù)集（CMID）并優(yōu)化了深度學習模型。相比優(yōu)化改進前，輸送帶跑偏距離、縱撕長度等指標的加權檢測準確度從83%提高到了95%，解決了現(xiàn)有井下巡檢系統(tǒng)中低照度目標識別精度低的問題；針對井下輸送帶不同故障類型優(yōu)化了輸出層結構，增加了對目標對象長軸長度和短軸長度等額外信息的回歸輸出，確保了模型輸出結果的可解釋性。

（2）識低照度模糊環(huán)境下識別方法解決了煤礦井下圖像質(zhì)量低、目標尺度小、遮擋嚴重等問題帶來的識別精度難題，提高了輸送帶故障檢測的準確性和可靠性，為帶式輸送機故障預警系統(tǒng)的工程化設計提供了核心技術依據(jù)，對傳統(tǒng)井工礦煤流運輸系統(tǒng)的改造升級具備實踐參考價值。

（3）未來研究可通過多傳感器數(shù)據(jù)融合、數(shù)據(jù)集擴增、邊緣計算模型輕量化、巡檢機器人設備聯(lián)動等手段，從多角度提高識別檢測方法的泛用性和實用性，推動形成井下綜合故障預警系統(tǒng)的建設范式。

編輯丨李莎

審核丨趙瑞

煤炭科學研究總院期刊出版公司擁有科技期刊21種。其中，SCI收錄1種，Ei收錄5種、CSCD收錄6種、Scopus收錄8種、中文核心期刊9種、中國科技核心期刊11種、中國科技期刊卓越行動計劃入選期刊4種，是煤炭行業(yè)最重要的科技窗口與學術交流陣地，也是行業(yè)最大最權威的期刊集群。

期刊簡介

《智能礦山》（月刊，CN 10-1709/TN，ISSN 2096-9139）是由中國煤炭科工集團有限公司主管、煤炭科學研究總院有限公司主辦的聚焦礦山智能化領域產(chǎn)學研用新進展的綜合性技術刊物。

主編：王國法院士

刊載欄目：企業(yè)/團隊/人物專訪政策解讀視角·觀點智能示范礦井對話革新·改造學術園地、專題報道等。

投稿網(wǎng)址：www.chinamai.org.cn（期刊中心-作者投稿）

?? 征稿函詳見鏈接： 征稿┃《智能礦山》面向廣大讀者征稿，歡迎投稿

期刊成果：創(chuàng)刊5年來，策劃出版了“中國煤科煤礦智能化成果”“陜煤集團智能化建設成果”“聚焦煤炭工業(yè)‘十四五’高質(zhì)量發(fā)展”等特刊/專題30多期。主辦“煤礦智能化重大進展發(fā)布會”“煤炭清潔高效利用先進成果發(fā)布會”“《智能礦山》理事、特約編輯年會暨智能化建設論壇”“智能礦山零距離”“礦山智能化建設運維與技術創(chuàng)新高新研修班”等活動20余次。組建了理事會、特約編輯團隊、卓越人物等千余人產(chǎn)學研用高端協(xié)同辦刊團隊，打造了“刊-網(wǎng)-號-群-庫”全覆蓋的1+N全媒體傳播平臺，全方位發(fā)布礦山智能化領域新技術、新產(chǎn)品、新經(jīng)驗。

?? 具體詳見鏈接：《智能礦山》創(chuàng)刊5周年回顧

聯(lián)系人：李編輯 010-87986441

郵發(fā)代號：82-476

?? 期刊訂閱詳見鏈接：歡迎訂閱┃《智能礦山》雜志2026年訂閱開始了！

往期薦讀