露天礦山道路凹坑、碎石密集，障礙物精準(zhǔn)感知是實(shí)現(xiàn)礦用卡車(chē)自動(dòng)駕駛的核心與難點(diǎn)?；诩す饫走_(dá)與攝像頭融合感知的障礙物識(shí)別方法，設(shè)計(jì)激光雷達(dá)點(diǎn)云與攝像頭圖像的聯(lián)合標(biāo)定方法，實(shí)現(xiàn)點(diǎn)云與圖像坐標(biāo)統(tǒng)一;結(jié)合二維和三維信息的目標(biāo)檢測(cè)算法，將圖像檢測(cè)障礙物回歸目標(biāo)中心點(diǎn)、點(diǎn)云中檢測(cè)障礙物回歸為目標(biāo)中心點(diǎn)集;提出了基于KNN算法與二叉樹(shù)模型的感知目標(biāo)融合算法，KNN算法實(shí)現(xiàn)目標(biāo)點(diǎn)中心融合，并采用二叉樹(shù)模型提高檢測(cè)目標(biāo)匹配效率。

文章來(lái)源：《智能礦山》2025年第8期“學(xué)術(shù)園地”欄目

作者簡(jiǎn)介：趙樹(shù)軍，主要從事露天礦科技創(chuàng)新、生產(chǎn)技術(shù)管理的相關(guān)研究工作。E-mail：10022605@ceic.com

作者單位：國(guó)家能源集團(tuán)陜西神延煤炭有限責(zé)任公司

引用格式：趙樹(shù)軍.露天礦山礦用卡車(chē)多傳感融合障礙物識(shí)別方法探討[J].智能礦山，2025，6(8)：69-72.

點(diǎn)擊文末左下角閱讀原文，免費(fèi)下載閱讀pdf全文

關(guān)注微信公眾號(hào)，了解更多礦山智能化建設(shè)進(jìn)展

露天礦山環(huán)境復(fù)雜、障礙物多，實(shí)現(xiàn)高效可靠的障礙物識(shí)別是礦用卡車(chē)自動(dòng)駕駛技術(shù)的核心需求和難點(diǎn)。單一傳感器障礙物識(shí)別方法難以適用于復(fù)雜的礦山環(huán)境，不能滿足礦用卡車(chē)自動(dòng)駕駛技術(shù)的感知需求?；诩す饫走_(dá)和深度相機(jī)的融合感知方法，通過(guò)雷達(dá)和相機(jī)決策層融合，實(shí)現(xiàn)高精度障礙物識(shí)別，結(jié)合二維和三維目標(biāo)檢測(cè)算法提高障礙物識(shí)別的準(zhǔn)確性；利用KNN算法和二叉樹(shù)模型提高數(shù)據(jù)匹配的效率和可靠性。

露天礦環(huán)境特點(diǎn)

露天煤礦環(huán)境中的障礙物種類繁多，可分為固定障礙物、動(dòng)態(tài)障礙物和對(duì)礦用卡車(chē)行駛有重要影響的特殊障礙物。固定障礙物包括但不限于巖石、礦石堆、建筑物和固定設(shè)備等位置和形態(tài)相對(duì)固定的障礙物，可通過(guò)預(yù)先地圖信息和實(shí)時(shí)傳感器數(shù)據(jù)進(jìn)行識(shí)別。動(dòng)態(tài)障礙物包括位置和速度變化的其他行駛車(chē)輛、工人和動(dòng)物等，需要實(shí)時(shí)監(jiān)測(cè)和響應(yīng)確保安全。特殊障礙物包括深坑、積水、積雪等影響礦用卡車(chē)正常行駛的干擾因素，需要準(zhǔn)確辨識(shí)以保障礦用卡車(chē)穩(wěn)定運(yùn)行。

露天煤礦特殊環(huán)境障礙物識(shí)別存在多方面挑戰(zhàn)。不平路面、坡度變化和滑坡區(qū)域等復(fù)雜地形條件，需要障礙物識(shí)別方法具有高度的適應(yīng)性；雨、霧和雪等惡劣天氣條件，嚴(yán)重影響傳感器性能和可靠性；礦區(qū)塵土和噪聲干擾傳感器信號(hào)和數(shù)據(jù)處理系統(tǒng)，要求障礙物識(shí)別方法滿足實(shí)時(shí)調(diào)整和適應(yīng)快速變化的復(fù)雜環(huán)境。

現(xiàn)有障礙物識(shí)別方法存在的問(wèn)題

目前，露天礦無(wú)人駕駛車(chē)輛障礙物檢測(cè)系統(tǒng)主要依賴多傳感器識(shí)別道路障礙，再通過(guò)卷積神經(jīng)網(wǎng)絡(luò)算法模型訓(xùn)練實(shí)車(chē)數(shù)據(jù)，選取圖像目標(biāo)檢測(cè)中的特定數(shù)據(jù)點(diǎn)并使用改良的迭代最近點(diǎn)算法消除虛假目標(biāo)點(diǎn)，實(shí)現(xiàn)圖像與3D點(diǎn)云數(shù)據(jù)融合，提高算法準(zhǔn)確性和效率。

激光雷達(dá)向目標(biāo)物體發(fā)送激光束，激光束通過(guò)不同目標(biāo)物體返回不同回波，激光雷達(dá)接收回波，從中提取最近回波點(diǎn)進(jìn)行聚類分析，確定回波點(diǎn)是否為障礙物；使用YOLO算法訓(xùn)練數(shù)據(jù)集以生成目標(biāo)框，融合雷達(dá)目標(biāo)和相機(jī)目標(biāo)的檢測(cè)框來(lái)確定障礙物，邊界框重疊區(qū)域百分比用作判斷障礙物的標(biāo)準(zhǔn)，激光雷達(dá)多回波感知示意如圖1所示。

圖1 激光雷達(dá)多回波感知示意

在露天采場(chǎng)的具體場(chǎng)景中，激光雷達(dá)傳感器識(shí)別障礙物的方法存在顯著缺陷。使用多傳感器數(shù)據(jù)融合增加計(jì)算負(fù)擔(dān)，增加算法時(shí)間復(fù)雜度并降低運(yùn)行效率，導(dǎo)致礦用卡車(chē)感知系統(tǒng)實(shí)時(shí)性不足；普通單目相機(jī)無(wú)法獲取深度信息，障礙物位置估計(jì)不精確；礦區(qū)運(yùn)輸路況復(fù)雜，障礙物種類多，增加了誤檢和漏檢的風(fēng)險(xiǎn)。

露天礦礦用卡車(chē)自動(dòng)駕駛障礙物識(shí)別方法

基于16線激光雷達(dá)及RealsenseD435深度相機(jī)的露天煤礦環(huán)境中礦用卡車(chē)自動(dòng)駕駛的障礙物識(shí)別方法，目標(biāo)檢測(cè)算法滿足高復(fù)雜路況的精度障礙物識(shí)別，主要包括6個(gè)方面的核心技術(shù)。

（1）數(shù)據(jù)采集設(shè)備

采用16線激光雷達(dá)和RealsenseD435深度相機(jī)作為主要的數(shù)據(jù)采集設(shè)備。16線激光雷達(dá)提供高精度點(diǎn)云數(shù)據(jù)，捕捉環(huán)境三維信息；RealsenseD435深度相機(jī)捕獲高清圖像數(shù)據(jù)，提供相關(guān)的深度信息。通過(guò)整合傳感器數(shù)據(jù)，在統(tǒng)一系統(tǒng)中獲得更豐富和多元化信息，提高障礙物識(shí)別系統(tǒng)的性能和可靠性。

（2）數(shù)據(jù)采集方式

激光雷達(dá)捕獲周?chē)h(huán)境的詳細(xì)三維點(diǎn)云數(shù)據(jù)，為后續(xù)的對(duì)象識(shí)別提供三維信息源；深度相機(jī)獲取高清圖像數(shù)據(jù)和與之相應(yīng)的深度信息。激光雷達(dá)檢測(cè)使用CenterPoint算法，生成候選點(diǎn)并對(duì)輸入點(diǎn)云離散化，生成多候選點(diǎn)的3D網(wǎng)格，采用網(wǎng)絡(luò)輸出和非極大值抑制策略確定最終目標(biāo)中心點(diǎn)，數(shù)據(jù)融合提高了系統(tǒng)穩(wěn)定性和可靠性，數(shù)據(jù)采集算法分配如圖2所示。

圖2 數(shù)據(jù)采集算法分配

（3）激光雷達(dá)與相機(jī)聯(lián)合標(biāo)定

露天礦礦用卡車(chē)自動(dòng)駕駛障礙物識(shí)別系統(tǒng)中，激光雷達(dá)和相機(jī)聯(lián)合標(biāo)定確保從2個(gè)不同傳感器獲取的數(shù)據(jù)，可在統(tǒng)一坐標(biāo)系中準(zhǔn)確表示和分析。聯(lián)合標(biāo)定通常采用帶有特定標(biāo)記的平板作為標(biāo)定對(duì)象，將帶有標(biāo)記的平板放置在激光雷達(dá)和相機(jī)共同視場(chǎng)中，找到激光雷達(dá)和相機(jī)之間的空間關(guān)系。在相機(jī)端，采用特征點(diǎn)檢測(cè)算法標(biāo)定對(duì)象標(biāo)記，從中提取必要的幾何信息；在激光雷達(dá)端，通過(guò)點(diǎn)云數(shù)據(jù)捕獲標(biāo)定對(duì)象的三維結(jié)構(gòu)。激光雷達(dá)和相機(jī)的聯(lián)合標(biāo)定如圖3所示。

圖3 激光雷達(dá)和相機(jī)的聯(lián)合標(biāo)定

結(jié)合標(biāo)定對(duì)象在2個(gè)傳感器中的數(shù)據(jù)，建立描述激光雷達(dá)和相機(jī)之間旋轉(zhuǎn)和平移關(guān)系的轉(zhuǎn)換矩陣，標(biāo)定得到的轉(zhuǎn)換矩陣將三維點(diǎn)云數(shù)據(jù)投影到相機(jī)圖像上，且將相機(jī)圖像中識(shí)別到的對(duì)象精確定位到點(diǎn)云數(shù)據(jù)的對(duì)應(yīng)對(duì)象。創(chuàng)建融合數(shù)據(jù)集，為后續(xù)目標(biāo)檢測(cè)算法提供更加準(zhǔn)確和詳細(xì)的數(shù)據(jù)支持。

（4）數(shù)據(jù)融合與處理

數(shù)據(jù)融合和處理是實(shí)現(xiàn)障礙物檢測(cè)的關(guān)鍵，將來(lái)自激光雷達(dá)和相機(jī)的信息整合到統(tǒng)一框架中，以實(shí)現(xiàn)更加準(zhǔn)確和可靠的障礙物識(shí)別。通過(guò)轉(zhuǎn)換矩陣將激光雷達(dá)和相機(jī)的數(shù)據(jù)映射到統(tǒng)一坐標(biāo)系，使用基于圖像的CenterNet算法和基于雷達(dá)的CenterPoint算法從各自的數(shù)據(jù)源中識(shí)別障礙物，將2種方法檢測(cè)到的目標(biāo)中心點(diǎn)在共同平臺(tái)融合，創(chuàng)建基于激光雷達(dá)和相機(jī)數(shù)據(jù)的融合數(shù)據(jù)集。

目標(biāo)中心點(diǎn)融合使用KNN算法，查找最近鄰居并合并相應(yīng)數(shù)據(jù)點(diǎn)，通過(guò)比較圖像和點(diǎn)云數(shù)據(jù)中的目標(biāo)中心點(diǎn)，理解和識(shí)別各障礙物特性和位置，引入二叉樹(shù)模型提高數(shù)據(jù)匹配效率，允許快速查找和匹配相應(yīng)數(shù)據(jù)點(diǎn)，減少計(jì)算時(shí)間和資源，數(shù)據(jù)融合處理流程如圖4所示。

圖4 數(shù)據(jù)融合處理流程

（5）點(diǎn)云中的障礙物識(shí)別與回歸

在點(diǎn)云數(shù)據(jù)處理階段，選擇使用CenterPoint算法識(shí)別和回歸障礙物，在三維空間中得以精確定位和描述。將三維空間分割為許多體素，并在每個(gè)體素中確定1個(gè)代表點(diǎn)，通常為體素中心點(diǎn)，通過(guò)離散化輸入點(diǎn)云數(shù)據(jù)，構(gòu)建初步候選點(diǎn)3D網(wǎng)格集合標(biāo)識(shí)潛在障礙物；后處理候選點(diǎn)預(yù)測(cè)候選點(diǎn)各項(xiàng)屬性。

采用深度神經(jīng)網(wǎng)絡(luò)，基于候選點(diǎn)周?chē)c(diǎn)云結(jié)構(gòu)信息預(yù)測(cè)每個(gè)候選點(diǎn)的類別、三維空間尺寸和方向等屬性。引入非極大值抑制策略消除冗余和錯(cuò)誤候選點(diǎn)，減少重復(fù)檢測(cè)和錯(cuò)誤陽(yáng)性，提高檢測(cè)的準(zhǔn)確性，保證檢測(cè)系統(tǒng)的高精度和高可靠性。NMS通過(guò)比較相鄰候選點(diǎn)的預(yù)測(cè)分?jǐn)?shù)和重疊度，保留得分最高的候選點(diǎn)，同時(shí)抑制其他重疊度較高的點(diǎn)，centerpoint模型應(yīng)用效果如圖5所示。

圖5 centerpoint模型應(yīng)用效果

（6）障礙物中心點(diǎn)融合與匹配

在目標(biāo)中心點(diǎn)融合過(guò)程中，K-最近鄰（KNN）算法整合了由CenterNet和CenterPoint算法獲取的二維圖像和三維點(diǎn)云障礙物中心點(diǎn)信息。不同維度的相關(guān)數(shù)據(jù)信息輸入統(tǒng)一坐標(biāo)系中比較和關(guān)聯(lián)。利用KNN算法找到最近點(diǎn)對(duì)，并通過(guò)比較中心點(diǎn)間的歐氏距離確定匹配點(diǎn)。在確定最近點(diǎn)對(duì)之后，采用投票系統(tǒng)，基于多數(shù)投票原則決定每個(gè)點(diǎn)的最終類別和屬性，確保系統(tǒng)具有魯棒性，抵抗傳感器噪聲和其他干擾。KNN算法在數(shù)據(jù)融合過(guò)程中識(shí)別出匹配點(diǎn)對(duì)，合并來(lái)自不同傳感器的信息，提供更豐富的障礙物表示，提高障礙物識(shí)別的準(zhǔn)確性和可靠性，KNN算法原理示意如圖6所示。

圖6 KNN算法原理

在KNN算法的數(shù)據(jù)匹配過(guò)程中，匹配效率采用了KD樹(shù)結(jié)構(gòu)加速和優(yōu)化匹配效率。KD樹(shù)用于多維空間中數(shù)據(jù)快速檢索的二叉樹(shù)結(jié)構(gòu)?；趶睦走_(dá)和相機(jī)獲取的多維數(shù)據(jù)，選擇目標(biāo)中心點(diǎn)坐標(biāo)作為KD樹(shù)構(gòu)建依據(jù)。應(yīng)用KD樹(shù)數(shù)據(jù)檢索時(shí)，通過(guò)快速消除不可能包含目標(biāo)區(qū)域減少搜索時(shí)間，提高了搜索效率。

礦用卡車(chē)配備激光雷達(dá)、毫米波雷達(dá)以及攝像頭等傳感器，在障礙物識(shí)別過(guò)程中快速構(gòu)建周?chē)h(huán)境的點(diǎn)全模型，勾勒出石塊輪廓確定其位置和形狀，根據(jù)大小進(jìn)行繞障或跨障決策，礦用卡車(chē)多傳感融合障礙物識(shí)別現(xiàn)場(chǎng)如圖7所示。

圖7 礦用卡車(chē)多傳感融合障礙物識(shí)別現(xiàn)場(chǎng)

結(jié) 語(yǔ)

露天煤礦環(huán)境中的礦用卡車(chē)自動(dòng)駕駛系統(tǒng)通過(guò)融合16線激光雷達(dá)與RealsenseD435深度相機(jī)的數(shù)據(jù)，實(shí)現(xiàn)了對(duì)障礙物的準(zhǔn)確識(shí)別。通過(guò)聯(lián)合標(biāo)定技術(shù)將點(diǎn)云數(shù)據(jù)和圖像數(shù)據(jù)投影至同一坐標(biāo)系，整合了二維和三維目標(biāo)檢測(cè)算法；利用CenterNet和CenterPoint算法分別處理圖像和點(diǎn)云數(shù)據(jù)來(lái)獲取目標(biāo)中心點(diǎn)，并通過(guò)KNN算法實(shí)現(xiàn)了目標(biāo)中心點(diǎn)的高效融合。為進(jìn)一步提高數(shù)據(jù)匹配效率，引入了基于KD樹(shù)結(jié)構(gòu)的匹配策略，提高數(shù)據(jù)檢索的速度和準(zhǔn)確性。露天礦山智能礦用卡車(chē)多傳感融合障礙物識(shí)別方法，提高了障礙物識(shí)別準(zhǔn)確率，為實(shí)時(shí)避障研究提供了一定的技術(shù)支持。

編輯丨李莎

審核丨趙瑞

煤炭科學(xué)研究總院期刊出版公司擁有科技期刊21種。其中，SCI收錄1種，Ei收錄5種、CSCD收錄6種、Scopus收錄7種、中文核心期刊9種、中國(guó)科技核心期刊11種、中國(guó)科技期刊卓越行動(dòng)計(jì)劃入選期刊4種，是煤炭行業(yè)最重要的科技窗口與學(xué)術(shù)交流陣地，也是行業(yè)最大最權(quán)威的期刊集群。

《智能礦山》

Journal of Intelligent Mine

月刊CN 10-1709/TN，ISSN 2096-9139，聚焦礦山智能化領(lǐng)域產(chǎn)學(xué)研用新進(jìn)展的綜合性技術(shù)刊物。

主編：王國(guó)法院士

投稿網(wǎng)址：www.chinamai.org.cn（期刊中心-作者投稿）

聯(lián)系人：李編輯 010-87986441

郵發(fā)代號(hào)：82-476

往期薦讀

• 二號(hào)通知┃關(guān)于舉辦2025年礦山智能化建設(shè)運(yùn)維與技術(shù)創(chuàng)新高級(jí)研修班的通知（山東威海9月23—28日）

• 行業(yè)聚焦┃2025智慧礦山技術(shù)創(chuàng)新與產(chǎn)業(yè)發(fā)展論壇（新疆）成功召開(kāi)

• 行業(yè)聚焦┃2024年煤炭清潔高效利用智能化成果發(fā)布暨選煤廠智能化建設(shè)論壇順利召開(kāi)

• 征稿┃《智能礦山》面向廣大讀者征稿，歡迎投稿

• 歡迎訂閱┃《智能礦山》雜志2025年訂閱開(kāi)始了！

• 行業(yè)聚焦┃2024年煤礦智能化重大進(jìn)展發(fā)布會(huì)成功召開(kāi)

• 《智能礦山》創(chuàng)刊4周年回顧

• 王國(guó)法院士煤礦智能化觀點(diǎn)集錦

• 新書(shū)訂閱 ┃《中國(guó)煤礦智能化發(fā)展報(bào)告（2024年）》（王國(guó)法，劉峰 主編）

往期特刊

中國(guó)煤科特刊

陜煤集團(tuán)特刊

神東專欄

重大進(jìn)展特刊

露天礦特刊

理事單位特刊

紅柳林煤礦特刊

創(chuàng)新技術(shù)特刊

創(chuàng)刊號(hào)

版權(quán)聲明

本刊對(duì)已出版文章持有電子版、網(wǎng)絡(luò)版及進(jìn)行網(wǎng)絡(luò)技術(shù)交流和與各網(wǎng)絡(luò)數(shù)據(jù)庫(kù)合作的權(quán)利，稿酬一次性付清，版權(quán)歸本刊與作者共同所有，如不同意，請(qǐng)?jiān)谕陡鍟r(shí)聲明。

---

聲明：本文系轉(zhuǎn)載自互聯(lián)網(wǎng)，請(qǐng)讀者僅作參考，并自行核實(shí)相關(guān)內(nèi)容。若對(duì)該稿件內(nèi)容有任何疑問(wèn)或質(zhì)疑，請(qǐng)立即與鐵甲網(wǎng)聯(lián)系，本網(wǎng)將迅速給您回應(yīng)并做處理，再次感謝您的閱讀與關(guān)注。