摘 要
礦井環(huán)境因復(fù)雜的地理?xiàng)l件和光照變化給機(jī)器人定位與建圖帶來挑戰(zhàn)。傳統(tǒng)的單一傳感器SLAM(激光SLAM或視覺SLAM)在此環(huán)境下存在局限性。筆者提出了一種激光-視覺-慣性多源緊耦合SLAM方法,結(jié)合激光雷達(dá)、視覺相機(jī)和IMU的優(yōu)勢(shì),解決了巷道結(jié)構(gòu)激光退化問題和無光環(huán)境下視覺跟蹤失效的問題,通過外參標(biāo)定實(shí)現(xiàn)多傳感器數(shù)據(jù)對(duì)齊,并設(shè)計(jì)了自適應(yīng)視覺權(quán)重機(jī)制,動(dòng)態(tài)判斷激光和視覺的可靠性。試驗(yàn)表明:該方法在礦井環(huán)境中,定位誤差降低至1.2%(相比單一傳感器SLAM降低30%以上),建圖精度提升25%,尤其在無光場(chǎng)景下仍能保持穩(wěn)定的定位性能,提高了系統(tǒng)的適應(yīng)性和魯棒性。
文章來源:《智能礦山》2025年第11期“礦山機(jī)器人技術(shù)創(chuàng)新與實(shí)踐特刊”
第一作者:張少剛,主要從事機(jī)器人、儀器儀表的相關(guān)研究工作。E-mail:tom.zhang@keep-think.com
作者單位:中國礦業(yè)大學(xué);江蘇凱普信電氣技術(shù)有限公司;中煤科工機(jī)器人科技有限公司
引用格式:張少剛,王雷,陳步平,等. 面向礦井的激光 – 視覺 – 慣性多源緊耦合SLAM方法研究[J].智能礦山,2025,6(11):113-117.
點(diǎn)擊文末左下角閱讀原文,免費(fèi)下載閱讀pdf全文
關(guān)注微信公眾號(hào),了解更多礦山智能化建設(shè)進(jìn)展
礦井環(huán)境結(jié)構(gòu)復(fù)雜、光照條件多變,移動(dòng)機(jī)器人定位與建圖存在諸多挑戰(zhàn),亟需解決煤礦機(jī)器人(如巡檢機(jī)器人、救援機(jī)器人、輸送機(jī)器人等)自主導(dǎo)航問題。SLAM技術(shù)是實(shí)現(xiàn)其精確定位與環(huán)境感知的核心關(guān)鍵。激光SLAM在幾何特征單一或重復(fù)的巷道中容易發(fā)生退化,視覺SLAM在弱光或無光環(huán)境中難以穩(wěn)定運(yùn)行,IMU雖能提供連續(xù)運(yùn)動(dòng)信息,卻存在誤差積累問題,單一傳感器方法難以滿足礦井環(huán)境下的精確定位需求。近年來,多傳感器融合SLAM方法受到廣泛關(guān)注,嘗試結(jié)合激光、視覺與慣性信息提升系統(tǒng)性能,但多數(shù)方法仍基于松耦合結(jié)構(gòu),未能實(shí)現(xiàn)多源信息的高效協(xié)同,難以應(yīng)對(duì)礦井環(huán)境的極端復(fù)雜性。
針對(duì)上述問題,筆者提出一種激光-視覺-慣性多源緊耦合SLAM方法,構(gòu)建統(tǒng)一優(yōu)化框架,引入自適應(yīng)視覺權(quán)重機(jī)制,充分發(fā)揮各傳感器優(yōu)勢(shì),在光照劇烈變化、幾何退化及無光場(chǎng)景下有效提升系統(tǒng)的定位精度與建圖魯棒性。
多傳感器標(biāo)定與數(shù)據(jù)關(guān)聯(lián)
多傳感器融合SLAM的關(guān)鍵在于實(shí)現(xiàn)激光雷達(dá)、視覺相機(jī)與IMU數(shù)據(jù)的精確對(duì)齊。通過外參標(biāo)定統(tǒng)一各傳感器坐標(biāo)系,并采用有效的策略進(jìn)行數(shù)據(jù)關(guān)聯(lián),保證不同傳感器的數(shù)據(jù)能夠共同作用于SLAM系統(tǒng)。
(1)傳感器標(biāo)定的目標(biāo)是確定各傳感器之間的相對(duì)位姿(旋轉(zhuǎn)矩陣和平移量)。采用Autoware軟件進(jìn)行激光雷達(dá)與相機(jī)的外參標(biāo)定,通過標(biāo)定板采集數(shù)據(jù),輸入相機(jī)內(nèi)參并識(shí)別角點(diǎn),最終計(jì)算出旋轉(zhuǎn)矩陣與平移量。
(2)數(shù)據(jù)融合過程中,需要將激光雷達(dá)、相機(jī)和IMU的坐標(biāo)系統(tǒng)一。通過標(biāo)定得到的旋轉(zhuǎn)矩陣與平移量,將激光雷達(dá)和相機(jī)的數(shù)據(jù)投影到IMU坐標(biāo)系中,確保數(shù)據(jù)能夠在統(tǒng)一的坐標(biāo)系統(tǒng)下進(jìn)行處理。坐標(biāo)系轉(zhuǎn)換原理如圖1所示,具體說明了通過旋轉(zhuǎn)矩陣和平移量將數(shù)據(jù)對(duì)齊。
圖1 坐標(biāo)系轉(zhuǎn)換原理
(3)融合策略將激光雷達(dá)點(diǎn)云投影到相機(jī)平面,為視覺系統(tǒng)提供深度信息,彌補(bǔ)視覺SLAM中缺乏尺度信息的問題。視覺系統(tǒng)的位姿信息被用作激光SLAM的先驗(yàn)信息,以優(yōu)化點(diǎn)云匹配精度。通過此策略,視覺與激光SLAM的結(jié)合,提高了定位與建圖的精度。
(4)在礦井等復(fù)雜環(huán)境中,傳感器數(shù)據(jù)關(guān)聯(lián)存在噪聲和誤差,為解決此問題,引入了自適應(yīng)視覺權(quán)重機(jī)制,根據(jù)信號(hào)光照強(qiáng)度動(dòng)態(tài)調(diào)整視覺數(shù)據(jù)的權(quán)重。在光照較好時(shí),視覺數(shù)據(jù)權(quán)重較大;在無光環(huán)境下,視覺數(shù)據(jù)權(quán)重減小,減少視覺SLAM的影響,該機(jī)制有效提高了系統(tǒng)的魯棒性。
多源融合SLAM算法設(shè)計(jì)
多源融合SLAM算法旨在結(jié)合激光雷達(dá)、視覺相機(jī)與IMU的數(shù)據(jù),利用各自優(yōu)勢(shì),解決單一傳感器在復(fù)雜環(huán)境中的局限性?;诩す?視覺-慣性緊耦合的多源融合SLAM算法設(shè)計(jì),主要包括系統(tǒng)架構(gòu)、各子系統(tǒng)功能設(shè)計(jì)、數(shù)據(jù)融合流程。
2.1 多源融合SLAM系統(tǒng)架構(gòu)
為提升定位精度與系統(tǒng)魯棒性,設(shè)計(jì)了雙子系統(tǒng)架構(gòu),包含激光-慣性子系統(tǒng)(LIO)和視覺-慣性子系統(tǒng)(VIO)。2個(gè)子系統(tǒng)并行工作,相互補(bǔ)充以增強(qiáng)整體系統(tǒng)的性能。LIO子系統(tǒng)在幾何特征豐富的環(huán)境中負(fù)責(zé)穩(wěn)定的定位與建圖,VIO子系統(tǒng)利用視覺信息補(bǔ)充系統(tǒng)在低光或無光環(huán)境下的能力。
通過兩者的緊耦合融合,更好地適應(yīng)在礦井等復(fù)雜環(huán)境中的變化。LIO和VIO各自獨(dú)立處理傳感器數(shù)據(jù),并通過信息共享與優(yōu)化相互提升。LIO子系統(tǒng)提供激光雷達(dá)的位姿估計(jì),VIO子系統(tǒng)提供視覺與IMU融合后的位姿信息,兩者通過緊耦合優(yōu)化進(jìn)行融合,以獲得更為精確的位姿估計(jì)。
2.2 視覺-慣性子系統(tǒng)(VIO)
在VIO子系統(tǒng)中,相機(jī)首先通過圖像中的特征提取算法,如角點(diǎn)檢測(cè)或光流法,獲取特征點(diǎn),并結(jié)合IMU數(shù)據(jù)進(jìn)行位姿估計(jì)。由于相機(jī)無法直接提供深度信息,激光點(diǎn)云被投影到相機(jī)平面,提供尺度信息,彌補(bǔ)視覺SLAM中對(duì)深度信息的缺乏。
IMU數(shù)據(jù)通過加速度計(jì)和陀螺儀的測(cè)量為視覺系統(tǒng)提供補(bǔ)充,幫助估計(jì)位姿并減少視覺系統(tǒng)在低光或光照不均情況下產(chǎn)生的誤差。在光照良好的環(huán)境中,視覺系統(tǒng)的特征點(diǎn)提取較為精確,視覺權(quán)重較大;在光照不足環(huán)境下,圖像特征點(diǎn)質(zhì)量下降,視覺權(quán)重減小,系統(tǒng)依賴激光雷達(dá)和IMU,確保定位精度和系統(tǒng)魯棒性。動(dòng)態(tài)調(diào)整機(jī)制使得視覺-慣性系統(tǒng)自適應(yīng)不同環(huán)境,優(yōu)化定位精度。
2.3 激光-慣性子系統(tǒng)(LIO)
LIO子系統(tǒng)主要依賴激光雷達(dá)和IMU的數(shù)據(jù)進(jìn)行高精度的定位與建圖。IMU通過預(yù)積分過程提供雷達(dá)的初始位姿估計(jì),激光雷達(dá)通過對(duì)周圍環(huán)境的點(diǎn)云數(shù)據(jù)進(jìn)行特征提取和匹配進(jìn)行定位。IMU數(shù)據(jù)提供位姿先驗(yàn)信息,用于去畸變處理,確保激光雷達(dá)點(diǎn)云數(shù)據(jù)的準(zhǔn)確性。在激光雷達(dá)的位姿優(yōu)化過程中,視覺系統(tǒng)位姿信息被用作先驗(yàn)約束,幫助優(yōu)化點(diǎn)云匹配精度,提高系統(tǒng)的定位準(zhǔn)確性。
通過緊耦合的激光、視覺與IMU數(shù)據(jù)融合,LIO子系統(tǒng)在礦井等復(fù)雜環(huán)境中,有效解決激光雷達(dá)在幾何特征簡單或紋理不足場(chǎng)景下的退化問題,同時(shí)在無光或低光環(huán)境下,依賴視覺與IMU的輔助來維持系統(tǒng)的穩(wěn)定性和精度。融合后的LIO子系統(tǒng)能夠提供穩(wěn)定可靠的定位結(jié)果,尤其是在多變環(huán)境中,確保了系統(tǒng)的高魯棒性。
2.4 緊耦合優(yōu)化與融合
LIO和VIO子系統(tǒng)通過緊耦合優(yōu)化機(jī)制實(shí)現(xiàn)數(shù)據(jù)融合。在融合過程中,LIO和VIO分別提供位姿信息,并根據(jù)光照條件動(dòng)態(tài)調(diào)整視覺數(shù)據(jù)的權(quán)重。激光雷達(dá)的位姿信息用于優(yōu)化視覺SLAM中的點(diǎn)云匹配,視覺位姿信息則作為激光SLAM的先驗(yàn)約束。通過目標(biāo)函數(shù)的聯(lián)合優(yōu)化,獲得最優(yōu)機(jī)器人位姿。多傳感器融合SLAM的優(yōu)化原理如圖2所示。激光雷達(dá)和視覺系統(tǒng)通過LIO和VIO子系統(tǒng)分別優(yōu)化位姿,緊耦合優(yōu)化后,兩者的位姿信息融合在一起,最終獲得準(zhǔn)確的定位結(jié)果。
圖2 多傳感器融合SLAM的優(yōu)化原理
性能評(píng)估與方法驗(yàn)證
為了驗(yàn)證激光-視覺-慣性多源融合SLAM方法在復(fù)雜環(huán)境中的實(shí)際表現(xiàn),評(píng)估該方法在不同環(huán)境條件下的定位精度、建圖質(zhì)量和實(shí)時(shí)性。
(1)在光照充足環(huán)境中,單一激光-慣性SLAM(LIO)系統(tǒng)的定位誤差較小,最大誤差為3.49%,建圖精度較高。相比之下,視覺-慣性SLAM(VIO)在光照良好的環(huán)境中也能提供較為準(zhǔn)確的定位。當(dāng)環(huán)境光照條件變化或光照不足時(shí),VIO定位精度明顯下降,軌跡漂移明顯;多源融合SLAM系統(tǒng)在光照變化和幾何特征簡單的環(huán)境下表現(xiàn)出了較強(qiáng)的穩(wěn)定性,定位誤差相比單一LIO和VIO系統(tǒng)降低了30%以上,表明融合方法可有效應(yīng)對(duì)環(huán)境變化對(duì)定位精度的影響。在光照充足條件下,多傳感器融合SLAM模擬巷道建圖過程如圖3所示,(a)至(b)為機(jī)器人從模擬巷道口進(jìn)入,相機(jī)圖像由暗轉(zhuǎn)亮,視覺權(quán)重慢慢增加;(c)至(e)光照強(qiáng)度慢慢變差視覺權(quán)重減小;(f)至(g)再變亮;(h)至(k)再變暗。
圖3 多傳感器融合SLAM模擬巷道建圖過程
(2)在幾何退化環(huán)境中,單一LIO系統(tǒng)定位精度下降,特別是在礦井環(huán)境中,幾何特征重復(fù)且紋理較少的情況下,激光雷達(dá)定位結(jié)果容易受到退化影響。通過引入視覺系統(tǒng)約束,融合SLAM有效彌補(bǔ)了激光雷達(dá)的退化,提高了定位精度。通過視覺點(diǎn)云約束,視覺與激光雷達(dá)的緊耦合優(yōu)化減少點(diǎn)云配準(zhǔn)誤差,提升建圖精度。在幾何退化環(huán)境下,融合SLAM的建圖誤差顯著低于單一LIO系統(tǒng),驗(yàn)證了視覺信息在解決激光雷達(dá)退化問題中的作用。多傳感器融合SLAM局部地圖和軌跡如圖4所示,(a)至(b)為機(jī)器人從模擬巷道口進(jìn)入,相機(jī)圖像由暗轉(zhuǎn)亮,視覺權(quán)重慢慢增加;(c)至(e)光照強(qiáng)度慢慢變差視覺權(quán)重減??;(f)至(g)再變亮,(h)至(k)再變暗,表明在幾何退化環(huán)境中,融合SLAM與單一LIO的建圖誤差對(duì)比,顯示出融合方法的明顯優(yōu)勢(shì)。
圖4 多傳感器融合SLAM局部地圖和軌跡
(3)在無光環(huán)境下,視覺系統(tǒng)性能會(huì)受到極大影響,VIO系統(tǒng)無法提供穩(wěn)定的定位信息。激光-視覺-慣性多源融合SLAM系統(tǒng),在無光環(huán)境下可穩(wěn)定運(yùn)行。IMU和激光雷達(dá)提供了足夠的運(yùn)動(dòng)信息,視覺系統(tǒng)的輔助角色主要是在關(guān)鍵時(shí)刻通過深度信息補(bǔ)充,提高系統(tǒng)魯棒性。激光雷達(dá)和IMU的緊耦合優(yōu)化保持了系統(tǒng)在定位精度和建圖質(zhì)量上的優(yōu)勢(shì),確保了無光環(huán)境下的連續(xù)運(yùn)行。多傳感器融合SLAM軌跡對(duì)比如圖5所示,表明在無光環(huán)境下,融合SLAM與單一VIO的軌跡對(duì)比,凸顯了融合方法在無光環(huán)境中的穩(wěn)定性。
圖5 多傳感器融合SLAM軌跡對(duì)比
綜上,實(shí)驗(yàn)評(píng)估表明激光-視覺-慣性多源融合SLAM方法在復(fù)雜礦井環(huán)境中,尤其是在光照變化、幾何退化和無光場(chǎng)景下性能優(yōu)越。融合SLAM通過充分利用激光雷達(dá)、視覺相機(jī)和IMU的互補(bǔ)優(yōu)勢(shì),在提升定位精度和建圖質(zhì)量的同時(shí),確保了系統(tǒng)在各種極端環(huán)境中的魯棒性和穩(wěn)定性。
總 結(jié)
(1)在礦井環(huán)境中,傳統(tǒng)的單一傳感器SLAM方法受到光照變化、幾何退化等因素的限制,導(dǎo)致定位精度和建圖質(zhì)量不穩(wěn)定。為解決此問題,提出了一種激光-視覺-慣性多源緊耦合SLAM方法,結(jié)合激光雷達(dá)、視覺相機(jī)和IMU的數(shù)據(jù),充分利用各自的優(yōu)勢(shì),提升系統(tǒng)的定位精度和建圖效果。
(2)多源融合 SLAM 在煤礦井下的環(huán)境條件下,特別是在光照變化劇烈、幾何退化以及無光環(huán)境下,具有較強(qiáng)的魯棒性和穩(wěn)定性。在光照變化較大的環(huán)境中,融合SLAM相較于單一傳感器SLAM,定位誤差降低了約30%,在幾何退化場(chǎng)景中,視覺系統(tǒng)有效地抑制了激光雷達(dá)的退化問題,提升了建圖精度。
(3)未來研究將著力解決動(dòng)態(tài)環(huán)境下的實(shí)時(shí)感知與定位優(yōu)化、多機(jī)器人協(xié)同建圖與定位技術(shù)、長期運(yùn)行中的地圖更新策略等關(guān)鍵問題。通過融合毫米波雷達(dá)等新型傳感器,開發(fā)輕量化算法架構(gòu),進(jìn)一步提升系統(tǒng)在粉塵、水霧等惡劣環(huán)境中的適應(yīng)性。
#機(jī)器人#定位與建圖#多源融合#SLAM#激光雷達(dá)#機(jī)器視覺#IMU
編輯丨李莎
審核丨趙瑞
煤炭科學(xué)研究總院期刊出版公司擁有科技期刊21種。其中,SCI收錄1種,Ei收錄5種、CSCD收錄6種、Scopus收錄8種、中文核心期刊9種、中國科技核心期刊11種、中國科技期刊卓越行動(dòng)計(jì)劃入選期刊4種,是煤炭行業(yè)最重要的科技窗口與學(xué)術(shù)交流陣地,也是行業(yè)最大最權(quán)威的期刊集群。
期刊簡介
《智能礦山》(月刊,CN 10-1709/TN,ISSN 2096-9139)是由中國煤炭科工集團(tuán)有限公司主管、煤炭科學(xué)研究總院有限公司主辦的聚焦礦山智能化領(lǐng)域產(chǎn)學(xué)研用新進(jìn)展的綜合性技術(shù)刊物。
主編:王國法院士
刊載欄目:企業(yè)/團(tuán)隊(duì)/人物專訪政策解讀視角·觀點(diǎn)智能示范礦井對(duì)話革新·改造學(xué)術(shù)園地、專題報(bào)道等。
投稿網(wǎng)址:www.chinamai.org.cn(期刊中心-作者投稿)
?? 征稿函詳見鏈接: 征稿┃《智能礦山》面向廣大讀者征稿,歡迎投稿
期刊成果:創(chuàng)刊5年來,策劃出版了“中國煤科煤礦智能化成果”“陜煤集團(tuán)智能化建設(shè)成果”“聚焦煤炭工業(yè)‘十四五’高質(zhì)量發(fā)展”等特刊/專題30多期。主辦“煤礦智能化重大進(jìn)展發(fā)布會(huì)”“煤炭清潔高效利用先進(jìn)成果發(fā)布會(huì)”“《智能礦山》理事、特約編輯年會(huì)暨智能化建設(shè)論壇”“智能礦山零距離”“礦山智能化建設(shè)運(yùn)維與技術(shù)創(chuàng)新高新研修班”等活動(dòng)20余次。組建了理事會(huì)、特約編輯團(tuán)隊(duì)、卓越人物等千余人產(chǎn)學(xué)研用高端協(xié)同辦刊團(tuán)隊(duì),打造了“刊-網(wǎng)-號(hào)-群-庫”全覆蓋的1+N全媒體傳播平臺(tái),全方位發(fā)布礦山智能化領(lǐng)域新技術(shù)、新產(chǎn)品、新經(jīng)驗(yàn)。
?? 具體詳見鏈接:《智能礦山》創(chuàng)刊5周年回顧
聯(lián)系人:李編輯 010-87986441
郵發(fā)代號(hào):82-476
?? 期刊訂閱詳見鏈接:歡迎訂閱┃《智能礦山》雜志2026年訂閱開始了!
往期薦讀
會(huì)議議程┃關(guān)于召開煤炭無人化開采數(shù)智技術(shù)研討暨成果發(fā)布會(huì)的通知(2026年1月9—11日北京)
行業(yè)聚焦┃2025年礦山智能化建設(shè)運(yùn)維與技術(shù)創(chuàng)新高級(jí)研修班成功在威海舉辦
行業(yè)聚焦┃2025智慧礦山技術(shù)創(chuàng)新與產(chǎn)業(yè)發(fā)展論壇(新疆)成功召開
往期特刊
中國煤科特刊
陜煤集團(tuán)特刊
神東專欄
重大進(jìn)展特刊
露天礦特刊
理事單位特刊
紅柳林煤礦特刊
創(chuàng)新技術(shù)特刊
創(chuàng)刊號(hào)
版權(quán)聲明
本刊對(duì)已出版文章持有電子版、網(wǎng)絡(luò)版及進(jìn)行網(wǎng)絡(luò)技術(shù)交流和與各網(wǎng)絡(luò)數(shù)據(jù)庫合作的權(quán)利,稿酬一次性付清,版權(quán)歸本刊與作者共同所有,如不同意,請(qǐng)?jiān)谕陡鍟r(shí)聲明。
聲明:本文系轉(zhuǎn)載自互聯(lián)網(wǎng),請(qǐng)讀者僅作參考,并自行核實(shí)相關(guān)內(nèi)容。若對(duì)該稿件內(nèi)容有任何疑問或質(zhì)疑,請(qǐng)立即與鐵甲網(wǎng)聯(lián)系,本網(wǎng)將迅速給您回應(yīng)并做處理,再次感謝您的閱讀與關(guān)注。