基于自適應(yīng)視覺的定向能量沉積激光與材料相互作用檢測

來源：長三角G60激光聯(lián)盟

導(dǎo)讀：本文提出了一種基于低成本高動態(tài)范圍（HDR）視覺傳感器的激光-材料相互作用區(qū)目標區(qū)域檢測方法,。
摘要

現(xiàn)場視覺數(shù)據(jù)采集,、特征提取和分析是定向能量沉積（DED）質(zhì)量評估的持續(xù)挑戰(zhàn),。本文提出了一種基于低成本高動態(tài)范圍（HDR）視覺傳感器的激光-材料相互作用區(qū)目標區(qū)域檢測方法,。大量實驗結(jié)果表明,，該方案能夠在各種功率水平和工藝條件下檢測和跟蹤目標區(qū)域,。

1.介紹

定向能量沉積（DED）是一種增材制造（AM）工藝，其中粉末流通過氣流引導(dǎo)到基板上,，并通過與激光束的相互作用熔化,，逐層制造給定零件。DED是最常見的金屬增材制造工藝之一,，以其生產(chǎn)高密度零件的能力而聞名,，否則很難實現(xiàn)。目前正在努力更好地理解和提高激光金屬AM工藝的性能和可靠性,，以實現(xiàn)工業(yè)化和工藝采用,，努力主要集中在提高零件質(zhì)量和工藝重復(fù)性。

根據(jù)ASTM/ISO AM術(shù)語標準(ISO/ASTM 52900-15),，“DED是一種增材制造工藝,，在其過程中，聚焦熱能被用于熔化正在沉積的材料,�,！倍ㄏ蚰艹练e(DED)與PBF類似，它使用激光(或電子)束來熔化粉末,。然而,，粉末原料的沉積和熔化方式使其更容易和成本有效地擴展到更大的AM部件,。

研究人員使用各種傳感技術(shù)觀察到熔化和凝固現(xiàn)象，以更好地理解激光與材料相互作用背后的物理,，識別過程不穩(wěn)定性,，并控制過程。在金屬AM中,，監(jiān)測傳感器可以相對于能源同軸或離軸放置,。在同軸配置中，視場專門聚焦于熔池,，在熔池中監(jiān)控工藝區(qū),。離軸傳感器從側(cè)面觀察過程，在其視野范圍內(nèi)具有更寬的過程景觀,。離軸探測器可以是靜態(tài)的,，可以在打印一個沉積層的開始和結(jié)束時捕獲構(gòu)建環(huán)境，也可以安裝在沉積致動器上,，從而在整個層沉積之后,。

激光金屬沉積工藝示例草圖。

輻射傳感器在不同光譜范圍內(nèi)捕捉到的可檢測過程特征包括熔池幾何形狀,、等離子體羽流,、沉積幾何形狀以及孔隙和裂縫等缺陷。使用這種探測器,，可以在加工過程中觀察熔池幾何形狀并提取幾何特征,。在高功率水平下，無法看到掃描速度與熔池長度之間的線性關(guān)系,。新興的沉積質(zhì)量評估方法側(cè)重于基于熔池,、等離子體羽流和使用高速視覺探測器生成的飛濺圖像的機器學習算法。

DED過程通常以1到30 mm/s的速度運行,，激光束光斑大小在0.5到3 mm之間，功率在200到1500 W之間,，具體取決于所處理的材料和束斑大小,。因此，此類工藝產(chǎn)生的熔池區(qū)域約為幾毫米,。因此,，當部署聚焦于激光-材料相互作用區(qū)的熱成像探測器時，需要足夠高的空間分辨率,、熱分辨率（動態(tài)范圍）和響應(yīng)時間,，以高時間分辨率捕獲空間熱梯度。高分辨率,、高動態(tài)范圍和高頻性能的探測器成本通常令人望而卻步,，限制了其作為過程監(jiān)控,、性能分析、質(zhì)量控制和過程控制的工業(yè)解決方案的應(yīng)用,。

對不同的輸入向量進行主成分分析后的前三個分數(shù),，(a)熔體池特征，(b)羽流特征,，(c)濺射特征,，(d)三個物體特征。

本文研究了一種基于低成本高動態(tài)范圍(HDR)視覺探測器的激光-材料相互作用區(qū)域自適應(yīng)提取方法,。定義了三個激光材料加工區(qū)域,，即核心區(qū)、熔池區(qū)和白熾燈區(qū),。這項工作的重要性在于算法在定義感興趣區(qū)域,、優(yōu)化區(qū)域檢測參數(shù)方面的靈活性，以及在所研究的所有熔融模式下檢測感興趣區(qū)域的魯棒性,。

我們的研究重點是低成本的熱成像數(shù)據(jù)采集與先進的視覺特征提取相結(jié)合,，這有助于更好地理解激光與材料的相互作用。目標是開發(fā)一種魯棒的特征檢測算法,，以對抗由激光材料加工區(qū)域的時空波動,、背景照明的強度梯度以及由于材料噴射引起的視場中的隨機夾雜所引起的強度變化。本文介紹的分析框架既可以容納軸上數(shù)據(jù)集,，也可以容納軸外數(shù)據(jù)集,。給定一個HDR幀，構(gòu)造一個彩色編碼的地圖,，如圖1所示,，使用戶可以在訓練和注釋數(shù)據(jù)集的同時選擇感興趣的區(qū)域。為了演示的目的,，選擇了三個區(qū)域來開發(fā)和演示我們所提議的方法的性能能力,。

圖1 三個目標區(qū)域，即核心,、熔池和白熾燈的說明,，使用HDR相機從激光-材料相互作用區(qū)域捕獲。提供了通過感興趣區(qū)域的垂直和水平強度剖面以及邊界,。注意,，僅應(yīng)用強度閾值法將無法在不受附近拋射粒子強度影響的情況下識別三個目標區(qū)域。

2.區(qū)域初始化和穩(wěn)定的建議方案

如圖1所示,，三個感興趣的區(qū)域（核心,、熔池和白熾燈）圍繞最亮點居中，從一幀到另一幀,，最亮點位置穩(wěn)定,。此外,，從同一圖中可以看出，當我們從一個區(qū)域移動到另一個區(qū)域時,，亮度級別會發(fā)生變化,。然而，如圖1中的示例所示,，利用每個區(qū)域的單個強度閾值將無法有效地將目標區(qū)域彼此分開或與附近的噴射粒子分開,。因此，為了檢測這三個感興趣的區(qū)域,，首先對每個輸入圖像使用自適應(yīng)圖像閾值技術(shù),。圖2顯示了提議的檢測方案的框圖。

圖2 提出的區(qū)域初始化和穩(wěn)定技術(shù)框圖,。

為了適應(yīng)區(qū)域的不同亮度水平,，如圖1所示，使用區(qū)域生長技術(shù)來檢測Core, Melt pool和Incandescent區(qū)域,，從M˜t,k 開始,。圖3顯示了擬議方案的框圖，并舉例說明,。

圖3 提議的基于區(qū)域生長的檢測技術(shù)的框圖,。

3.自適應(yīng)特征驗證方法
3.1.實驗裝置和制造計劃
實驗使用機器人DED系統(tǒng)（DM3D-DMD IC106）進行，如圖4所示,。機器人系統(tǒng)（ABB IRB140,，https://new.abb.com)具有六個軸，但是為本文中的實驗創(chuàng)建的掃描路徑僅跨越2D沉積路徑,。末端執(zhí)行器引導(dǎo)2 kW磁盤激光束（TRUMPF TruDisk 2000,，https://www.trumpf.com)金屬粉末同軸通過噴嘴。

圖4 帶機械手的DED機器,。

使用不銹鋼（SS316L）粉末進行單線沉積,。在本工作的背景下，對于離軸測量,，設(shè)計了一個支架,，用于將相機安裝在機器人末端執(zhí)行器上，如圖5所示,。支架允許進行調(diào)整，以便以不同的視角,、角度和工作距離查看熔池,。對于目前的工作，相機安裝在掃描路徑的主視圖中,，熔池位于視野的中心,。

圖5 安裝在DED機器人系統(tǒng)上的視覺系統(tǒng),。安裝支架可以適應(yīng)不同的焦距、相對于垂直平面的視角和相對于沉積路徑的視角,。

本工作中開發(fā)的算法旨在推廣用于此類熔池數(shù)據(jù)集,。使用這種低成本相機的想法是將從HDR圖像中提取的區(qū)域的尺寸在各種熔化模式操作條件下關(guān)聯(lián)起來。

樣品的SRμT圖像（a–c）顯示了在冶金研究期間小孔模式激光熔化過程中形成的孔隙（d）,。圖（a）顯示了三維孔隙分布,，每個孔隙顯示為紫色。圖（b）顯示了樣品沿激光軌跡三個位置的一系列2D橫截面,。蒸汽腔的不完全塌陷在激光束尾跡中留下空洞,，如（a）-（c）所示。

3.2沉積幾何估算

激光輪廓儀的輸出是沉積的高度圖,，如圖6所示,。開發(fā)了一種算法來提取每個沉積橫截面的幾何特征、寬度和高度,。為了抑制粘附顆粒引起的噪聲,，首先使用窗口大小為10的移動平均濾波器對沿y軸離散位置的每個沉積橫截面進行過濾。在圖7中,，黑色實線和橙色虛線分別顯示原始數(shù)據(jù)和過濾數(shù)據(jù),。沉積剖面導(dǎo)數(shù)的最大值和最小值表明沉積邊界處的陡坡；這些是線性插值的,，顯示為綠色虛線,。襯底和插值線的交點決定了沉積材料的寬度邊界。沉積剖面的高度被視為沉積寬度邊界之間中點處的高度值,。

圖6 激光輪廓儀掃描的沉積點云（高度）數(shù)據(jù),。

圖7 從原始激光輪廓儀數(shù)據(jù)中提取特征。綠線表示輪廓邊緣的直線擬合,。

由于多種原因,，無法在特征提取框架（核心、熔池和白熾?yún)^(qū)域）中定義的視覺特征尺寸與激光輪廓儀幾何特征之間進行直接比較,。視覺系統(tǒng)檢測到的沉積區(qū)位于A1平面上（圖8）,，這是每個時間點實際熔池寬度和長度的函數(shù)，而輪廓測量法檢測到的幾何特征位于A2平面上（見圖8）,，描述了沉積寬度和高度,。圖9 是擬議信號注冊方案的概述。

圖8 激光輪廓儀和HDR視覺系統(tǒng)捕捉到的不同熔池區(qū)域,。

圖9 擬議信號配準技術(shù)的框圖,。

4.實驗結(jié)果與討論

4.1.基于視覺的特征檢測的定性結(jié)果

圖10顯示了在五個不同功率水平下記錄的測試序列的擬議區(qū)域檢測方案的樣本定性結(jié)果；其他定性結(jié)果可在[52]中找到,。

圖10 測試數(shù)據(jù)集上擬議方案的樣本定性結(jié)果,，其中白色,、綠色和紅色橢圓分別表示巖芯、熔池和白熾?yún)^(qū),，TP和FP分別表示真陽性和假陽性檢測,。可以觀察到,，所提出的方案能夠在更高的功率水平下減少附近亮區(qū)對檢測目標區(qū)域的影響,。

一般來說，我們注意到,，在較高的功率水平下,，可能會有更多的噴射物干擾目標區(qū)域，因此檢測感興趣區(qū)域的任務(wù)變得更具挑戰(zhàn)性,。我們提出的方案能夠在較低功率水平下很好地檢測到三個目標區(qū)域,，盡管在較高功率水平下存在遮擋和較亮的照明條件，但該方案仍然保持穩(wěn)定,。

4.2.基于視覺的特征檢測的定量結(jié)果

為了研究使用所提出的區(qū)域增長方案對檢測性能的影響,，對檢測方案進行了評估，包括有區(qū)域增長和無區(qū)域增長,，因此無區(qū)域增長意味著只使用了區(qū)域初始化和穩(wěn)定技術(shù),。

圖11顯示了根據(jù)平均TPR和平均速度3(每秒幀數(shù))，在有區(qū)域增長和無區(qū)域增長的情況下,，所提檢測方案的評估結(jié)果,。對于核心區(qū)域(CR)，區(qū)域增長的附加價值是有限的,，而對于其他區(qū)域,，所提出的區(qū)域增長方案提供了更高的TPR值，但花費的計算時間是不進行區(qū)域增長的兩倍,。因此,，對于距離激光束中心較遠的中大型感興趣區(qū)域的檢測，推薦的檢測方案將采用帶區(qū)域增長的檢測,，因為它能提供更高的檢測精度,，而對于較小的區(qū)域，不帶區(qū)域增長的檢測有望提供足夠的結(jié)果,。

圖11 區(qū)域增長和不增長探測器的真陽性率（TPR）與檢測速度（每秒幀數(shù)）的關(guān)系,。區(qū)域增長的探測器速度較慢，但明顯比不增長區(qū)域的探測器提供更高的TPR,。

4.3.使用視覺和輪廓測量數(shù)據(jù)集進行工藝質(zhì)量評估

通過將從視覺數(shù)據(jù)中提取的區(qū)域與用激光輪廓儀測量的沉積尺寸進行比較,，進行工藝質(zhì)量評估。為了進行這種比較，熔池區(qū)域和沉積寬度分別從視覺數(shù)據(jù)和激光輪廓儀數(shù)據(jù)中選擇,，結(jié)果如圖12（a）所示。

圖12 （a）從視覺數(shù)據(jù)中提取的熔池寬度與用激光輪廓儀測量的沉積寬度的比較,，（b）標準化熔池寬度和標準化沉積寬度的對比,。

沿整個沉積線還比較了熔池區(qū)域的寬度和沉積寬度。從像素到毫米的轉(zhuǎn)換是基于兩個數(shù)據(jù)集的平均值進行的,。目的是觀察兩個數(shù)據(jù)集趨勢的相似性,，其中一個數(shù)據(jù)集在每個功率水平下如圖13所示。平均x相關(guān)性為ρavg = 0.391 ± 0.069,，激光功率850 W時x相關(guān)性最高,，ρ值 = 0.546。

圖13 在五個不同功率水平下,，記錄預(yù)測沉積寬度與熔池寬度的樣本結(jié)果,，其中mm*表示縮放從相機獲得的熔池寬度后的單位長度。

盡管由于采樣率,、數(shù)據(jù)對齊的不確定性,，注冊兩個不同的數(shù)據(jù)集（視覺和輪廓測量）有許多挑戰(zhàn)需要解決，但觀測到的相關(guān)性很有希望,。本研究側(cè)重于從基于圖像的數(shù)據(jù)中進行自適應(yīng)特征識別,，圖13并不旨在顯示激光輪廓測量數(shù)據(jù)和提取的熔池特征之間的完全一致性。這項工作說明了特征提取的一個應(yīng)用,，展示了在過程控制中使用基于視覺的數(shù)據(jù)作為反饋的潛力,。作為未來的工作，建議從像素到毫米的校準,，以充分利用這些算法用于在線特征檢測的潛力,。

5.結(jié)論

本文提出了一種利用低成本HDR視覺探測器檢測激光-材料相互作用區(qū)中預(yù)定目標區(qū)域的方法。

1.該框架基于使用能量收斂準則的自適應(yīng)圖像閾值和區(qū)域生長技術(shù),。該框架中使用的參數(shù)可以通過只使用有限數(shù)量的帶注釋的幀來解決優(yōu)化問題來自動獲得,。

2.為了量化所提出的區(qū)域檢測技術(shù)的可靠性，引入了一種配準方案,，將視覺傳感器獲得的測量值與高采樣率激光輪廓儀獲得的測量結(jié)果對齊,。

3.對五種不同功率水平下捕獲的序列進行的大量實驗表明，該方案具有魯棒檢測目標區(qū)域的能力,。在這項工作中,，真陽性檢出率顯著高于90%，而假陽性檢出率低于10%,。

4.提出的框架比無區(qū)域增長的基本閾值法有了顯著改進,。觀察到，該方法在檢測所有激光功率水平下的所有區(qū)域時，保持了其魯棒性,，真陽性率高于90%,。另一方面，基本閾值法表現(xiàn)出較差的性能,，特別是在檢測易失穩(wěn)的情況下,，如高激光功率水平下的白熾?yún)^(qū)和熔池區(qū)，真陽性檢測率顯著下降至55.78%,。

5.校準后的視覺和輪廓儀數(shù)據(jù)遵循類似的全球和本地趨勢,，這是很有希望的，但需要使用預(yù)先校準的實驗裝置進行更仔細的未來調(diào)查,，以實現(xiàn)實時過程監(jiān)控,，作為控制沉積幾何結(jié)構(gòu)的一種方法。

來源：Adaptive vision-based detection of laser-material interaction for directed energy deposition, Additive Manufacturing, doi.org/10.1016/j.addma.2020.101468

參考文獻：Laser based additive manufacturing in industry and academia, CIRP Annals, 66 (2) (2017), pp. 561-583; Laser cladding of aerospace materials, J. Mater. Process. Technol., 122 (1) (2002), pp. 63-68