Google以分層神經渲染生成遮罩,可個別操縱影片中物體時間軸

Google發展了一種產生圖像和影片遮罩的新方法,利用分層神經渲染,將影片中的物體和背景分開,產生稱為的遮罩,與典型分割模型不同之處在於,這個新方法所生成的Omnimatte不僅是物體本身,同時還能分離出和物體有關的其他細節,包括影子、部分透明的軟效果,甚至是輪胎摩擦地面所產生的煙霧,與傳統遮罩相同的地方是,Omnimatte為RGBA圖像,因此能夠用於廣泛的圖像和影片編輯工具。

圖像和影片編輯操作,仰賴準確的遮罩(Matte),Google提到,雖然最近的的電腦視覺技術,已經可以產生高品質的遮罩,用來產生合成景深、合成圖像,或是去除圖像背景,但與主體相關的細節,像是陰影、反射和煙霧,通常會被切割演算法忽略。

為了產生更實用的遮罩,Google開發了新方法,來切割出包含主體和相關細節的Omnimatte,藉由使用分層神經渲染方法,訓練卷積神經網路(CNN),將主體分割遮罩和背景雜訊圖像,映射到單一Omnimatte中。

研究人員提到,因為CNN的特性,能夠良好地學習主體和相關特效之間的關聯性,兩者的相關性越強,CNN就越容易學習,像是(下圖)在路上行走的人與狗,人和人的影子,以及狗和狗的影子之間的空間關係,都是從右向左移動,不過人與狗的影子,或是狗與人的影子,因為關係變化更大,因此相關性也就相對較弱,CNN會先學習較強的相關性,因此能獲得正確的分解結果。

要生成Omnimatte,輸入的影像會被分成多層,每個移動的物體獨立為一層,靜止的背景物體全部被分為另一層,當這些圖層使用Alpha混合合併在一起時,就能重現輸入的影像。Omnimatte能夠被靈活地應用在各種影像處理應用中,像是只要在圖層組合中刪除特定的圖層,就能夠從影片中刪除物體,並且還可以透過複製圖層來複製物體。

客製專屬滑鼠墊、可愛造型L夾L型資料夾、透明證件套、手提袋,專業印刷設計廠商!

通過SGS環保認證,無毒無害 環保材質符合歐盟RoHs、REACH認證

空壓機這裡買最划算!

晨達空壓機秉持著專業空壓機技術、優質快速服務、空壓機合理價格。為您解決工作中需要風量、風壓的問題。

SMD electronic parts counting machine

累積多年設計生產 Embossed Carrier Tape承載帶的實際經驗,專為電子主、被動零件設計、包裝、製造、改良承載帶、奠定了良好基礎

貨櫃屋優勢特性有哪些?

由於貨櫃屋[可移動/施工快速/可組裝、堆疊(延展性高)/可回收/未來擴充便利]等特性,二手貨櫃屋已普遍被應用於展場活動、居家住宅、工業商辦上。

Omnimatte也可以用來操控物體在影片中出現的時間(Retime),研究人員提到,這項特效常被應用在電影之中,但是傳統的作法必須在受控的環境中,為每個單獨的主體拍攝影片,但是分解成為Omnimatte後,即便日常的影片,都能夠簡單地操縱物體時序,只需更改每一個圖層的播放速度,就能達到過去必須要對每個物體重新拍攝,才能達到的效果,而且由於Omnimatte是標準的RGBA圖像,因此可以使用傳統的影片編輯軟體來編輯物體的時間軸。

(下圖)影片被分解成三個圖層,每個小孩一層,在原始的影片中,每個小孩跳入水裡的時間不同,但是透過調整Omnimatte播放的時間軸,就能夠讓三個小孩同時跳入水中,並且擁有水花和反射等逼真效果。

不過這個Omnimattes技術仍然有其限制,目前只能用來處理固定相機位置的影像,當相機移動時,便無法精確地捕捉整個背景,部分背景元素可能遮蓋上圖層,另外,CNN在學習相關性上雖然非常強大,但是部分時候產生的結果不如預期,且無法切確掌握原因。研究人員也提到,這項技術可能遭到濫用,即便重新排列的物體,皆為影片中已經存在的內容,但是只要簡單地調整影片內容的順序,就可以被用來產生虛假和誤導性訊息。

https://www.ithome.com.tw/news/146514

票選推薦煮婦最愛手壓封口機,省荷包不犧牲品質

意信臻專營:封口機、各式包裝機械、專業製造、全省批發零售

幫你考照過關,堆高機裝卸操作教學影片大公開 !

上千家公司找到最適合的堆高機搬運方案,專業的規劃與完善的售後服務,讓孚克力堆高機與各大知名廠商建立長期合作。

全自動飲水機與一般飲水機差異在哪?

推薦各種冰溫熱開飲機飲水機:台銀採購契約飲水機、日本進口電解水機系列、落地型飲水機

總是為了廚餘煩惱嗎?

雅高環保提供最適用的廚餘機,滿足多樣需求。