RealSense 獨立後，以「實體 AI」引領機器人視覺新浪潮！
Intel RealSense 的 3D 視覺感測器在過去十年裡，一直是機器人、無人機和生物辨識系統的關鍵核心，讓機器能感知並理解真實世界。
最近，這個業界的領頭羊經歷了一次重大的轉變——它已正式從 Intel 分拆出來，成為一家獨立公司！這對我們機器人研究社來說，絕對是值得關注的最新動態。
他們現在的目標非常明確：專注於「實體 AI（Physical AI）」，為機器裝備的視覺，不只要像人一樣，更要在許多方面超越人類！
我們整理了 RealSense 獨立後，其行銷長 Mike Nielsen 的一次深度訪談，一起來看看這家新公司將如何塑造下一波機器人技術的發展。
獨立後的 RealSense：更專注、更靈活
RealSense 獨立後，執行長 Mike Nielsen 提到，雖然 RealSense 的使命依舊是提供世界一流的「實體 AI」感知系統，但獨立賦予了他們全新的動能：
- 加速產品開發： 擁有更大的自由度，能更快地確定和投資對他們最重要的技術路線圖，擺脫 Intel 策略相關性的限制。
- 深化合作夥伴關係： 能夠更深入地與業界夥伴合作，擴大全球市場佈局。
- 專注與資本： 憑藉靈活性、專注度和新資本，RealSense 能夠更快地擴大規模，搶佔新市場，引領機器人和生物識別的下一波創新。
他們堅信，在機器人技術和自動化邁向新時代的過程中，感知能力將成為區分原型機和可擴展、具商業可行性系統的關鍵。
機器人為什麼需要「超越人類」的感知？
Mike Nielsen 強調，機器人要在混亂、非結構化的環境中運行，它們的感知能力需要「比人類更好」。這不只是為了看得見，更是為了在極端條件下做出準確、即時的決策。
他提出三個核心面向來定義這種「超越人類」的感知：
- 極致的準確度：
- 例如，以時速 6 km/h 移動的自主移動機器人（AMR），在 30 米外可能只需要 1 米的精度，但在靠近充電站或裝載點時，則需要 1cm 的近距離精度。
- 而機器人手臂則可能需要 1mm 級別的精度，才能安全、精確地抓取小物件。
- 克服環境挑戰：
- 在光線變化（從暗到亮）時，人類眼睛的調整速度其實很慢，但機器人需要自動化處理曝光和增益。
- 傳統相機難以應對不可預測的環境條件，而 AI 視覺系統必須在各種照明和環境條件下都能可靠運作。
- 實時決策與低延遲：
- 機器人系統需要實時處理來自多個感測器和相機的大量數據，並立即做出決策。
- RealSense 最新 D555 相機透過與 NVIDIA Holoscan Bridge 整合，能將深度數據直接傳輸給 GPU，顯著減少了機器人的「決策時間」。
深度技術的比較：立體視覺（Stereo）的優勢
訪談中也深入探討了幾種主流的深度感測技術：單目視覺（Monocular）、 立體視覺（Stereo） 和 飛時測距（ToF）/主動式紅外線（Active IR）。
| 技術 | 優點 | 缺點/限制 | RealSense 的立場 |
|---|---|---|---|
| 單目視覺 | 成本低（使用廉價 RGB 感測器），計算量相對較輕。 | 準確性差，當照明、物體移動、遮擋等現實情況發生時，準確度會顯著下降。 | 適用於靜態環境或只需要粗略估計距離的長距離應用。 |
| 立體視覺 | 高準確度（亞毫米級），能在可變照明和運動條件下進行測量。 | 相機上需要專門的 SoC 進行距離計算。 | 透過專用 SoC 處理距離計算，能顯著減輕機器人主計算單元的負載，讓其專注於安全和任務執行。 |
RealSense 採用可見光和紅外線的立體視覺計算距離，強調這種方式能在變化的照明條件下，為移動中的物體和機器人提供極高的測量精度。
機器人市場的領先地位與產品創新
市場佔有率
根據 RealSense 的內部分析，他們的感測器：
- 被部署在今天生產的超過 80% 的人形機器人中。
- 被部署在 約 60% 的自主移動機器人（AMR） 中。
最新深度相機（D555）的創新：
- 新的 v5 SoC 具有顯著提升的處理能力，提供 5Tops 的計算，以及板載 DSP，以徹底改善圖像品質和降噪。
- 底層基礎設施將使多種模型（如物體偵測、分割、追蹤）能在裝置上運行，進一步分擔核心計算單元的感知任務。
安全標準
RealSense 已經實現了 SIL-1 級的安全完整性等級，並正積極朝著 SIL-2 認證（依循 IEC 61508 標準）邁進，以滿足客戶對更高可靠性的需求。
感測器融合與 Lidar 的取捨
在交付機器人等應用中，感測器融合（Stereo + IMU + Lidar）是必經之路。Mike Nielsen 坦言，目前市場普遍接受這三種感測器類型，但他們看到這個現狀正在改變。
- IMU 整合： 這是第一步，能顯著降低成本和複雜性。
- Lidar 的侷限性： 許多 Lidar 仍主要在 2D 平面運作，看不到物體上方或下方的資訊。
- 立體視覺的潛力： 客戶明確表示希望利用他們對立體視覺的投資，將其應用擴展到 Lidar 目前所在的領域。最大的驅動力是成本，3D Lidar 系統的價格是立體相機的 10 倍。如果機器人已經配備了立體視覺進行一般感知，為什麼不充分利用它呢？
RealSense 認為，雖然混合感測器堆疊是贏家，但他們正努力讓立體視覺能夠取代低成本 Lidar，提供更具成本效益的 3D 感知方案。
絕佳的開發者體驗
RealSense 的 SDK 是免費且開源的，這是他們的關鍵差異化優勢之一。
- 在簡單的兩輪機器人導航和避障任務中，他們見過客戶在數小時內就能啟動運行。
- 即使是多感測器、動態導航、6 自由度（6DoF）和人形機器人等更複雜的實施，也都能利用其 SDK2.0 相同的通用框架。
- 客戶的新系統從概念到達到生產品質，最快只需六個月。
生物識別的「隱私優先」原則
Mike Nielsen 也談到了生物識別和門禁控制的應用。RealSense 的生物識別平台遵循「隱私優先（privacy-first）」原則：
- 無個人身份信息（PII）儲存： 他們不儲存任何個人資訊或圖像。
- 設備上處理： 所有生物識別處理都在設備上完成，圖像在分析後立即銷毀。
- 安全與防欺騙： 透過多種技術（2D、3D 和電子防欺騙），達到了 1:100 萬的低欺騙率。
他們與合作夥伴的應用方式非常優雅：相機產生一個 僅 500 字節的哈希值（模板） 作為人臉的數字表示。這個模板可以儲存在 QR Code 或智慧門禁卡中。終端設備讀取卡上的模板，掃描當前人臉，然後進行 1:1 匹配。這樣既確保了身份驗證，又完全保護了個人隱私。
訪談重點總結與我們的啟示
這次訪談為我們提供了許多寶貴的資訊。總結來說，RealSense 獨立後的重點與我們社團未來研究方向有幾個重要的啟示：
- 實體 AI 的重要性： 未來的機器人不僅要具備智慧，更要具備極致的感知，才能真正從實驗室走向混亂的現實世界。
- 立體視覺的突破： RealSense 正在用立體視覺技術挑戰 Lidar 的地位，特別是在成本敏感的應用中。利用更便宜、更普及的立體相機實現 3D 視覺感知，將是重要的研究方向。
- 邊緣計算的趨勢： 新的 SoC（v5）強調板載處理能力，將感知任務從主計算單元卸載，這對我們在開發多感測器機器人時，如何優化系統架構和計算分配提供了思路。
RealSense 正在加速其產品交付，預計在未來 12 到 24 個月內，將推出包括全系列全局快門、更高動態範圍、預優化 SLAM 和更多板載算法處理能力的新產品。
這是一個充滿機會的時代，讓我們一起關注這些最新的技術發展，將我們的研究帶入下一個階段吧！
相關文章
Interview: RealSense senior executive discusses life after Intel
