WiseTechVision 視覺系統整合應用：散亂螺絲自動整列

前言

在工業自動化領域，散亂工件的整列一直是個挑戰。傳統方法依賴震動盤或固定夾具，但這些方式缺乏彈性，更換產品時需要重新設計治具。視覺引導機器人（Vision-Guided Robot） 提供了更靈活的解決方案。

本文介紹我們在 2020 高雄自動化工業展 展出的散亂螺絲整列系統，使用 WiseTechVision 視覺系統整合 KUKA 機器手臂，實現即時辨識、追蹤與抓取。

WiseTechVision 核心優勢

低成本、高彈性的視覺解決方案：

應用方向：

• 視覺引導技術的研究與驗證
• 機器人教學與實驗平台
• 自動化技術展示與概念驗證

系統展示影片

▲ 2020 高雄自動化工業展 - 散亂螺絲整列展示

更多展示影片：

• 2020高雄自動化展-螺絲散亂整列
• 散亂螺絲整列完整測試

系統架構

硬體組成

軟體架構

┌─────────────────────┐
│  WiseTechVision     │  ← 影像處理與多物件辨識
│  視覺系統           │     (同時辨識多個工件)
└──────────┬──────────┘
           │ (多組座標、角度)
           ↓
┌─────────────────────┐
│  KUKA ConveyTech    │  ← 輸送帶追蹤技術
│  (擴展多物件追蹤)   │     (原生僅支援單物件)
└──────────┬──────────┘
           │
           ↓
┌─────────────────────┐
│  KUKA KR C4         │  ← 路徑規劃與運動控制
│  控制器             │
└──────────┬──────────┘
           │
           ↓
┌─────────────────────┐
│  KUKA 機器手臂      │  ← 依序抓取多個工件
└─────────────────────┘

技術突破：多物件追蹤

KUKA ConveyTech 原本設計用於輸送帶上的單一工件追蹤。本專案透過 WiseTechVision 視覺系統的整合，實現了同時追蹤多個散亂工件的能力：

• 視覺系統持續辨識工作區內所有工件的位置與角度
• 將多組座標資訊傳送給 ConveyTech
• 機器手臂依序抓取，無需等待單一工件完成

技術原理

1. 視覺辨識：找出散亂螺絲的位置與姿態

挑戰：

• 螺絲隨機散落，位置與角度不固定
• 光影變化影響辨識精度
• 需要即時處理（< 100ms）

解決方案：

WiseTechVision 採用 輪廓檢測（Contour Detection） 結合自訂演算法：

1. 影像前處理
   • 擷取工作區影像
   • 灰階轉換與二值化
   • 邊緣檢測
2. 輪廓檢測與分析
   • 找出所有閉合輪廓
   • 篩選符合螺絲尺寸的輪廓
   • 計算輪廓中心點（X, Y 座標）
3. 正反向與角度辨識
   • 分析輪廓特徵（長軸、短軸、形狀）
   • 辨識螺絲正反向（頭部朝向）
   • 計算旋轉角度 θ（0-360°）

2. 座標轉換：從相機座標到機器人座標

視覺系統與機器手臂使用不同的座標系統，需要座標轉換（Coordinate Transformation）。

基本概念：

相機看到的像素位置  →  真實世界的毫米座標  →  機器人可以移動到的位置

主要步驟：

1. 設定原點對應關係 定義相機座標系與機器人座標系的原點位置

2. 設定尺寸比例 建立影像像素與實際距離（mm）的換算比例

3. 座標轉換計算 將視覺辨識的像素座標轉換為機器手臂可移動的實際座標

3. 多物件追蹤：ConveyTech 技術擴展

本專案的核心技術突破在於擴展 KUKA ConveyTech，支援多個散亂工件的同時追蹤。

原生 ConveyTech 的限制

KUKA ConveyTech 是輸送帶追蹤套件，設計用於：

• 追蹤輸送帶上移動的單一工件
• 機器手臂同步移動並抓取

輸送帶 ────→ [工件] ────→
              ↑
           機器手臂追蹤此工件

限制：一次只能鎖定一個目標工件。

WiseTechVision 的技術擴展

透過視覺系統整合，實現多物件同時追蹤：

工作區域：
  [螺絲A]    [螺絲B]
      [螺絲C]  [螺絲D]
  [螺絲E]  [螺絲F]
         ↑
   視覺系統同時辨識多個工件
   依序傳送座標給 ConveyTech

技術要點：

1. 連續影像擷取與多物件辨識
   • 視覺系統持續掃描工作區
   • 同時辨識所有可見工件的位置與角度
   • 建立工件佇列（Queue）
2. 動態目標切換
   • 選擇最近或最優先的工件作為下一個目標
   • 更新 ConveyTech 的追蹤座標
   • 機器手臂移動並抓取
3. 佇列管理（KRL 資料結構實作）
   • 在 KUKA KRL 中實作 Queue、List、Stack 資料結構
   • 已抓取的工件從佇列移除
   • 新辨識到的工件加入佇列
   • 持續更新，無需等待

技術挑戰：

KUKA KRL (KUKA Robot Language) 本身不提供高階資料結構如 Queue、List、Stack。為了實現多物件追蹤，需要在 KRL 中自行實作這些資料結構，包括：

• 動態陣列管理
• 元素插入與移除操作
• 佇列先進先出（FIFO）邏輯
• 堆疊後進先出（LIFO）邏輯
• 目標優先級排序

# 多物件追蹤示意
def multi_object_tracking():
    target_queue = []

    while True:
        # 1. 視覺系統辨識所有工件
        detected_screws = detect_all_screws(capture_image())

        # 2. 更新目標佇列
        target_queue = update_queue(detected_screws, target_queue)

        # 3. 選擇下一個目標
        if target_queue:
            next_target = select_next_target(target_queue)

            # 4. 傳送座標給 ConveyTech
            conveyor_tech.update_target(
                x=next_target.x,
                y=next_target.y,
                angle=next_target.angle
            )

            # 5. 機器手臂追蹤並抓取
            robot.pick_with_tracking(next_target)

            # 6. 從佇列移除已完成的目標
            target_queue.remove(next_target)

關鍵優勢：

• ⚡ 提升效率：無需等待單一工件完成
• 🎯 彈性選擇：可依距離、優先級選擇下一個目標
• 🔄 持續作業：工件持續補充，系統不間斷運作
• 💡 技術突破：在 KRL 中實作 Queue/List/Stack 資料結構，突破語言限制

4. 力覺防撞保護：確保夾取安全

在散亂工件整列過程中，視覺系統雖然能辨識螺絲的位置與角度，但實際夾取時仍可能遇到問題：

• 螺絲堆疊或重疊，視覺判斷位置不準確
• 夾爪下降時可能撞到其他工件
• 散亂工件姿態特殊，夾取失敗

力覺感知的防撞保護：

本專案整合了 KUKA 力覺感知技術，不外掛昂貴的力覺感測器，純靠手臂自身的關節扭力感測，實現夾取過程的碰撞偵測與防護。

技術原理：

1. 即時監控扭力變化
   • 夾爪下降與夾取過程中，即時監控各軸關節扭力
   • 當扭力異常上升（12-15N），判定為碰撞或夾取異常
   • 立即停止動作，避免設備損壞
2. 異常處理流程 ```
   1. 視覺辨識螺絲位置 → 規劃抓取路徑 ↓
   2. 啟動力覺監控 → 夾爪下降 ↓
   3. 【正常夾取】
      • 扭力值在正常範圍
      • 完成夾取動作 ↓
   4. 【異常偵測】
      • 扭力異常上升（碰撞、堆疊、姿態異常）
      • 立即停止並退出
      • 跳過此工件，繼續下一個 ↓
   5. 異常不停機，系統持續作業 ```
3. 與視覺系統整合
   • 視覺系統負責「找到工件」
   • 力覺感知負責「安全抓取」
   • 雙重保障，提升系統可靠性

實際效益：

• ✅ 設備保護：避免夾爪與手臂因碰撞損壞
• ✅ 異常不停機：夾取失敗自動跳過，產線穩定率 95%+
• ✅ 零硬體成本：不外掛力覺感測器（節省 NT$ 30-80 萬）
• ✅ 快速整合：軟體擴充，無需額外硬體安裝

延伸閱讀：

• KUKA 力覺感知技術總覽 - 軟體補償硬體的成本突破
• 記憶卡插件力道感測 - 插件阻力異常偵測
• PCB 來料深度感測 - 接觸力偵測應用
• Tray 盤取放堆疊 - 雙向深度感測

應用場景

1. 散亂工件整列

問題：

• 零件從料箱倒出，散落在工作台上
• 人工整列費時費力，效率低

解決方案：

• 視覺系統辨識所有零件位置與角度
• 機器手臂依序抓取，整齊排列
• 適用於螺絲、螺帽、墊片等小型零件

技術驗證：

• 展示視覺辨識與動態抓取的可行性
• 無需治具，可快速切換不同產品
• 適合多品項少量生產場景

2. 品質檢測與分類

延伸應用：

除了整列，WiseTechVision 還可進行：

• 瑕疵檢測：辨識刮傷、缺口、變形
• 尺寸檢測：測量直徑、長度
• NG 品分類：將不良品分揀到 NG 區

範例：螺絲品質檢測流程

1. 視覺檢測 → 測量螺絲頭直徑、螺紋長度
2. 判定 OK/NG → 尺寸是否在公差範圍內
3. 分類抓取 → OK 品放整列區，NG 品放 NG 盤

實際應用案例：

• CTCUI SMD AOI 系統 - WiseTechVision 在品質檢測自動化的完整應用，整合入料定位、4 面 AOI 檢測與 NG 分類追溯

3. 教學與研究

WiseTechVision 也廣泛應用於教學專案：

註： 不同專案採用不同硬體配置，積木與魔術方塊堆疊專案的實作方式與本螺絲分揀專案不同。

實作挑戰與解決方案

挑戰 1：光影變化影響辨識

問題： 環境光源變化（日光、室內燈）導致辨識失敗

解決方案：

• 使用穩定的室內照明環境
• 軟體自動調整曝光參數與白平衡
• 影像前處理演算法補償光影變化

挑戰 2：工件重疊

問題： 使用 2D 視覺（USB Webcam）只能擷取平面影像，當螺絲堆疊在一起時，無法辨識個別工件的準確位置與高度

系統限制：

• 2D 視覺無法取得深度資訊
• 無法準確辨識堆疊在一起的多個工件

解決方案：

• 限制料盤內工件數量，避免大量堆疊
• 僅抓取可完整辨識輪廓的工件
• 透過震動料盤，讓工件重新散開

挑戰 3：系統效能優化

技術考量： 展示系統需要流暢運作，展現技術可行性

優化策略：

1. 視覺處理加速
   • 設定適當的檢測區域（ROI）
   • 調整影像解析度與處理頻率
2. 路徑優化
   • 就近原則：優先抓取最近的螺絲
   • 平滑軌跡：減少機器手臂急停急起
3. 平行作業
   • 機器手臂移動同時，視覺系統辨識下一個目標
   • 提升整體作業流暢度

系統效益

與傳統震動盤比較

與傳統工業視覺系統比較

WiseTechVision 的定位：

• 消費級硬體的工業應用探索
• 視覺引導技術的研究平台
• 教學展示與概念驗證

延伸應用

視覺引導機器人技術可應用於：

1. 電子業：散料上料、零件檢測、PCB 組裝
2. 汽車業：螺絲鎖附、焊接引導、塗膠路徑
3. 物流業：散亂包裹分揀
4. 食品業：隨機排列產品的抓取與包裝

技術資源

WiseTechVision 系統

• 台灣機器人資訊平台
• 卓智機器人官網

相關專案

WiseTechVision 教學應用：

• 機器手臂同步追蹤工件視覺應用
• 亞洲大學積木堆疊系統
• 實踐大學魔術方塊堆疊

WiseTechVision 工業應用：

• CTCUI SMD AOI 系統 - 品質檢測自動化、Eye-in-Hand 定位、NG 分類追溯

學習資源

• OpenCV 官方文件
• OpenCV 輪廓檢測教學
• KUKA 官方教學

結語

視覺引導機器人是工業 4.0 的重要技術之一。WiseTechVision 展示了使用消費級硬體結合軟體演算法，實現視覺辨識與機器人引導的技術可行性。

WiseTechVision 的技術價值

消費級硬體的工業應用探索：

傳統工業視覺系統依賴昂貴的工業相機與專業光源。WiseTechVision 探索了「用消費級硬體達到工業應用水準」的可能性。透過軟體演算法優化，使用 Logitech USB Webcam 在一般室內照明環境下，即可實現視覺辨識與機器人引導。

多物件追蹤技術突破：

KUKA ConveyTech 原生僅支援單一工件追蹤。本專案透過 WiseTechVision 視覺系統的整合，實現了同時追蹤多個散亂工件的能力。這是視覺引導機器人的重要技術擴展，大幅提升了系統的作業效率與彈性。

技術展示驗證：

2020 高雄自動化展的散亂螺絲整列展示，驗證了以下技術能力：

• ✅ 散亂工件的位置與角度辨識
• ✅ 座標轉換與機器人路徑規劃
• ✅ ConveyTech 多物件追蹤擴展
• ✅ 消費級硬體在視覺引導應用的可行性

相同的技術架構可應用於不同的工件類型（螺絲、螺帽、積木、魔術方塊等），展現了系統的彈性與擴充性。

如果你對 WiseTechVision 視覺引導技術有興趣，歡迎參考：

• 台灣機器人資訊平台 - 更多專案與技術討論
• 卓智機器人官網 - 系統諮詢與技術支援

Happy Coding! 🤖