嘉南藥理大學 2016 - 互動應用
AR、Kinect、Leap Motion 互動技術實作
課程簡介
這是 2016 年在嘉南藥理大學開設的「互動應用」課程，教授三大互動技術的實作應用：AR 擴增實境、Kinect 體感互動、Leap Motion 手勢互動。
課程特色
目標： 學習最新的互動科技，並能實際開發互動應用
技術棧：
- Unity 3D：統一的開發環境
- AR 擴增實境：Vuforia SDK
- 體感互動：Kinect / Kinect V2
- 手勢互動：Leap Motion
互動技術介紹
AR 擴增實境
技術原理：
- 利用攝影機辨識圖像（Image Target）
- 在真實場景中疊加虛擬 3D 物件
- 即時追蹤與渲染
應用案例：
- 遊戲王 AR：卡牌遊戲的擴增實境應用
- 行銷廣告的互動體驗
- 教育出版的 AR 輔助教材
- 博物館的互動導覽
開發環境：
Unity + Vuforia SDK + Android SDK → AR APP
Kinect 體感互動
技術原理：
- 深度感測器（Depth Sensor）
- 骨架追蹤（Skeleton Tracking）
- 手勢辨識（Gesture Recognition）
應用案例：
- 體感遊戲：全身互動遊戲
- 復健醫療：動作追蹤與評估
- 互動裝置藝術：創意展演
- 教育訓練：體感學習
技術優勢：
- 非接觸式操作
- 全身動作捕捉
- 即時反饋
開發環境：
Unity + Kinect SDK → 體感互動應用
Leap Motion 手勢互動
技術原理：
- 紅外線追蹤技術
- 手指精確定位（亞毫米級精度）
- 手勢辨識與姿態追蹤
應用案例：
- VR/AR 手勢控制：自然的交互方式
- 機器手臂控制：遠端操控
- 音樂創作：空中樂器
- 3D 建模：直覺的建模方式
技術優勢：
- 高精度手部追蹤
- 手指級別辨識
- 低延遲響應
開發環境：
Unity + Leap Motion SDK → 手勢互動應用
開發環境設定
AR 擴增實境開發環境
硬體需求：
- Android 手機或平板
- 或 iOS 設備（需要 Apple 開發者帳號 + macOS 系統）
軟體安裝：
- Unity（5.3.0 以下版本，配合 Vuforia 5.0.1）
- Java SDK
- Android SDK
- Vuforia SDK
- NGUI（UI 系統）
Kinect 體感互動開發環境
使用 Kinect V2
硬體需求：
- Kinect V2 感測器
- 轉接線（連接 PC）
- Windows 8 以上系統
- USB 3.0 連接埠
軟體安裝：
- Unity
- Kinect SDK 2
使用 Kinect V1
硬體需求：
- Kinect for Windows 感測器
- Windows 7 以上系統
軟體安裝：
Leap Motion 手勢互動開發環境
硬體需求：
- Leap Motion Controller
- Windows 7 64-bit 以上系統
軟體安裝：
課程內容
AR 擴增實境模組
學習目標：
- 理解 AR 技術原理
- 學會使用 Vuforia SDK
- 開發 Android AR APP
實作重點：
- Image Target 設定
- 建立自訂圖像辨識卡
- 設定辨識參數
- 測試辨識效果
- 3D 內容整合
- 匯入 3D 模型
- 設定動畫
- 調整渲染效果
- 互動功能開發
- UI 介面設計
- 觸控互動
- 音效整合
- APP 打包與測試
- Android APK 打包
- 實機測試
- 效能優化
Kinect 體感互動模組
學習目標：
- 理解深度感測技術
- 學會使用 Kinect SDK
- 開發體感互動應用
實作重點：
- 骨架追蹤
- 取得骨架數據
- 關節點位置追蹤
- 身體動作辨識
- 手勢辨識
- 自訂手勢定義
- 手勢辨識演算法
- 手勢事件觸發
- 互動遊戲開發
- 體感控制角色
- 碰撞偵測
- 遊戲邏輯實作
- 效果優化
- 追蹤穩定性
- 延遲優化
- 錯誤處理
Leap Motion 手勢互動模組
學習目標：
- 理解手部追蹤技術
- 學會使用 Leap Motion SDK
- 開發手勢控制應用
實作重點：
- 手部追蹤
- 手掌位置與姿態
- 手指位置追蹤
- 手勢資料取得
- 手勢辨識
- 常用手勢定義
- 手勢辨識邏輯
- 手勢命令映射
- 互動應用開發
- 虛擬物件操控
- 3D 空間互動
- 多手勢組合
- 進階應用
- VR 整合
- 機器手臂控制
- 創意互動
課程特色
1. 三大互動技術完整學習
系統性學習當前最熱門的三種互動技術：
AR 擴增實境 + Kinect 體感 + Leap Motion 手勢 = 完整的互動技術能力
2. Unity 統一開發環境
使用 Unity 作為統一的開發平台：
- 降低學習曲線
- 專注於互動技術本身
- 跨平台開發能力
3. 實機開發經驗
- AR：Android 手機實機測試
- Kinect：體感硬體實際操作
- Leap Motion：手勢控制硬體體驗
4. 豐富的應用案例
課程中展示多個實際應用案例：
- 遊戲娛樂
- 教育訓練
- 醫療復健
- 創意展演
學習成果
學生將學會：
- 三大互動技術實作
- AR 擴增實境開發
- Kinect 體感互動開發
- Leap Motion 手勢互動開發
- Unity 開發能力
- Unity 編輯器操作
- C# 腳本程式設計
- 跨平台 APP 開發
- 硬體整合經驗
- 感測器硬體使用
- SDK 整合開發
- 實機測試調優
- 互動設計思維
- 使用者體驗設計
- 互動流程規劃
- 創意應用思考
- 完整專案經驗
- 從概念到實作
- 問題分析與解決
- 專案展示能力
參考影片
AR 擴增實境
Kinect 體感互動
Leap Motion 手勢互動
課程資源
完整教學網站： https://yazelin.github.io/cnu2016/
GitHub 開源專案： https://github.com/yazelin/cnu2016
相關課程：
課程資訊
- 學校：嘉南藥理大學
- 課程名稱：互動應用
- 授課時間：2016 年
- 授課教師：Yaze Lin
- 特色：三大互動技術、實機開發、Unity 統一平台、豐富應用案例