第一組--以深度學習結合擴增實境於金門觀光體驗之應用

概要

本計劃所建立的以深度學習結合擴增實境於金門觀光體驗之應用。其主要目標為：

(１) 透過YOLO的辨識技術來偵測景點，並且介紹建築物之特徵。

(２) 使用網路爬蟲和觀光局的簡介結合，讓使用者快速了解景點。

(３) 配合自動化語音，將導覽內容通過人聲傳達給使用者。

(４) 透過AR擴增實境能和金門在地的文化和歷史互動。

點擊以下標題，觀看技術細節!!!

YOLO是一個即時物件偵測的模組，辨識速度快為其優點，我們使用此技術來訓練金門觀光景點的資料集。

技術細節

藉由Android手機內部的陀螺儀，經由公式與程式碼的運算後，打造出AR的場景。

範例影片

我們整體的程式架構都是使用Unity架設，再經由額外撰寫的TCP server與之通訊，Unity主要的程式語言為C#。

TCP伺服器模組是運用YOLO-Server，主要架構有"Alturos.YOLO"來作物件偵測、"TCP"做傳輸兩者相輔相成，使我們能將圖片在接受後進入辨識程序。

技術細節

研究動機

本專題計畫想讓一些沒來過金門的人們，他們不需要在旅遊之前做足功課，只要使用我們的軟體，在不認識景點的情況下，甚至還有些景點沒有告示牌，他們就可以很快的知道這些景點的資訊。

研究內容

我們提出結合深度學習中的 YOLO(You Only Look Once)技術與擴增實境(Augmented Reality, AR)技術來設計金門觀光應用的APP，我們希望此APP能為金門觀光帶來與以往不一樣科技化的體驗，結合智慧型手機打造真實景點結合虛擬，想認識景點不再只有純文字介紹，還能搭配景點的文化或歷史體驗AR，增添對景點的記憶點和樂趣。