發表文章

目前顯示的是 1月, 2025的文章

【2024.12.16 更新】關於 Project Astra、Gemini 2.0 與 Multimodal Live API 的隨想和實作

圖片
週末下雨天在家閒著,想起上個月 Google 在 2024 I/O 開發者大會上所展示的「 Project Astra 」示範影片( 影片連結 )。從影片中,可以看到 Astra 跟一般聊天機器人的視覺場景辨識不同, Astra 可以讓使用者在螢幕上畫上記號,並且讓 Gemini AI 根據記號來回答問題。 雖然這個在 Android APP 上面也不是啥了不起的東西,不過正好閒著沒事,便心血來潮,實作並實驗了一下影片中在手機螢幕上畫圖並讓 AI 識別的 Demo 的效果。 在官方 Demo 影片的0:16處,測試人員按下了手機 APP 中的藍色畫筆按鈕,我認為這個按鈕是用來在使用者送出語音提示後,用以區分當前應該為何種類型的 多模態提示 ,因為在影片0:26處,測試人員示範完相機結合繪圖的辨識功能後,再次按下關閉繪圖的按鈕,我認為這個動作,目的是讓之後 Demo 內容中的多模態提示,都是以影格來作處理。 影片0:16處,使用者開啟了畫筆功能 這段 Demo 影片中,好像有用到 RMOT 的概念(參考來源: Arxiv.org  & Youtube  & Github ),測試人員先給了提示「看到會發出聲音的東西時說一聲」,然後開始移動手機鏡頭,當一個位於顯示器旁邊的喇叭出現在視野中時,Gemini 便回答道「我看到一個揚聲器,它會發出聲音」 參考語言特徵的多目標跟蹤 Referring Multi-Object Tracking(RMOT) 是一種新的影片理解任務,它使用語言指令來檢測和追蹤影片中的多個物件。RMOT 可以處理多個參考目標和時間變化。例如,它可以追蹤多個物件隨著時間進入或離開場景。  RMOT 在各種場景中都有應用,其中一種應用場景是自動駕駛汽車。使用 RMOT,自動駕駛汽車可以被指示追蹤特定物件,例如行人或其他車輛,並了解其移動情況。這對於避免碰撞和安全導航很有幫助。RMOT 也可用於影片監控應用程式來追蹤特定物件或感興趣的人事物。 之後測試人員向相機對著桌上的音響,在螢幕上畫了一個紅色箭頭,指向揚聲器頂部的圓圈,並問道「揚聲器的這個部分叫什麽?」Gemini 迅速回答道「那是高音單元。它負責產生高頻聲音。」 可以注意到,在影片中的0:21到0:25處,我們可以發現,測試人員在螢幕上畫了紅色箭頭後,將...

Dec 2024【台中大甲】輕鬆好走的健行路線|鐵砧山步道|賞台灣12景之鐵砧晚霞|隱藏版三角點|小百岳|森森燒肉

圖片
位於台中西北角的大甲,除了遠近馳名的 鎮瀾宮 和在地美食,更不能錯過匯集自然景觀和人文歷史的 鐵砧山風景區 ,此處自古傳說甚多,曾名列 台灣中部八景 之一,也是大甲的地標、台灣氣候南北分界線,山頂有數十平方公里的平錐狀平地,遠望就像一方巨型打鐵砧,因而得名。 鐵砧山 古稱「銀碇山」,乍聽之下總讓人誤會是座寶山,實則地形險要,昔日為軍事重地,是大甲地區的唯一制高點,海拔雖只有236公尺,卻是 台灣西部海岸線平原最高的一座山 。上面有明鄭時期的劍井、建於清朝的國姓廟、抗日標誌江山萬里碑、近代的廢棄軍事碉堡等,充滿傳奇人文色彩的歷史遺跡。 12月底某天回台中,前往大甲的 鐵砧山 健行。 鐵砧山 雖然是一座小百岳,但其實開車就幾乎能抵達山頂了,對於喜歡登山健行的人來說難免有些無趣,但是串聯周遭的步道和景點來走個O型路線,就會豐富有趣許多。 要前往鐵砧山風景區走環狀路線的話,一般就是從 劍井 開始走,不過這附近沒有停車場,只能路邊找沒有畫紅線的地方臨時停車,我今天是將車臨停在稍微下面一點的土地公廟前方空地(再走路約五分鐘可至劍井),或者更下面一點,有一間 妙法寺 ,寺廟入口附近有個小空地可以停好幾台車(但往上走到劍井,會稍微走久一點)。 鐵砧山風景區O型散步足跡(順撿三角點): https://www.sports-tracker.com/workout/davidwang400/6767de5199a1c84355b073b9 途中經過 妙法寺 ,先去參觀一下 妙法寺 座落於鐵砧山西麓,台灣海峽之舟楫歷歷在目,登高觀景奇佳,而且廟堂清幽,廟外南側亦正興築靈塔及講堂,以福佑廣大善信,是鐵砧山重要的宗教勝地。妙法寺的入口旁,有一個「 桂花泉登山步道 」,不過目前正在整修的樣子。 妙法寺的開山祖師是如莊法師,如莊法師為大甲鎮人,(原名詹宋妹,二十五歲皈依玄深尼師,並曾於台中寶覺寺受具足戒)因為發心要普渡眾生,所以選擇在大甲鎮建寺。 寺的建築物,主要是由寺正殿(大雄寶殿)及福恩塔所構成,大雄寶殿內供奉釋迦牟尼佛、文殊菩薩、普賢菩薩之華嚴三聖以及觀世音菩薩,兩側建築物 為寮房、大寮及餐廳,對稱的兩側建築物則作為講堂,獨立一方的福恩塔則放置善信的靈骨。 山門題了兩副對聯:「大甲鎮上絕點紅塵清淨地,鐵砧山前欣迎慧日耀 空門」,以及「大甲清幽入斯門破除魔障,砧山育秀登此境悟入禪機」,除了說...

文章列表

Contact

名稱

以電子郵件傳送 *

訊息 *