AI Projects
漫畫修補 (Inpainting) & 漫畫復原 (Restoration)
Stable Diffusion, VAE
導入 Stable Diffusion 來進行漫畫的 inpainting 與 restoration，針對 Stable Diffusion 於漫畫上的種種問題進行修正，同時藉由 Stable Diffusion 的架構改良，讓內部的 VAE 能夠去除老化漫畫的髒污與泛黃特徵。
本研究藉由 User Study，證明了本研究的方法超越了以往的 inpainting 方法，包含：LaMa、Stable Diffusion、Xie et al. 提出的漫畫 inpainting 模型。
Ti-MAE & Transformer
Ti-MAE, Time Series, Transformer
Ti-MAE 是一個基於 Transformer 的時間序列分類模型，透過隨機生成遮罩進行自監督學習。此專案參考了論文，從頭於 PyTorch Lightning 實作了 Transformer 和 Ti-MAE 模型。
AI Smart Fast Forward
C++, Video
在 Skywatch 實習時做的專案，透過引入 AI 來提升智慧縮時的表現。智慧縮時是一個輸入 24 小時影片，可以輸出最長 10 分鐘影片的演算法。原本的演算法需要長時間的運算，並且會消酪大量記憶體。本專案藉由引入簡單的 AI，降低演算法對於雜訊的敏感度，同時最佳化演算法，讓運算速度大幅減少。
Image Similarity & Semantic Search
CLIP, Milvus Vector DB
一個透過 CLIP 與 Milvus Vector Database 實作的簡單相似影像搜尋系統，用戶可以透過文字描述想找的圖片，或是透過上傳圖片，來尋找相似影像。
Introduction : https://imrton.github.io/專案/ImageSimilaritySearch/
Skywatch 產品 QA 機器人
Llama 2, LLM, QLoRA
挑戰將 LLM 部署於 NVIDIA GeForce RTX 2070 8GB 消費級顯示卡上，並透過 finetune，讓模型可以回答 Skywatch 的產品問題。
具體是透過 GPT4 產生有關 Skywatch 產品問答的 dataset，並透過 Supervised Fine-tuning 調整基於 Llama 2-7B 的 Taiwan-LLM-7B 模型。
漫畫畫格 (Panel) 和對話框 (Speech Bubble) 的實例切割 (Instance Segmentation)
MViT, Detectron2, Instance Segmentation
透過 Detectron2 訓練一個基於 MViT 的實例切割 (Instance Segmentation) 模型，用來切割漫畫中的畫格 (Panel) 和對話框 (Speech Bubble)。
Car Detection and Removal of Landscape Scene
Mask-RCNN, Blender, 2D to 3D Projection
建築業在做地景重建時常遇到重建出來的街道場景過多雜物，如：汽車、機車、破碎號誌竿以及樹木等。因此在重建前，先透過深度學習(Mask-RCNN) 產生這些雜物的 Mask，在重建時就不會將這些空拍圖車輛的 Pixel 資訊納入重建。得以產出乾淨的 3D 街道場景。我們透過結合深度學習與 3D 重建的相機資訊，得以反推出 3D 場景中所有車輛的 Mask，達到幾乎 99% 的辨識率。
DLCV Projects
CNN & Semantic Segmentation
https://hackmd.io/@RTon/H1_Wtvcfs
- CNN t-SNE analysis
- Satellite Semantic Segmentation
DCGAN、WGAN、Diffusion Model & DANN
https://hackmd.io/@RTon/SJw676wms
- DCGAN
- WGAN
- Diffusion Model on MNIST dataset
- DANN t-SNE Results
| Type | Domain | Class |
|---|---|---|
| MNIST-M → SVHN |  |
 |
| MNIST-M → USPS |  |
 |
CLIP、Image Captioning
https://hackmd.io/@RTon/BkpQxeGHi
- Image Captioning
| CLIPScore | 0.8990 |
|---|---|
| Predicted | a person standing on a beach with colorful kite . |
| Ground Truth | a man is walking towards his kite on the ground. |
| Image |  |
NeRF & Self-Supervised Learning
https://hackmd.io/@RTon/H1YkYXjUj
- DVGO Results
3D Semantic Segmentation
- Post
Graphics Projects
Incremental Instant Radiosity
Unity Engine, Ray Tracing, Radiosity
Interactive PailouModeling
Unity Engine, Procedure Modeling
2D to 3D Maze
OpenGL, Visible-Surface Determination
使用OpenGL 將左圖的2D 迷宮轉換成3D 版本，牆壁、顏色等都要自己計算，包含要畫在畫面上的哪個位置，且不能套用Z-Buffer 等OpenGL 3D 函式。
VFX Projects
HighDynamicRange-Imaging
Image Alignment using MTB, Solve Response Curve, Radiance Map, Tone Mapping
Calculate HDR image using multi-exposure images.
Introduction : https://imrton.github.io/專案/HDRImaging/
Source code : https://github.com/ImRTon/HighDynamicRange-Imaging
Image Stitching
SIFT
Combine a set of images into a larger image by registering, warping, resampling and blending them together.
Introduction : https://ImRTon.github.io/專案/ImageStitching/
Source code : https://github.com/ImRTon/VFX-ImageStitching
Game Projects
Tank Battle
Unity Engine, Third Person
Zombie Field 2022 - First Person Shooter
Unreal Engine 4, FPS
Hardware Projects
DIY Electric Scooter v4
3D Printing, Electric Circuit, Motor Control, Lithium Battery
改造自迪卡農滑板車 Town 7 XL，為一台輕量化可攜式的電動輔助滑板車，可折疊，全車重 < 8kg，易於攜帶。配有可抽換式電池，方便充電以及快速的電力補充。
Battery Pack of Electric Scooter
3D Printing, Electric Circuit, Lithium Battery
電動滑板車的電池組，由 6 顆 Sanyo NCR-20700B 鋰離子電池組成 12V 的電池系統，可外接 30W PD 充電器與 DC-DC 轉換電路，可提供 60W PD 輸出或是 20W Dash/VOOC 輸出。
3D Printed KartRider Race Car
3D Printing, 3D Modeling
透過 Autodesk Inventor 去建出跑跑卡丁車中的積木舒適 9 卡丁車。
準時睡鬧鐘 (黑客松 MakeNTU 2020)
Arduino, 24 Hours, 黑客松, MakeNTU
準時睡鬧鐘有幾項特點：
- 睡覺時間會響起鬧鈴，直到將手機放入充電。
- 於睡覺時間，無法打開拿取手機。
- 如有急迫需求使用手機，只能使用畫面上下顛倒，操作左右相反的觸碰筆。
- 從發想到實作皆於 24 小時內。
- 結合睡前充電的習慣。
在這聯網時代，手機變成什麼都可以控制，然而我們也捫心自問，手機是除了方便了生活，是否卻不方便了準時上床睡覺呢? 為了維持正常睡覺的習慣，為了不再因為一個通知而在床上划手機還不小心熬夜，這個鬧鐘會在設定的睡覺時間響起，提醒你該交出手機去睡覺，若還不照做就會一直吵你，還越來越吵煩到你受不了乖乖交出手機。怎麼知道你真的放下手機了? 這就得提到很多人使用手機的習慣⸺睡前充電，我們透過感測是否有充電，排除掉放入鬧鐘裡的東西不是手機。當放入手機並且按下右側睡覺鈕後，手機將會被關起來直到隔天設定的起床鬧鐘響起，才會退出來還給使用者。
在這個聯網時代，希望藉由這個「準時睡鬧鐘」，讓人們學習享受便利的同時，不會被手機所綁架而不方便最基本的睡眠。
智慧約束帶 (創創 AIoT 2022)
Arduino, App
與台科大醫工系和長庚科大護理系同學合作的比賽，作品是智慧約束帶，以氣囊和橫向電動馬達系統，智慧束縛患者，也透過 App 管理患者的狀況。結合以上，降低壓瘡的發生。獲得創創 AIoT 2022 佳作肯定。
被窩空調 (綠色生活創意競賽)
Arduino, App
與台科大電機和設計系同學合作的比賽，作品是被窩空調，透過水冷式的床墊和棉被來降溫，取代空氣降溫的空調，能夠更加節省能源。獲得佳作肯定。
動物森林 (與設計系合作之桌遊)
Arduino, 3D Printing, 3D Modeling
這是幫助設計系同學專題的作品，跳過遊戲規則以及概念設計部分。總之這是一款想要藉由卡牌，結合聲音互動的遊戲。主要的機電部分就是上方這顆方形的主機，透過感應卡片的RFID 辨認動物類別，在使用者壓下卡片時，會使這個裝置發出那個動物的叫聲，藉以使孩童去認識動物。當中設計系的同學提供這個產品的遊戲概念以及美觀部分，我與另一位電機系同學負責將機電部分實作與概念優化。因而最後產出了這個作品。
