Pages

2010年3月15日 星期一

Arm-removal

  在參考互動雙足式機器人之設計與實現這篇論文後,實作了去手臂的模組,目的是避免含有手臂的手會大大降低辨識率。該方法採用逆時針旋轉來統計每個膚色點與重心的距離,如下圖所示:(引用論文圖片)


  這種直方圖統計的方式在影像處理課本第十章:表示與描述就看的到。所以,有了這個觀念,剩下的我想怎麼做就怎麼做囉!底下是整個去手臂的流程:


整個流程有幾點補充:
  1. Histogram Statistics:水平為角度、垂直為最遠距離。
  2. Low-pass filter:用 7x7 的遮罩,做二值影像的低通濾波。
  3. Post-processing:在統計每個膚色點與重心的角度,會因為計算誤差,使相鄰點得到同樣的角度,導致直方圖某些角度沒有值,所以我做了平滑化。
  4. threshold1、threshold2:前者用來決定是否有手臂存在;後者則是決定去手臂的程度。
  5. Find valley:這部份需配合下圖作說明,當決定要去手勢時,就開始往兩側找山谷,也就是傾斜度逐漸平緩的點。有時候坡度會緩和一下又繼續往下降,加入 threshold2,目的就是希望找到比較正確的山谷。

  另外,我將去手臂的目標鎖定在下半圓(180~359),也就是預設手不會從上面垂下來,這樣可以避免五指併攏被判斷成手臂的問題。

程式碼下載

2010年1月4日 星期一

Motion Detection

  「Motion Detection」是第一次接觸電腦視覺時遇到的問題,這個算法試圖從連續影像中找出「移動物體」,處理上可以從相鄰影像、或者以一張背景影像為基礎,而我是採用前者,過程如下:(門檻值設為 20)


  接著就是如何從這張二值影像找出物體,這部分可以參考「Digital Image Processing 2/e」一書中的第 11 章:表示與描述,當中提到「Chain Code」與「Polygonal Approximation」,至於我實作的方法是「Connected Component」,非上述兩者...XD。

  最後一個要考量的議題是如何取捨這些移動物體,我的作法是傳入一個 function pointer 給 motion detector 物件來使用,這樣一來,就可以自行決定 filter condition,function pointer prototype 如下:
typedef bool (*filter)(int cond1, int cond2, int threshold1, int threshold2);

實作範例
bool MyFilter(int cond1, int cond2, int threshold1, int threshold2)
{
if(cond1 < (threshold1/16) || cond2 < (threshold2/16)) return true;
else return false;
}

程式碼下載

參考資料:


2009年12月17日 星期四

找出二值影像的邊緣並序列化

  標題提到的「序列化」,意思是依序記錄邊緣上的點,以便之後取出該物體的 Fourier Descriptor。找邊緣的演算法很多:canny、snake 等,不過這些我都不會,所以我先用了 sobel 來做,但由於 sobel 會讓物體的邊緣「增厚」,這樣對於我之後的序列化會有困難。所以必須換別的做法。


  因為來源是二值影像,所以這邊想到一個更簡潔,效果我覺得一定好的方式 (自我感覺良好:P),整個過程分三步驟:
  1. 對影像做水平掃描,若像素 A 的左或右為背景,則像素 A 為邊緣。
  2. 對影像做垂直掃描,若像素 A 的上或下為背景,則像素 A 為邊緣。
  3. 將步驟一得到的水平影像和步驟二的垂直影像做「logical OR operation」。
  這樣一來,就可以將物體的邊緣找出來,且不會有邊緣增厚的問題發生,接下來就是「序列化」的動作。因為物體是連通,所以邊緣不會有斷掉的問題發生,我只要從某一點出發,朝周圍八個方向走訪即可〈Depth First Search 的應用〉,就是一定可以走出迷宮的老鼠..^_^。



程式碼下載 (DFS is non-recursive version)

判斷兩矩形是否重疊

  這個概念其實和高中數學提到的兩圓交於兩點一樣意思,差別只在矩形有兩個變量:寬與高。不過判斷上同樣簡單,只要計算出兩矩形中心的水平距離和鉛直距離,並滿足以下條件##ReadMore##
(distHor < (W1/2 + W2/2) && distVer < (H1/2 + H2/2))


程式碼下載 (矩形要自己框,框完一個就按任意鍵,再框下一個)

2009年12月16日 星期三

Fourier Descriptor

  在「Digital Image Processing 2/e」一書中的第 11 章:表示與描述〈Reprentation and Description〉,裡頭介紹幾種描述物體的方法,例如:鏈碼〈chain code〉、骨架〈skeletonizing〉、邊界描述子〈boundary descriptor〉、紋理〈texture〉等,這些動作其實就是在找物體的特徵,一旦決定了特徵,才能透過辨識引擎去做訓練與辨識。

  上述提到的邊界描述子有幾種描述方式,其中一種稱作「Fourier Descriptor」,這裡先做個簡單的介紹。這個方法是透過一維傅立葉轉換,將邊界資料轉換後,取其頻譜〈spectrum〉來當作特徵。有學過影像處理應該都知道,傅立葉轉換的高頻部份用來描述邊緣、細節、甚至是雜訊;低頻則是描述平滑區域、整體形狀。所以在實際應用上,就是把原始的 N 筆邊界資料,轉換後,取其前 M 筆的頻譜值來當特徵〈M <= N〉。      

  至於該如何量化邊界資料,其實課本說明得很清楚,我們只要把每個點 (x,y) 「視為」x+yi,也就是複數平面上的點,接著,從某點出發,順(或逆)時針依序記錄下來即可。說得更明白一點就是用 Complex[] 陣列紀錄啦!至於將每個點看成一個複數,好處有二(我猜的):
  1. 不改變物體形狀。
  2. 用一維傅立葉即可。(降維度的味道,因為本來是影像嘛^_^)

  因為這個演算法蠻簡單得,我就自己實作出來,並且驗證課本的正方形範例,不過,要注意一點,由於程式中的座標系和數學上的直角坐標系,Y 座標是上下顛倒,所以需要轉換一下。






程式碼下載

2009年12月15日 星期二

cv::Mat 與 IplImage 之間的轉換

從「OpenCV 1.1pre」版本開始對以前的 API,以 c++ 包裝,定義成 namespace cv,這意味著想寫 c-style 或 c++ style 的程式皆可。所以,在處理影像的部份,就有「cv::Mat」和「IplImage」,至於該如何轉換,請看以下程式碼片段:

IplImage -> cv::Mat
IplImage* iplImg = cvLoadImage("lena.jpg");
cv::Mat cvMatImg(iplImg, 0);
cv::imshow("cv::Mat Show", cvMatImg);

cv::Mat -> IplImage
IplImage iplImg2;
iplImg2= IplImage(cvMatImg);
cvShowImage("IplImage2 Show", &iplImg2);
在第一個範例中,我們可以看到 cv::Mat 的建構子有兩個參數,比較重要的是第二個參數,如果設定成 0,代表不複製影像,也就是兩個變數的 row data 共用同個記憶體位置,header 則各自有。

接著,第二個範例,從第二行可以看到 cv::Mat 呼叫成員函式 operator IplImage(),至於行為上就沒得選擇,一定是 row data 共用同個記憶體位置,header 各自有。

底下是 operator IplImage() 的實作內容,定義在 cxmat.hpp;類別則宣告在 cxcore.hpp...
inline Mat::operator IplImage() const
{
IplImage img;
cvInitImageHeader(&img, size(), cvIplDepth(flags), channels());
cvSetData(&img, data, (int)step);
return img;
}

製作簡單圖表

開發過程中,常常需要偵錯,方法不外乎下中斷點、印訊息、寫檔,但想動態地觀察資料,就需要視覺化的呈現,像「ZedGraph」和「OWC11」都是不錯的選擇。但殺雞焉用牛刀,所以就自己寫個函式,配合 OpenCV 作呈現(因為他跨平台嘛)。

因為我的需求非常簡單,只要幫助我觀察資料就好,所以實作上非常簡單,在此不多加贅述,只要說明一下函式原型就好:

Broken Line(點我一下>///<)
bool BrokenLineGraph(IplImage *blImg, int *data,
int *range, int dataNum, bool reset);
  1. 1st parameter:秀資料的圖檔。
  2. 2nd parameter: 原始資料。
  3. 3th parameter:資料範圍,range[0] = min;range[1] = max。
  4. 4th parameter:資料量。
  5. 5th parameter:是否刷新圖檔。

Histogram
(點我一下>///<)
bool HistogramGraph(IplImage *hgImg, int *data,
int *range, int dataNum, bool reset, CvRNG *rng);
  1. 1st ~ 5th:同上。
  2. 6th parameter:亂數種子,用來取色。 
所以是非常簡單,對我而言夠用了。至於餵進來的資料多寡,會影響繪圖的結果,所以要提醒一點,圖檔寬度要大於等於資料量,或者分批丟進來!

為了加強跨平台的特性、與維持原始碼的"乾淨",我使用 CMake 這個工具來產生 makefile,不過我只完成一半(windows),有興趣的可以把另一半完成,至於詳細語法可以自行 google。

程式碼下載

參考資料:

2009年11月5日 星期四

不同版本之滑鼠事件設定

OpenCV 在一兩個月前發布最新的 v2.0,對我而言,最大的差異就是「function prototype」,數量可說是不勝枚舉,但我們僅需了解其不同之處,修改應該不成問題,設定滑鼠事件就是一例。

滑鼠事件不外乎就是「左右鍵按下、放開」、「滑鼠移動」,不過這些都是簡單卻很重要的工具,例如:我們可以
  1. 框出指定區域作物體追蹤。
  2. 框出指定區域作直方圖統計。
  3. 框出指定區域作影像擷取。
甚至這個方框可以動態讓使用者作調整,所以他的確是很重要的東西。恩!底下就針對差異點說明:

Set mouse callback function
  • OpenCV b3.1
cvSetMouseCallback(const char* window_name, CvMouseCallback on_mouse);
  • OpenCV 2.0
cvSetMouseCallback(const char* window_name, CvMouseCallback on_mouse, void* param CV_DEFAULT(NULL));

Mouse callback function prototype

  • OpenCV b3.1
void MouseCallback(int event, int x, int y, int flags);
  • OpenCV 2.0
void MouseCallback(int event, int x, int y, int flags, void *param);
很明顯地,新版多了一個參數「void* param」,這樣一來,就可以傳入一個結構,來記錄滑鼠座標,毋須定義全域變數。另外,還有一個外表看不出來的差異,就是舊版(b3.1)取得的滑鼠座標需要上下顛倒,但新版不用,詳細可以看原始碼。

Source Code Download

2009年10月7日 星期三

手動安裝 NVIDIA 顯示卡驅動程式

  每次裝完 Ubuntu,驅動程式都會自動安裝完畢,即使沒安裝到的,也可以從「受限制的驅動程式」去啟動它(像是我的工作機),不過,這次安裝 8.10 的機器,顯示卡是 GeForce 9700M GTS,受限制的驅動程式(173和177)都無法正常啟動,所以必須手動安裝。參考這裡,有詳細的說明,底下把重要的部份列舉出來:##ReadMore##
  1. 到 NVIDIA 驅動程式下載中心找到你要的版本,像我就是下載 GeForce 9M 系列的。下載的檔明為 NVIDIA-Linux-x86-185.18.36-pkg1.run。
  2. 修改檔案權限:chmod +x NVIDIA-Linux-x86-185.18.36-pkg1.run。
  3. 移除安裝過的 NVIDIA 套件:csudo apt-get --purge remove nvidia-*。
  4. 按 Ctrl+Alt+F1 進入文字模式。
  5. 關閉 X window:sudo /etc/init.d/gdm stop。
  6. 開始安裝驅動程式:sudo sh ./NVIDIA-Linux-x86-185.18.36-pkg1.run。過程中會去下載 kernel header,不過會下載失敗(我的 /usr/src/ 底下明明就有了),但沒關係,還是可以編譯並安裝成功。
  7. 重啟 X window:sudo /etc/init.d/gdm start。
  8. 大功告成,利用 glxinfo | grep "OpenGL version string: 看到顯式卡的型號、以及 NVIDIA X Server Settings 修改解析度以及刷新率。
  終於給這台 17 吋寬螢幕的 NB「1440x900」和「73 Hz」最後要提醒的一點是,如果有更新 kernel,記得要重新安裝驅動程式。

2009年9月22日 星期二

Mgestyk Gesture Based Control

  Mgestyk 是加拿大的公司,利用 3D Camera 來做到三維影像的辨識,我只能說做得非常好...冏>。另外,Toshiba 出了「Cell-based SpursEngine」在 NB 和 LCD TV 上面利用手勢操作以吸引買家。從 Eij的碎碎唸 這篇看來,似乎 Toshiba 和 Mgestyk 有合作關係,還是說,根本是關係企業...。以下是 demo 影片:



Reference
  1. Mgestyk Gesture Based Control
  2. Toshiba 發佈手勢控制的 Cell-based 電視
 
Blogger Templates