宅學習 - Social Learning Space 社交學習空間@FJU CSIE

全球腦是指一個關於分享人類知識，所有人類智力的思想、創新和發明的總和的概念。

目錄
1 概念的歷史 
2 全球腦的歷史 

從網路上發現了此段影片,雖然講授的部份非目前課堂所學到的

但是,是一個非常有趣的一段實驗以及研究

此為影片的網址   http://ppt.cc/p0jP

演講者Rebecca Saxe   是MIT腦與認知科學的助理教授

此段影片主要針對RTPJ作實驗  也就是right temporal parietal junction(右顳顱頂接縫區)

文章來源:
http://www.richyli.com/blog/2010/01/amazon-iphone-app-remembers.html

以下節錄文章內容：

組別：第二組  

組員：許復凱 劉凱銘 許聆容

先說這題在做什麼：題目說，現在我們的code可以依照inbound links中的text做rank了。
可是有一種狀況是這樣的，就是我們有時候用關鍵字去搜尋，但是最符合的網站可能沒有你的關鍵字內容
這時候就會發生搜尋不到的情形，題目提到搜尋圖片就是典型的例子。
課本希望我們改善他的search code解決這個問題。

早在前幾次課堂中報告了這題，當時的作法是利用資料庫去另建table做處理，想得很複雜
之所以會想要從資料庫著手，最主要原因是當時沒有時間跑一次crawler把data建起來

現在重新著手這題，卻意外發現這題只要加個關鍵一行code就可以完成
道理很簡單，我在記錄這頁有什麼關鍵字的時候，偷偷把這些關鍵字也link給下一個page
找到這個function : addlinkref(self,urlFrom,urlTo,linkText)
最後 + self.con.execute("insert into linkwords(linkid,wordid) values (%d,%d)" % (toid,wordid))
OK！
（單純但是這樣做像是wordlocation那個資料表就會不完善了，不過是小問題～重點是可以搜到）

我在課堂報告也提出了一個機制，道理跟我現在弄得很像
不過我每個關鍵字都給他加上了權重，利用上方程式碼加上去的關鍵字權重都給0.3，一般關鍵字就是原來的1
這樣做不會影響到原本的演算法，在計算上只要在最後面加上取floor，也就是最後計算1.2則以1算，2.1以2算
物理上的意義就是，一個page接受的外部相同關鍵字大於4個才可以跟出現在那個page的關鍵字權重相當(4*0.3=1.2)
當然數值只是一個大概，沒有實際測量過，方法我倒覺得挺不錯
可是當我發現這個方法要加在程式裡面就好麻煩唷>"<

組別：第二組  

組員：許復凱 劉凱銘 許聆容

 這一章是利用比對交友的一些資料，來判定兩個人是否適合。所包含的資料欄位有兩人的一些基本資料，包含了地址，課本上的地址是利用Yahoo API去抓到經緯度的數值，再把全部的欄位數值轉成數值型態，再去做比對，把資料做scale到0和1之間再去計算。再利用SVM的演算法去做分類，課本上的SVM模組要安裝到Python25很麻煩，因為他是用svmc.pyd去代替dll檔，我把這個檔案丟到每一個可能存在的資料夾底下，最後才裝上去。

Kernel_type=LINEAR

Kernel_type=POLY

在Matchmaker Dataset分析當中，但是我卡在剖析XML的時候都會出現錯誤訊息

否則下面的指令應該可以正確的將對應的Kernel_type=POLY的最後結果跟Kernel_type=LINEAR兩個做對比

 若是上面XML有剖析過的話，下面的指令應該為

answer,input=[r.match for r in scaledset],[r.data for r in scaledset]

param=svm_parameter(kernel_type=POLY)

prob=svm_problem(answers,inputs)

m=svm_model(prob,param)

呈現出最後的結果可以進行後面預測值的精確度

姓名：任祥偉，班級：碩職二，學號：496515029

一、簡介

隨著網路技術的發展，網路的應用越來越豐富，發展者的認為之後的網路服務可以越來越貼近電腦上的應用程式，而這些應用程式也可以靈活的與其他服務結合成為新的服務。
在行動裝置的網路服務中，context awareness的技術可以察覺出目前在行動裝置上的狀況，並將之轉換為可用的資訊，這些資訊可以上傳到web serivcie中，結合社群網站的服務與朋友交換分享，豐富了網路社群的服務內容。

context的定義是” 任何可以用來描述一個實體的情況的信息”，以常見的即時通訊的服務為例，使用者可以依據連絡人清單的狀況決定開始或不開始與連絡人通訊。context awareness的技術，特別適合用在輸入能力和銀幕尺寸被限制的行動環境下，由於行動裝置都是跟使用者在一起，行動裝置的context也會隨著使用者的使用環境而有所不同，成為一項豐富的背景資料。
當大量的行動裝置變成感測器時，從網路上來的大量context資料及使用者的本身的context可以被用來自動地配置服務。

為了建立context aware的Mobile Web 2.0服務，我們提出了隨插即用的應用平台(Plug and Play Application Platform ,PnPAP)的概念，PnPAP是指一個模組化的中介程式元件，我們可以利用此元件，透過抽象的通訊協定、session及connectivity的管理來加快應用程式的開發，類似SOA的架構，可以將service快速的更換，以其他的service取代。
PnPAP可以利用一群共同的函數來分享context的資訊，就像管理sessions及connectivities一樣，舉例來說，社群成員可以選擇其他成員去開始新的應用sessions，來做檔案分享，訊息傳送或即時通訊等應用。

二、context aware mobile Web 2.0 服務架構的元件

使用者的context，社群及身份認證可以被收集起來，透過行動的中介軟體傳到web service上。為了保障操作上的安全，存取這些資訊必須要經過一個可靠的元件，比方說一個特定的control service。這樣的操作可以達到「單一登入」的功能，使用者可以透過單一登入的方式使用不同的網路服務，原理如同Microsoft Passport Network。
Web service可以透過control service去取得使用者的context及社群的資訊，如此一來就可以更容易的利用其他web service的特別功能，形成新的mash up服務，如圖1所示。

圖1 Context-aware mobile Web 2.0 服務架構的元件

使用者可以實際看到多功能的mash up服務。在圖中，每個End-User Terminal和Mash-up Service有一個唯一的標識符號，用來連結服務session的具體context和社群資訊。
Control service也可作為提供Mash-up服務的入口(search discovery)。此外，Mash-up服務應當提供工具給使用者，讓使用者能確定mash up的服務同時也讓其他用戶可以存取到他的context和社群資訊。我們也可以根據當地的情況調整要提供的資料。例如，用戶可能只有在能快速的連接WLAN時，才需要提供她的位置資訊。
一般來說，所有的mash up服務都可以不需要額外的context和社群資訊，但是這樣就可能無法得到相同的結果 (例如，在社群中的位置 )。這可能會鼓勵使用者開放他的其context，以便能使用更順暢的服務。

2-1中介軟體

每個使用者的行動裝置上都執行了中介軟體的元件，可以控制 P2P的存取及context的傳送，如圖2所示。中介程式可做為流覽器的一部分，或是獨立的處理流程。雖然獨立的流程最容易實現，但是當瀏覽器的功能與中間程式的功能緊緊相依時，則必需將這兩樣一起執行。
中介程式收集了local的context資訊，並且在提煉之後分享在網路上。提煉的意思是指將必要的資訊從原始的區域背景資料中取出，並以通用的格式表示，以便其他node識別。中介軟體也要管理P2P網路中內容瀏覽或社群管理的網路協定。

圖2 行動中介軟體的設計

三、服務及傳送context與社群資訊的通訊模型

在這個架構中，我們需要傳送的資訊有兩個類型：1.可用的Web 2.0 mash up 服務。2.使用者context及社群的資訊。而要傳送這些資訊的方法有二種：集中或分散(P2P)的方式。如此一來，我們將獲得四個不同的組合，描述於表1之中。

表1 傳送服務及使用者context及社群資訊的模型

首先，從瀏覽器直接地傳送背景資訊給mash up服務似乎是最合適的。對比於上述的四個方法，這個方式不需要在行動中間程式與瀏覽器之間的溝通。
這個想法和PnPAP相同(讓瀏覽器變得像是PnPAP服務的一項應用程式)。但是在這個model中有一個主要的問題，它需要瀏覽器去存取local user背景及社群資訊，這樣會降低應用程式的可攜性。以下介紹上述的四種不同的模型。

3-1 Centralized Contrl(CC)

第一個傳遞使用者背景及社群資訊的方法是加強control service與資料庫的能力。行動中間程式應在適當的間隔下更新使用者資訊到控制服務，如圖3。

圖3 集中控制的模型

mash up服務可以利用control service所提供的介面去要求使用者的資訊。這個方法的問題是，要如何高效率的傳遞使用者context及社群資訊。當Control service遭遇大量的行動使用者要求更新其使用者資訊時，Control service也很明顯的會成為瓶頸。再者，mash up服務也會要求control service要持續的提供使用者的context及社群資訊。由中央提供及管理全部的資訊，能確保儲存的安全性也能準確的得到要求的結果。Control service有能力決定哪些mash up服務要給peers使用。

3-2 Centralized services(CS)

在P2P網路中分散的大量資源可以用來取代利用中央儲存及傳遞使用者context及社群資訊。使用者資訊被組織成可以放在P2P網路上被行動中間程式所使用的格式。Mash up 服務將要求P2P網路要透過一些control service作為像閘道的功能，以得到使用者的背景與社群資訊。control service被用來從不同的serivce提供者之間結合不同的P2P網路，如圖4所示。這就是為何需要數個control services的原因。

為了達到有效率的要求處理，網路負載必須平均地劃分，且需慮到不同peer的性能。在有效率的網路設計中，分享的peer應該被組織成階層式的架構。Peer有巨大的處理性能及頻寬的Peer被設為superpeer，管理訊息路由及儲存使用者的資訊。

 圖4 集中服務的模型

3-3 peer-to-peer services(PS)

另一種方法是將使用者背景及社群資訊保留在中央，但是讓mash up服務分散，透過P2P網路搜尋mash up服務。當mash up service被一個建全的，分散的superpeer索引到時，中央資訊管理的架構可以使得存取資料較為容易並且更為安全，如圖5所示。
XML Configuration Access Protocol(XCAP，XML結構存取協定)可以被視為最主要的角色，在這類方法中。XCAP server維持一個XML文件包含每個使用者及每個應用程式的資訊資源，可用於在應用程序中的具體方式。

圖5 P2P服務的模型

XCAP試圖支援需要多個同時存在的應用的結構，而不只是單一個應用。XCAP允許使用者從不同的客戶裝置中存取他們的資源列表。在Web 2.0 mash up的案例中，XCAP的資源可以被用來維護使用者列表及他們的預先服務偏好。Peer有能力決定他們要用的mash up (就像相反的CC model)

3-4 Pure perr-to-peer

第四個方法，是網路被組成完全的P2P網路。網路服務也成為了P2P網路的一部份，如圖6所示。在研究中指出，具有多功能即時訊息軟體類型的client (或類似的通訊軟體)將被當做mash up服務的入口，它會被升級成為具有服務搜尋及權利控制的能力。即時通訊類型的client會成為主要選擇的原因，是因為較多的使用者已經熟悉它們的用法。瀏覽器不能透過使用者的context及社群資訊來管理權利，因為權利已被轉換成獨立的context資訊。
Service 的探索可以透過IM client在P2P網路中創造search query來管理，或是使用者可以在彼此之間互相傳送新的service連結。IM client將會為mash up服務以及社群設定存取的權利。例如：IM Client可以給釋放權利給地圖的服務，使其可以存取local使用者的位置資訊。當權利設定完成，IM client就可以直接在local瀏覽器內啟動服務。
如果使用者在搜尋網站時發現一個新的mash up服務，mash up服務可以經由P2P網路要求適當的存取權利。request將突然出現在IM client上，此時使用者可以接受或拒絕要求。Mash-up服務將需要使用者唯一的ID使能其獲得request。傳遞ID從使用者到Mash-up應該不難，但仍需用安全的方法實行。

圖6純粹的P2P模型

這個方式的主要優點是不太需要中央管理(沒有急迫的需要操作者控制)。P2P網路可以被一個操作者維護，但是只有在使用者認證時需要嚴謹的控制。
Control service可以被分割到多個使用者之中，在這個案例中，為了確定被指定的是全區唯一的使用者識別符號，在不同使用者之間的內部操作能力必須要能被保證。搜尋效率及資料有效性也必須被保證，因為大部分context資訊在短時間內被淘汰。除此之外，安全及隱私也是分散式資料管理的問題之一。

四、結論

在Mobile Web 2.0的設計中，context aware的技術要算是最適合於行動裝置使用的，因為行動裝置的特色就是它的使用環境無時不刻在變化，這一篇文章中提到利用一個輕量的中介軟體來傳達context及社群的資訊，這樣可以方便使用者快速的將context資料在社群之間分享，同時也能讓web service的內容更加的豐富。
透過中介軟體可以做到集中式或是分散式的資料管理，配合需要傳送的context資訊及web service的資訊，會產生四種網路的模型。
集中式的管理具有高度的資料安全性及易於搜尋的特色，但是做為入口的control service可能會成為瓶頸，資料的傳遞也不如分散式的資料管理靈活。分散式的資料管理具有靈活的資料傳遞特性，但是相對的問題也較多，如安全性的問題，web service搜尋的問題，都有待克服。
但是P2P的網路架構有較大研究空間，將來可以朝向設計中間軟體並建立P2P的網路進行研究。

現在大家嘴巴都喊著cloud cloud cloud, 那有沒有什麼東西是能讓我們親自體驗的呢?

Apache推出了open source的platform Hadoop一陣子了, 它也是將數台實體機器做成一個虛擬平台, 也就是我們現在常提到的cloud.

有興趣的話可以去參考它的教學文章, 感覺設定上並不會太過困難, 照這它的getting start step by step即可,

http://hadoop.apache.org/core/

Yahoo!在前陣子也開始加入這個open source的開發.

但話說回來, 到底要到什麼樣規模的服務, 才有需要建置這種cloud? 對於Yahoo來說, 他們的運算成本是降低了, 因為比較起來, 超大型機器的建置及維護費用遠高於cloud中的一台小的實體機器, 但反觀一個小服務, 例如輔大資工的網站, 有必要把這個服務建置到cloud上嗎?

當然這個例子的答案是很顯而易見的, 不過如果今天公司裡的server是處在很尷尬的階段, 3台, 5台, 10台, 那是要把這幾台機器全用Hadoop串在一起好, 還是用一台超級伺服器來取代比較好? 相信這也是會有一定程度的成本考量, 不論是未來的硬體維護, 及人力維護成本(不同的架構所需要的人才價格當然不同)

但這勢必是個趨勢

目前搜索引擎考量到只能以很短的單字去做Query(inverted list，每個單字為單獨建)，若要以圖片作搜尋引擎的檢索，等於是將一個document丟到search engine去做query，並且在整個機器做計算，傳統的搜索引擎大部分花費的時間在crawl 全部pages給user，但是最終給user只會有百分之一，其他都會浪費掉，若從原有的搜索引擎結構去做Multimedia Search必須去做改良，利用Search是可以最快直接得到用戶的intension，這就牽扯到long query的問題，必須處理大量的資料來從大量的圖片當中找到所要的圖片，傳統的Page Rank演算法，就是會利用去評估每個page的weight去給user較重要相關的page，但是他只能處理short query，一個images有一千個local feature，要將大量的資料去做降維(壓縮完再index)找到重要的data，很容易會丟掉一些重要的資料。

一般的inverted list

上圖inverted list (出自LARGE SCALE MULTI-TYPE INVERTED LIST INDEXING, Joerg Meyer)LSH （Locality Sensitive Hashing）(此段出自於於邱一航等人,以圖像內容為基礎的重製圖像偵測與追蹤系統 – 使用概似最近搜尋法) LSH主要的想法為空間中的每一個點經過雜湊函數的計算，可以讓每一個點與較相近的點碰撞的機率提高，反之若兩點的距離很遠則碰撞的機率則會下降。所以在查詢時，可以藉著雜湊函數來判斷鄰近的點，並且從雜湊桶裡得到所需相近點的資料。LSH在動態修改方面，如插入，刪除和修改點等功能，相當容易使用，時間複雜度也不高。LSH文獻中主要探討都使用歐氏空間來計算兩點間的距離，但是也可依據使用不同情況下，使用不同的距離計算公式，來定義不同LSH的雜湊函數，判斷點與點之間的相近程度。 LSH是由Indyk和Motwani所提出，其主要目的在於解決在多維空間中搜尋某ㄧ點的臨近點之問題。LSH在多維度的空間中，搜尋最近相鄰點時，其時間複雜度，會小於線性搜尋法的複雜度。Topic model (LDA)在visual space 找到subspace，每一個subspace都是一個topic model，把所有document重新project到那裏，然後用hashing的方法建index，因為是做壓縮很多東西會移失，上圖o 跟＋是兩個不同的class，用PCA 求出降維後的basis，會使所有data 投影到那basis 產生的error (Euclidean distance)最小。另一方面，Fisher LinearDiscriminate (LDA) 所產生的basis 就不一樣了，你可以看得出來o 跟＋被投影到LDA basis 上時，有明顯被區分成兩群的情況，我們可以在投影過後的space中，決定出一個點把兩群資料分開！而PCA 投影過後的data 沒有辦法決定一個點把兩群資料分開。Long document retrieval所以將文件分為三個部分:1. document specific word (每個document是唯一的與標題相關)2.topic specific word(與search keyword相關的) 3.background/stop word(多餘的內容)驗證subspaceBasic ideal: Document Decomposition1.      藉由PCA、SVD，一個文件p可以代表為p=m+Xw 這裡的p，m和 都是兩個W維度的特徵向量，X是一個W藉由K矩陣所得到的，w是p重新建置的系數2.      兩個文件的內積(為了要移除mean)

p=m+Xw+

Decomposition model

Ranking Engine

Cloud computing with search 大部分傳統的搜尋沒有辦法將user所搜尋的資料進行儲存，每一次的搜尋都必須重新去計算，並且是以pipe line的方式進行

1.      每一次會將網頁進行crawl，將資料進行除了後取出所要的data，再將data去建index，不斷的重複，沒有辦法將每一次所crawl的資料進行儲存。2.      並且是緊偶合的架構，只要部分結構改變全部其他也必須跟著去改變。Search engine分為三個系統A.          Offline experience(系統會經由內部的開發人員去做建置和開發)B.          Online experience(將系統開放出來進行測試，得到結果進行改良)C.          Production(以產品的方式推出，得到結果的回饋)Layered Infrastructure for search

1.      變的有記憶力2.      技術轉移可以藉由data transfer，讓整個效能改善

Web-scale Multimedia analysis for search

把所有相關的數據算法變成類別庫，把meta data 存起來後，然後互相share和交換，定時將結果Knowledge傳到pipe line理，讓效能更重要Reference[1]. LARGE SCALE MULTI-TYPE INVERTED LIST INDEXING, Joerg Meyer, March 2005[2]. 以圖像內容為基礎的重製圖像偵測與追蹤系統 – 使用概似最近搜尋法 ,邱一航 ,2006,第五屆數位典藏[3]. Large-scale Multimedia Analysis and Similarity Search, Wei-Ying Ma(Microsoft research) ,2008,Emerging Technologies in Digital Media

Pocket Controller 簡介

碩職二  496515225  劉凱銘

需求：
    * 兼容所有運行微軟Windows Mobile ， Windows CE的， Pocket PC或Smartphone操作系統的設備

系統：
    * Windows XP, Vista, Windows 2000 desktop or server 作業系統的PC or NB
    * ActiveSync 4.1 or later

Overview:
 Pocket Controller-Pro可以透過使用您的桌上型電腦的屏幕，鍵盤和滑鼠來查看和控制您的移動設備的掌上控制器

功能：

     *連接：可以透ActiveSync和TCP/IP protocal 來和Device連接。可以同時進行多個連線！
     *裝置外層：查看您的移動設備中的設備的Skin，Skin對大多數的Windows Mobile （ Pocket PC和Smartphone）是可以利用的裝置。
    * 全螢幕背景模式：View the remote control session against a solid color or HTML background, ideal for presentations
    * 縱向或橫向顯示模式：查看您的移動設備屏幕上的縱向或橫向的模式
    * DOS 視窗：使用的DOS等工具來遠程執行DOS命令
    * 剪貼同步：在設備和桌面電腦中進行傳輸數據移動 。這一設施允許的數據可以方便地交換了台式電腦和設備之間的應
    * 指令的記錄/播放：記錄擊鍵和鼠標活動，以指令的檔案可以播放。指令檔案的文本文件，可以修改和自定義
    * Automatic Startup：Can be configured to automatically start/stop when you dock/un-dock your mobile device profiles, multiple TCP/IP addresses, control multiple devices simultaneously by running multiple instances of Pocket
自動啟動：Device可以為自動啟動/部分停止時，當您的移動設備dock/un-dock設定檔案，多個TCP / IP地址，控制多台設備同時運行多個的實例。

控制：
    * 支持所有國際鍵盤
    * 10個月的免費升級和技術支持

<!-- File Synchronization -->

<!-- Registry Editor -->

<!-- Task Manager -->