深網(Deep Web)智慧

  1. Collaborated Note 2.0
  2. Data Mining: Association Rules (Sequential Pattern), Supervised/Unsupervised/Partially-supervised Learning)
  3. Social Network Analysis (SNA)
  4. Information Retrieval: Vector Space Model (TF-IDF)
  5. 推薦(Recommendation): Collaborative Filtering, Similarity
  6. 發現叢集(Discovering Group, Clustering): Hierarchical, K-Means, Beautiful Soup
  7. 分類(Classification): Decision Tree, Bayes' Thm, Fisher Method, Feature detection, matchmaker, SVM, LIBSVM
  8. Searching and Ranking: Crawler, Index, Content-based rank, Pagerank, ANN
  9. Multi-attribute Numerical Prediction Model: k-Nearest Neighbors, Cross-validation, Heterogeneous variables, scale
  10. Feature extraction

回應

1.何謂Cloud Computing?

答:(cloud computing)是將龐大的運算程序的系統給演化成較小的作業程序,交給遠端同時運算。透過這項技術,網路服務提供者可以在數秒之內,處理數以千計、萬計的資訊, Google的很多功能都有用到這項技術,例如:GmailYouTube等都有應用到這項技術。如今Google engine的開放也要將這項技術和大家分享。

雲端運算技術在網路服務中是將data儲存在網路上眾多的伺服器裡,未來將進入離開個人電腦的時代,如手機、GPS等行動裝置都可以透過雲端運算技術,去執行更多的免費服務。雲端運算的未來不僅會廣受社會上的應用,在生物科學上也會普遍被應用,透過多台遠端電腦進行運算,比單單使用自己的單機運算,實在是便利多了。

雲端運算的發展是網路上技術廷伸的結果,才使得cloud computing 的概念得以發揮,未來衝擊的必然是個人的電腦平台,日後有可能只要有網路可供上網就可以搞定一切,不再需要在個人電腦內安裝軟體,透過cloud computing技術未來在可在網路上運用更複雜的處理系統等所有的服務都將在網路上提供並且完成,但是他也有他的缺失例如:停電時該什麼辦,還有資料的隱失權就完全都呈現在網路上一旦遭受到駭客的攻擊,就會非常的嚴重,這些都是值得研究的課題之一。

2.何謂Grid Computing

答:格網運算指的是大規模整合的電腦系統,可按照使用者的需求提供資料處理功能,或提供單台機器與一小群機器所無法達成的功能。對使用者來說,格網系統的網路架構應該具有「流通性」。也就是說,遠端提供的服務用起來會像是由區域電腦提供的。   

普遍的運算格網所能造福的包括電子商務企業。這類企業可依據需求變化,調整資訊及運算系統,同時把系統連結到合夥公司、供應商,以擴大服務範圍。如果有一家經營電玩的公司,同時也提供了電玩的虛擬實境的服務。當一名消費者開始玩虛擬的電玩時,這家公司就必須進入資料庫、運用軟體去放置相關的寶物資料,一旦有了格網技術,就可從多家供應商取得必要的資源。由於這些供應商各自提供服務給多位客戶,因此能達到良好的經濟上的規模利益獲利。

3.何謂Utility Computing

答:Utility computing),是在一種付費的機製上,也叫做按需求去做費用的一種計算,透過系統服務商,去達到想要的資訊化功能,系統服務商也提供相對的服務去滿足企業的需求,進而達到各取所需的目的,但相對的就必需負責費用上的支出去給系統服務商。

4.Cloud Computing的優缺點

答:優點1.費用的支出明顯的減少。

         2.不用去管理硬體及軟體平台上的開發。

         3.減少系統上不穩定的次數。

         4.可應用在各種領域上的應用。

         5.讓以後網路上的發展更加的便利。

    缺點1.雲端運算技術可以抵抗DDOS攻擊嗎。

         2.著作權及隱私權的問題。

         3.要是停電或是遇到天炎如地震颱風等死當怎辦。

         (中華電信曾發生地震時海底的線斷掉造成電話及網路中斷)

         4.資料庫備份及轉換的問題。

         5.管理者使用上熟悉度的問題。

 

5.如何面對Cloud Computing的問題?

答:預防DDoS攻擊,在Cloud Computing上的技術都有很多備援的機制一台server掛掉,可以切換在另外一台的server上,雲端運算可以不斷將服務轉給正常的Server,理論上應該是可以擋的住DDOS的阻斷式攻擊,但是這也是治標不治本的方式,真正的方法也是要架設一個防護網的機制去偵測及過濾封包的標頭是否正常,整個防護網的布置也必須相常的愼重才行,整個Cloud Computing上的技術演算法是否應該把安全上的機機給加進去才是相常的重要,可以架設一個AS自治區域由下而上的主機及過濾器的模形, 每個節點都必須去控制他的流量,一旦有了超載的現象就必須有相連通報的機制,以目前的彊屍電腦所形成的反射器DDOS攻擊 相要找出源頭,以現行的技術是非常的困難,我認為應該先防止攻擊(前)先做好主機備緩機制,一台掛掉,另一台馬上啟用,(攻擊時)過濾並偵測可能的攻擊封包,(攻擊後)辨認封包來源並防止進一步攻擊及追查IP封包的位置。

6.如何將傳統Client-Sever服務轉置到Cloud上 (透明轉置, i.e. 使用者的正常服務不受影響) 

答:我認為首先要先備份database的資料,備份後再評估整個平台的使用性及習慣性,接下來機房最好也備援一台server萬一cloud發生問題時,機房的server就可派上用場,但是資料的備份必須同步的傳輸,如果轉置在cloud上,cloud會不會管制流量也是參考的一個重點,怕也是怕在Cloud上的server還沒掛之前,會不會就因為頻寬用完,而將server的服務關閉,這都值得想一想,我是覺得先將備緩好的server先上線,再行將系統轉置到cloud上,但是我感覺先讓cloud的技術成熟很多人使用過再行搬置是比較保險,如果有問題是先死別人,而不是自已遭眏,也可當借鏡,不然就是去尋問別人放置在cloud上所遇到的問題,再去做個規劃流程,有點像系統分析式的先劃畫再執行,避免不必要的風險。

資工碩職二 496515304 李天生

Cloud computing 

雲端運算(cloud computing),是分散式計算技術的一種,其最基本的概念,是透過網路將龐大的運算處理程序自動分拆成無數個較小的子程序,再交由多部伺服器所組成的龐大系統經搜尋、運算分析之後將處理結果回傳給用戶。透過這項技術,網路服務提供者可以在數秒之內,達成處理數以千萬計甚至億計的資訊,達到和「超級電腦」同樣強大效能的網路服務。
簡而言之,雲端運算將過去的分散式計算技術,透過 Internet 的時空環境,讓大眾可以用最簡單的方式以及最低的使用成本取得最強大的效能的網路運算服務。
Forrester Research 提出 Amazon Web Services對於 Clouding Computing 在 Hosting 這一塊的運用與做法可以看出一些技術發展的趨勢。

 

最簡單的雲端運算技術在網路服務中已經隨處可見,例如搜尋引擎、網路信箱等,使用者只要輸入簡單指令即能得到大量資訊。未來如手機、GPS等行動裝置都可以透過雲端運算技術,發展出更多的應用服務。進一步的雲端運算不僅只做資料搜尋、分析的功能,未來如分析DNA結構、基因圖譜定序、解析癌症細胞等,都可以透過這項技術輕易達成。稍早之前的大規模分散式運算技術即為「雲端運算」的概念起源。

2007年10月,Google與IBM開始在美國大學校園,包括卡內基美隆大學、麻省理工學院、史丹佛大學、加州大學柏克萊分校及馬里蘭大學等,推廣雲端運算的計畫,這項計劃希望能降低分散式運算技術在學術研究方面的成本,並為這些大學提供相關的軟硬體設備及技術支援(包括數百台個人電腦及BladeCenter與System x伺服器,這些運算平臺將提供1600個處理器,支援包括Linux、Xen、Hadoop等開放原始碼平臺)。而學生則可以透過網路開發各項以大規模運算為基礎的研究計畫。

最簡單的雲端運算技術在網路服務中已經隨處可見,例如搜尋引擎、網路信箱等,使用者只要輸入簡單指令即能得到大量資訊。未來如手機、GPS等行動裝置都可以透過雲端運算技術,發展出更多的應用服務。進一步的雲端運算不僅只做資料搜尋、分析的功能,未來如分析DNA結構、基因圖譜定序、解析癌症細胞等,都可以透過這項技術輕易達成。稍早之前的大規模分散式運算技術即為「雲端運算」的概念起源。

2007年10月,Google與IBM開始在美國大學校園,包括卡內基美隆大學、麻省理工學院、史丹佛大學、加州大學柏克萊分校及馬里蘭大學等,推廣雲端運算的計畫,這項計劃希望能降低分散式運算技術在學術研究方面的成本,並為這些大學提供相關的軟硬體設備及技術支援(包括數百台個人電腦及BladeCenter與System x伺服器,這些運算平臺將提供1600個處理器,支援包括Linux、Xen、Hadoop等開放原始碼平臺)。而學生則可以透過網路開發各項以大規模運算為基礎的研究計畫。

Grid computing

grid computing (網格運算) 這個名詞跟 cloud computing 很像。其實 cloud computing 在概念上跟 grid computing 並沒有非常嚴格的區隔或是很大的不同,兩者均可看成是 distributed computing (分散式運算) 衍伸出來的概念。

grid computing 一詞出現得較早,將重點的概念放在異質系統之間運算資源的整合,簡單來說,就是讓不同等級的電腦、或是不同作業系統的電腦,彼此之間可以透過通訊標準來互相溝通,分享彼此的運算資源。在網際網路還沒有今天這麼發達之前,企業採用 grid computing,很大的原因是為了讓組織內部的 IT 資源達到更良好的使用率。

這些 Web Service 繼續發展下去,所有的人現在可以在網路上不同的地方,利用各大企業開放出來的運算資源,進行資料的運算或是提供服務給使用者,於是就在這樣的情況之下,cloud computing 被提了出來。因為現在無論是一般的使用者或是開發者,都透過網路來取得資料或是進行資料運算,自己本地端的運算資源雖然有限,還是可以透過網路進行複雜的運算,結果資料就像是從天上的雲端掉下來一樣,相信學資訊的讀者都對於將網際網路表示成一朵雲的圖示不會陌生。

所以cloud computing 並不代表任何單一技術的突破或是革新,它代表的是分散式運算本身的一種成熟,就好像我們看到網路發展到一定程度了,就有人喊出了 Web 2.0,都是一樣的道理。