BIG DATA 大數據是什麼？

受網路速度的提升、運算能力的提高、以及物聯網技術的成熟所驅動，我們每天都在製造以及儲存非常龐大的數據量，IBM的研究更是近一步的指出，我們過去兩年所製造的數據是有史以來所有數據的90%，且這個速率將會隨著物聯網更加普及而增加。

要真正理解大數據 BIG DATA ，了解一些歷史背景會很有幫助。在2001年時，Gartner用3V定義了大數據，這三個Ｖ分別為Variety（多種類）、 Velocity（高速率）、 Volume（數量大）。 簡而言之，大數據是更大、更複雜的數據集，尤其是來自新數據源的數據集。這些數據集非常龐大，以至於傳統的數據處理軟體無法管理它們。但是，這些海量數據卻可用於解決以前無法解決的業務問題。然而就在我們擁有如此龐大的數據的同時，我們卻沒有足夠的能力以及相對的工具去分析這些海量數據。研究甚至發現，所有我們所產生的數據當中僅有不到1％被有效分析。

大數據 BIG DATA 的重要性

公司使用其係統中積累的大數據來改善運營，提供更好的客戶服務，根據特定的客戶偏好創建個性化的營銷活動，並最終提高盈利能力。利用大數據的企業與沒有利用大數據的企業相比，具有潛在的競爭優勢，因為只要有效地使用數據，他們就能做出更快，更明智的商業決策。

例如，大數據可以為公司提供有關其客戶的寶貴意見，這些建議可用於完善營銷活動和技術，以提高客戶參與度和轉化率。

大數據的商業應用

大數據可以幫助您解決從客戶體驗到分析的一系列業務活動。

?產品開發：運用大數據來預測客戶需求，對過去和當前產品或服務的關鍵屬性進行分類並對這些屬性與產品的商業成功之間的關係進行建模，從而為新產品和服務建立了預測模型，測試市場和早期商店推出的數據和分析來計劃，生產和推出新產品。

?預測性維護：根據結構化數據中顯示，可以提前預測機器使用年限並在發生故障前提前保養維修，例如設備的年份，製造商和型號，傳感器數據，錯誤消息和發動機溫度的非結構化數據。通過在問題發生之前分析這些潛在問題的徵兆，企業可以更有效地部署維護並最大化零件和設備的正常運行時間。

?客戶體驗：大數據使企業可從社交媒體，Web登入和其他來源收集數據，以改善交互體驗，提供客製化報價，減少客戶流失並主動處理問題。

?機器學習：就是讓機器從過去資料中學到如何預測或反應未來，簡而言之，就是模仿人類學習過程。洪智傑便拿人類學習的過程來比喻、解釋機器學習的流程，將之分成學習階段和預測階段。

?運營效率：借助大數據，企業可以分析和評估生產，客戶反饋和退貨以及其他因素，以減少停機並預測未來需求。大數據還可以用於根據當前市場需求改進決策，這是大數據對商業活動影響最大的領域。

大數據挑戰

處理大數據速度的需求對基礎計算基礎架構提出了獨特的要求。快速處理大量數據和各種數據所需的計算能力可能會使服務器不堪負荷。企業必須將足夠的處理能力應用於大數據任務，以達到所需的速度。

公共雲現在成為託管大數據系統的主要工具。公共雲提供商可以存儲PB的數據，並按比例擴展所需數量的服務器，時間足以完成一個大數據分析項目。企業只需支付實際使用的存儲和計算時間，就可以關閉雲實例，直到再次需要它們為止。為了進一步提高服務水平，公共雲提供商通過託管服務提供大數據功能，例如：微軟Azure HDInsight

除了處理能力和成本問題之外，設計大數據架構是用戶面臨的另一個常見挑戰。大數據系統必須根據企業的特定需求量身定制，這是一項DIY任務，需要IT團隊和應用程序開發人員將所有可用技術中的一組工具組合在一起。與數據庫管理員（DBA）和專注於關係軟件的開發人員所擁有的技能相比，部署和管理大數據系統也需要新技能。

使用託管的雲服務可以緩解這兩個問題，同樣，將本地數據集和處理工作負載遷移到雲對於組織來說通常是一個複雜的過程。