Search
Big data จะมีคำนิยาม โดยใช้คำย่อว่า 3V คือ Volume, Velocity และ Variety
แต่ปัจจุบันคำว่า Big data ยังมีคำนิยามอื่นๆ เพิ่มเข้ามาอีก เช่น
Value, Veracity, Visualisation, Viscosity, Virality หรือ Complexity
【智富雜誌】明日世界近在咫尺 大數據為成功必然養分
要真正打造「明日世界」，人工智能（Artificial Intelligence ）、物聯網（Internet of Things）、智慧城市（Smart City）等一連串科技技術，最需要的元素是數據，大數據是各項技術的「養分」，亦是成功的契機。人類每一舉手一投足都可衍生大數據，透過大數據分析也幫助各行各業都走在時代的前端。
人人都談大數據，可是大數據是以甚麼形式存在，又如何影響大眾生活？
收集數據的傳統形式是使用問卷及電話訪問，但現時一部手機每日已產生大量數據，市場研究機構IDC預計，至2025年，每人每日接觸互聯網而產生數據的次數可高達4,909次，平均每18秒一次。
當數據規模大至某種程度，或是過於複雜，便無法以傳統技術在合理時間及成本下處理，這便稱為「大數據」（Big Data）。文本、圖像、音頻、視頻及數字等多種形式，都算得上是數據。數據如此多，又如何定義為有用的數據？當中可從五個方面來定義︰數據流量（Volume）、多樣性（Variety）、真實性（Veracity）、價值性（Vaule）及數據產生的頻率（Velocity） 。
大數據前途無可限量
哈佛大學教授Gary King認為，數據本身沒有甚麼意義，但若是通過數據分析（Data Analysis）判斷及預測，幫助各行各業，數據真正價值才能發揮。
未來數據規模只會愈來愈大及複雜，根據IDC預測，到2025年，全球數據量將擴展至163ZB（Zettabyte，即是163萬億GB），相當於2016年的十倍。163ZB是甚麼概念呢？即是相等於一個人觀看魔戒三部曲49萬億次。
IDC最新報告稱，今年全球大數據與商業分析市場規模預計可達1,891億美元，預計到2022年，這一數字將升至2,740億美元，增長近45%。事實上，單是美國的市場規模今年就達到1,000億美元，佔全球市場逾半，因此美國一眾科技公司，如IBM、Oracle、微軟、亞馬遜、Google等都群起爭逐這個市場。Google Cloud 6月就斥資26億美元，收購了數據分析初創企業Looker。
如此增長規模下，傳統的數據中心儲存空間有限、且愈來愈難以管理，因此大數據的未來出路亦會向雲端發展。據IDC報告，未來5年內，通過公有雲（Public Cloud）執行的大數據分析量，將以32%的年複合增長。
對於企業來說，從數據中能夠擷取諸多資訊和分析，有助預測未來業務及加強企業管理。而對於整個社會而言，大數據應用在各行各業，不論是零售、金融、醫療等行業的大數據都逐漸應運而生，加上人工智能的配合，顛覆了其發展。
金融屆結合AI及大數據
以金融業為例，據估計，到2025年，全球將有三分之二的金融公司，都將運用到A.I技術與大數據分析，促進金融行業的創新及提升產品質量、風險管控等等。2017年，美國初創企業EquBot夥同ETF Managers Group推出首隻人工智能智能選股ETF「AI Powered Equity ETF」（AIEQ）上市，首三個交易日就輕鬆跑贏大市，一度令基金經理感到恐慌，擔心終有一日會被A.I取代。
這隻基金利用人工智能和機器學習（Machine Learning ），對全美6,000多家上市公司的數據進行分析，又讀取大量的新聞和社交網站貼文，以分析經濟形勢及未來趨勢，從而挑選出70隻股票的投資組合，日以繼夜的數據收集及分析，機械人基金經理的確可以全年無休。
ETF大多數時間都跑贏大市，但基金創立至今仍跑輸大市。在投資世界，除了既定的規則外，還有投資者情緒、市場政策這些不確定性因素，人工智能還需更多數據與時間去學習。
若要機器真正做到像人類一樣思考，首先要從大量資料與數據中學習，因此大數據是人工智能的「養分」。隨著科技不斷發展，未來不止是人，智能家居，機械人或是機器也將產生大量數據，為科技不斷提供更多「養分」。屆時不只是自動駕駛、人面辨別、無人超市等難以想像的，皆可變成現實，人類距離「明日世界」亦愈來愈近。
數據標註員冒起
近年人工智能蓬勃發展，衍生了一個新職業︰「數據標註員」。
若要實現人工智能，機械人要不斷在大量資料與數據中學習，事實上並非所有數據都可以直接使用，圖片、語音、視頻等數據都是原始的材料，需要加工之後，再給機器學習。而數據標記員就是將數據作初步的處理，譬如標記一張照片內，誰是行人、那是車輛及道路等，再給予電腦分析。
數據標註員現時集中在印度、非洲等地區，為亞馬遜、Google、微軟等公司工作。根據分析公司Cognilytica年初報告，數據標註的市場規模在去年達1.5億美元，到2023年將倍增至逾10億美元。
#科技 #金融
Big data จะมีคำนิยาม โดยใช้คำย่อว่า 3V คือ Volume, Velocity และ Variety
แต่ปัจจุบันคำว่า Big data ยังมีคำนิยามอื่นๆ เพิ่มเข้ามาอีก เช่น
Value, Veracity, Visualisation, Viscosity, Virality หรือ Complexity
Big Data資料加值應用研習班課程分享(105/2/16)
Big Data海量資料的分析概說：
Big Data資料加值應用與相關範例
如何取得Big Data的方式？
開放資料範例
內政部實價登錄、YAHOO股市資料
GOOGLE表單
範例：GOOGLE試算表複選結果資料切割
如何處理與統計分析Big Data？
EXCLE統計函數
範例：黑名單篩選、樂透彩中獎機率
樞紐分析表
範例：銷貨系統分析
開放資料加值應用實例
範例：實價登錄、用EXCEL一鍵批次下載股市資料
EXCLE VBA(與R語言比較)
PowerPivot增益集
海量資料的分析工具-PowerPivot實作演練
視覺化數位儀表與報表–PowerView資料地圖實作
上課影音內容：
01_課程說明與參考書籍
02_問卷結果與檔案下載
03_大數據的定義與成功範例
04_範例_樂透彩機率統計函數說明
05_格式化前七名與VBA設定
06_前七名的VBA程式撰寫說明
07_樂透彩VBA程式說明
08_GOOGLE表單與複選結果切割
09_複選結果切割VBA程式說明
10_複選結果切割註解與按鈕相關
11_黑名單篩選查詢資料說明
12_黑名單篩選查詢VBA程式與進度列
13_台北市實價登錄範例VBA程式解說
14_批次下載股市資料程式說明與結尾
完整連結：
https://www.youtube.com/playlist?list=PLgzs-Q3byiYPsxtU9N_n81087ggNwggyK
與大數據課程的經驗
超過20年的程式設計與教學經驗(VBA、VB.NET、ASP.NET、JAVA、ANDROID、PHP等)
台北市公務人員訓練處:Big Data資料加值應用
新北市勞工大學：EXCEL VBA大數據自動化進階
東吳大學進修推廣部：EXCEL VBA 與資料庫雲端設計(初階與進階)
自強工業基金會：從Excel函數到VBA雲端巨量資料庫應用班
多年的實務與教學經驗所累積的課程範例，最短時間學會處理大數據，以提高效率，正確決策。
Big Data海量資料的分析概說：
根據維基百科：
大數據（英語：Big data或Megadata），或稱巨量資料、海量資料、大資料
指的是所涉及的資料量規模巨大到無法透過人工，在合理時間內達到擷取、管理、處理、並整理成為人類所能解讀的形式的資訊。
可用來察覺商業趨勢、判定研究品質、避免疾病擴散、打擊犯罪或測定即時交通路況等；這樣的用途正是大型資料集盛行的原因
維基百科定義
在一份2001年的研究與相關的演講中，麥塔集團（META Group，現為高德納）分析員道格·萊尼（Doug Laney）指出資料增長的挑戰和機遇有三個方向：
量（Volume，資料大小）
速（Velocity，資料輸入輸出的速度）
多變（Variety，多樣性），合稱「3V」或「3Vs」
另外，有機構在3V之外定義第4個V：真實性（Veracity）
大數據必須藉由計算機對資料進行統計、比對、解析方能得出客觀結果。
美國在2012年就開始著手大數據，歐巴馬更在同年投入2億美金在大數據的開發中，更強調大數據會是之後的未來石油。
巨量資料應用的成功案例
Google – 流感趨勢預測
Google發現，某些搜尋關鍵字有助於追蹤流感疫情發展，彙總搜尋資料，提供近乎即時的全球流感疫情趨勢預測
Google曾在美國的九個地區做了測試，發現此技術比聯邦疾病控制和預防中心提前7到14天準確預測了流感爆發
阿里巴巴將消費者數據轉化為企業獲利，小額貸款無需抵押和擔保，直接實現了網路數據的價值。截至2013年，阿里小貸累計獲貸客戶數64.2萬家，累計放款1,722億元人民幣
電視新聞與巨量資料結合，2014年春運(36億人次)，百度利用巨量分析觀察大陸過年時人類的遷移行為，並以易懂的視覺化呈現在人們眼前
吳老師 105/2/15
台北市公務人員訓練處,big data應用,big data定義,big data是什麼,大數據分析教學,excel數據分析,excel數據圖表,大數據應用實例,大數據應用案例,開放資料應用,open data應用
Excel在大數據上的應用(進階函數與VBA)(105/5/20)
上課影音內容：
01_開場簡報說明
02_大數據課程理念與應用範例
03_範例1_GOOGLE試算表複選資料切割說明
04_範例2_樂透彩中獎機率統計函數說明
05_範例2與範例5_股市當日行情表說明
06_範例5_股市當日行情表(錄製巨集&新增工作表&刪除工作表)
07_範例5_股市當日行情表(增加下載功能)
08_範例5_股市當日行情表(增加進度顯示功能)
09_範例4_台北市實價登錄說明
10_建立Power View
完整連結：
https://www.youtube.com/playlist?list=PLgzs-Q3byiYPsxtU9N_n81087ggNwggyK
Big Data海量資料的分析概說：
Big Data資料加值應用與相關範例
如何取得Big Data的方式？
開放資料範例
內政部實價登錄、YAHOO股市資料
GOOGLE表單
範例：GOOGLE試算表複選結果資料切割
如何處理與統計分析Big Data？
EXCLE統計函數
範例：黑名單篩選、樂透彩中獎機率
樞紐分析表
範例：銷貨系統分析
開放資料加值應用實例
範例：實價登錄、用EXCEL一鍵批次下載股市資料
EXCLE VBA(與R語言比較)
PowerPivot增益集
海量資料的分析工具-PowerPivot實作演練
視覺化數位儀表與報表–PowerView資料地圖實作
與大數據課程的經驗
超過20年的程式設計與教學經驗(VBA、VB.NET、ASP.NET、JAVA、ANDROID、PHP等)
台北市公務人員訓練處:Big Data資料加值應用
新北市勞工大學：EXCEL VBA大數據自動化進階
東吳大學進修推廣部：EXCEL VBA 與資料庫雲端設計(初階與進階)
自強工業基金會：從Excel函數到VBA雲端巨量資料庫應用班
多年的實務與教學經驗所累積的課程範例，最短時間學會處理大數據，以提高效率，正確決策。
Big Data海量資料的分析概說：
根據維基百科：
大數據（英語：Big data或Megadata），或稱巨量資料、海量資料、大資料
指的是所涉及的資料量規模巨大到無法透過人工，在合理時間內達到擷取、管理、處理、並整理成為人類所能解讀的形式的資訊。
可用來察覺商業趨勢、判定研究品質、避免疾病擴散、打擊犯罪或測定即時交通路況等；這樣的用途正是大型資料集盛行的原因
維基百科定義
在一份2001年的研究與相關的演講中，麥塔集團（META Group，現為高德納）分析員道格·萊尼（Doug Laney）指出資料增長的挑戰和機遇有三個方向：
量（Volume，資料大小）
速（Velocity，資料輸入輸出的速度）
多變（Variety，多樣性），合稱「3V」或「3Vs」
另外，有機構在3V之外定義第4個V：真實性（Veracity）
大數據必須藉由計算機對資料進行統計、比對、解析方能得出客觀結果。
美國在2012年就開始著手大數據，歐巴馬更在同年投入2億美金在大數據的開發中，更強調大數據會是之後的未來石油。
巨量資料應用的成功案例
Google – 流感趨勢預測
Google發現，某些搜尋關鍵字有助於追蹤流感疫情發展，彙總搜尋資料，提供近乎即時的全球流感疫情趨勢預測
Google曾在美國的九個地區做了測試，發現此技術比聯邦疾病控制和預防中心提前7到14天準確預測了流感爆發
阿里巴巴將消費者數據轉化為企業獲利，小額貸款無需抵押和擔保，直接實現了網路數據的價值。截至2013年，阿里小貸累計獲貸客戶數64.2萬家，累計放款1,722億元人民幣
電視新聞與巨量資料結合，2014年春運(36億人次)，百度利用巨量分析觀察大陸過年時人類的遷移行為，並以易懂的視覺化呈現在人們眼前
吳老師 105/2/15
元培醫事科技大學,台北市公務人員訓練處,big data應用,big data定義,big data是什麼,大數據分析教學,excel數據分析,excel數據圖表,大數據應用實例,大數據應用案例,開放資料應用,open data應用
Excel在大數據上的應用(進階函數與VBA)(105/5/20)
上課影音內容：
01_開場簡報說明
02_大數據課程理念與應用範例
03_範例1_GOOGLE試算表複選資料切割說明
04_範例2_樂透彩中獎機率統計函數說明
05_範例2與範例5_股市當日行情表說明
06_範例5_股市當日行情表(錄製巨集&新增工作表&刪除工作表)
07_範例5_股市當日行情表(增加下載功能)
08_範例5_股市當日行情表(增加進度顯示功能)
09_範例4_台北市實價登錄說明
10_建立Power View
完整連結：
https://www.youtube.com/playlist?list=PLgzs-Q3byiYPsxtU9N_n81087ggNwggyK
Big Data海量資料的分析概說：
Big Data資料加值應用與相關範例
如何取得Big Data的方式？
開放資料範例
內政部實價登錄、YAHOO股市資料
GOOGLE表單
範例：GOOGLE試算表複選結果資料切割
如何處理與統計分析Big Data？
EXCLE統計函數
範例：黑名單篩選、樂透彩中獎機率
樞紐分析表
範例：銷貨系統分析
開放資料加值應用實例
範例：實價登錄、用EXCEL一鍵批次下載股市資料
EXCLE VBA(與R語言比較)
PowerPivot增益集
海量資料的分析工具-PowerPivot實作演練
視覺化數位儀表與報表–PowerView資料地圖實作
與大數據課程的經驗
超過20年的程式設計與教學經驗(VBA、VB.NET、ASP.NET、JAVA、ANDROID、PHP等)
台北市公務人員訓練處:Big Data資料加值應用
新北市勞工大學：EXCEL VBA大數據自動化進階
東吳大學進修推廣部：EXCEL VBA 與資料庫雲端設計(初階與進階)
自強工業基金會：從Excel函數到VBA雲端巨量資料庫應用班
多年的實務與教學經驗所累積的課程範例，最短時間學會處理大數據，以提高效率，正確決策。
Big Data海量資料的分析概說：
根據維基百科：
大數據（英語：Big data或Megadata），或稱巨量資料、海量資料、大資料
指的是所涉及的資料量規模巨大到無法透過人工，在合理時間內達到擷取、管理、處理、並整理成為人類所能解讀的形式的資訊。
可用來察覺商業趨勢、判定研究品質、避免疾病擴散、打擊犯罪或測定即時交通路況等；這樣的用途正是大型資料集盛行的原因
維基百科定義
在一份2001年的研究與相關的演講中，麥塔集團（META Group，現為高德納）分析員道格·萊尼（Doug Laney）指出資料增長的挑戰和機遇有三個方向：
量（Volume，資料大小）
速（Velocity，資料輸入輸出的速度）
多變（Variety，多樣性），合稱「3V」或「3Vs」
另外，有機構在3V之外定義第4個V：真實性（Veracity）
大數據必須藉由計算機對資料進行統計、比對、解析方能得出客觀結果。
美國在2012年就開始著手大數據，歐巴馬更在同年投入2億美金在大數據的開發中，更強調大數據會是之後的未來石油。
巨量資料應用的成功案例
Google – 流感趨勢預測
Google發現，某些搜尋關鍵字有助於追蹤流感疫情發展，彙總搜尋資料，提供近乎即時的全球流感疫情趨勢預測
Google曾在美國的九個地區做了測試，發現此技術比聯邦疾病控制和預防中心提前7到14天準確預測了流感爆發
阿里巴巴將消費者數據轉化為企業獲利，小額貸款無需抵押和擔保，直接實現了網路數據的價值。截至2013年，阿里小貸累計獲貸客戶數64.2萬家，累計放款1,722億元人民幣
電視新聞與巨量資料結合，2014年春運(36億人次)，百度利用巨量分析觀察大陸過年時人類的遷移行為，並以易懂的視覺化呈現在人們眼前
吳老師 105/2/15
元培醫事科技大學,台北市公務人員訓練處,big data應用,big data定義,big data是什麼,大數據分析教學,excel數據分析,excel數據圖表,大數據應用實例,大數據應用案例,開放資料應用,open data應用
