無論是電商還是互聯(lián)網廣告，直接面對的是用戶，用戶的屬性決定了他會購買哪些商品或者點擊哪些廣告。那么建立用戶標簽系統(tǒng)對于這些企業(yè)非常重要。

本屆WOT軟件技術峰會特邀小象科技作為大會特邀合作伙伴，匯集大數據社區(qū)技術精英，于7月27日舉辦大數據專場培訓。本次培訓主要討論如何建立用戶標簽系統(tǒng)和如何使用這些標簽系統(tǒng)實現(xiàn)商業(yè)價值。

講師：董西成

ChinaHadoop小象社區(qū)核心成員

《Hadoop技術內幕：深入解析MapReduce架構設計與實現(xiàn)原理》和《Hadoop技術內幕：深入解析YARN架構設計與實現(xiàn)原理》書籍作者；資深Hadoop技術實踐者和研究者，曾參與商用Hadoop原型研發(fā)，以及分布式日志系統(tǒng)、全網圖片搜索引擎、Hadoop調度器等項目的設計與研發(fā)。

1. 從技術來說，您認為大數據在今年還會有什么革新？總體感覺，如何與行業(yè)應用結合?

從技術方面，個人認為計算框架方面將有飛速發(fā)展，包括內存計算、流式計算和交互式計算等，這主要涉及Spark/Spark SQL和Hive On Tez技術體系，尤其是spark，引起來各大公司興趣，均嘗試使用spark解決之前MapReduce不能夠很好解決的問題。總體而言，Spark等系統(tǒng)能夠很好地解決對效率要求較高的問題，典型地是迭代式的機器學習算法，這也是公司嘗試Spark的最初動力。

2. 行業(yè)大數據其實早就存在，但對此認知并不一樣，您認為這種差異性表現(xiàn)在哪里？

大數據存儲和分析方面的技術能力存在差異。之前缺乏廉價可用的分布式技術存儲和分析大數據，使得很多公司丟棄了很多數據，或者僅僅是將一部分數據保存下來，未進行分析。如今大數據存儲和處理計算日漸成熟，尤其是開源技術的飛速發(fā)展和互聯(lián)網公司的帶動，使得行業(yè)大數據成為爆發(fā)點。

3. 行業(yè)大數據的實施，您認為技術難點在哪里？

個人認為難點在技術方案的轉變。目前很多傳統(tǒng)行業(yè)仍采用非常過時的技術方案，這些方案難以支撐大數據，鑒于此，很多公司嘗試朝大數據架構轉型，但由于過多的歷史包袱以及缺乏大數據技術的理解和信心，使得整個過程非常緩慢。

4. 請分享一個您參與的傳統(tǒng)企業(yè)大數據項目。這個項目大致分幾個階段？

介紹一個銀行的項目，該項目的目的是ATM等終端設備的日志收集和分析，這是銀行的一個試探性項目，可認為是對大數據開源技術的嘗試，由于這一塊跟已有架構重疊較小，因為不能很好地代表一般的大數據項目。這個項目經過了可行性分析，技術驗證（小規(guī)模數據測試），項目開發(fā)，項目上線和運營等幾個階段。

5. 大數據項目的實施，對已經存在的業(yè)務分析架構，會帶來怎樣的影響？

取決于跟已存在業(yè)務分析架構的相關關系，如果是互相補充和完善，則巧妙地設計會完善公司的業(yè)務分析架構，如果是替代，則會逐步將業(yè)務遷移到大數據架構上。

6. 大數據應用工具的大量出現(xiàn)，會取代數據分析人員的位置嗎？

短時間內，數據分析人員仍處于不可或缺的位置。大數據應用工具扔僅僅是數據分析人員完成數據分析的工具，難以將全部分析交給這些工具完成而無需分析人員的干預。

7. 數據是傳統(tǒng)企業(yè)最核心的資產。我們在大數據的分布式處理方式下，該如何保證數據的安全性和完整性？

數據安全性和完整性是大數據時代面臨的***挑戰(zhàn)之一，目前國內很大一部分公司扔將大數據保存在自己私有的集群中，不會直接接入互聯(lián)網，這樣，可以把安全問題局限在一個局域網內，解決起來容易一些。

8. 在舉辦的WOT軟件技術峰會上，會有大數據專場培訓。這里面會涉及哪些方面的內容？這些培訓適合哪些技術人員？

這次專場培訓，我主要介紹數據基礎設施，包括數據收集、存儲與計算系統(tǒng)，具體是

（1）數據收集： 使用分布式收集工具Sqoop/Flume對數據進行統(tǒng)一收集

（2）數據存儲：使用分布式存儲系統(tǒng)HDFS/HBase對數據進行集中式存儲

（3）數據分析與計算：包括批處理、交互式和內存計算三種

這次培訓適合想了解大數據技術的初中級技術人員以及想了解大數據應用案例的高級技術人員。

網站標題：董西成：數據基礎設施、數據收集、存儲與計算系統(tǒng)
鏈接地址：http://uogjgqi.cn/article/cdcohgh.html