傳統研究在大數據下的業務流程變化與調整

1基本業務環節的變化

首先我們來看一下數據業務流程在兩種模式下的變化。

從上圖可以發現，大數據下的業務流程，相比傳統模式，總體上有兩點重要的變化：

(1)數據融合代替數據收集，將成為數據來源的主要模式。傳統模式下，數據來源更多是研究公司自身采集(如問卷)或者客戶采集后提供，所以采集是核心。在大數據模式下，研究公司自身能力和資源有限，將會更多通過非采集方式(如各種外部渠道數據引入/交換，并進行整合)獲得分析的數據，此時融合是核心問題。

(2)數據管理能力成為一個新的要求。傳統模式因為業務數據量小，基本不存在對數據管理的較多要求，所以可以忽略。但大數據場景下，數據規模大而且多樣，且常常比較分散，其統一的管理(如存儲和檢索等)能力，是后續業務環節順利進行的基礎，有必要得到更多的重視。

為了更深入的理解業務環節的變化，下面將對每個環節，進行更深入的討論。

2各業務環節的變化

為了便于說明，將兩種模式下的流程進行統一，整個業務流規范為了五個環節。下圖簡要說明了各環節下兩種模式各自在實施上的特點。

(1)數據融合/采集

傳統模式下，數據采集的方式主要是問卷、座談會等。這是一種小規模的采樣，且對目標有直接影響(有交互)。數據本質是某個時間點的靜態、快照式的截面數據，維度受采集方式所限也不可能太多。

而大數據下，數據融合代替采集成為市場研究獲取數據的主要方式，此時數據同步和ETL成為主要方式。在最初的源數據采集中，行為日志記錄、網絡Spider抓取、移動互聯網App基于Sdk采集等成為主要手段。這類方式仍然可認為是采樣(不過更大的規模)，但作為一種監聽/探針式的模式，用戶不會感知和受影響(所以數據會更加符合實際情況)。采集的數據在時間和空間上多是動態和持續性的，可記錄的維度也會大很多。

(2)數據管理

傳統模式下，數據通常為標準的結構化數據，且規模小(通常萬級以下)，此時pc單機的普通文檔(如Csv，Excel之類)足以勝任所有存儲和檢索要求。特定應用，百萬級的數據量用小型數據庫也都足夠。所以此時數據管理一直被忽略。

在大數據環境下，數據量起點在億級以上，比傳統模式增加了成千上萬倍，格式也更加多樣，數據的管理難度幾何級數增加，原有方式已經無能為力。此時，新的技術體系(多機、分布式文件系統/海量數據庫)和專業架構人員，確保了大數據的安全管理和快速檢索。相比之前，研究企業需要在該方面做出相當大的投入。

(3)數據計算

傳統模式下，計算主要是各種統計學的計算(比如總計/方差/均值…)為主，計算量不大，工具以Excel到SPSS、SAS為主流，處理多由DP完成。此時DP人員更多是研究業務的輔助支持。

在大數據模式下，數據規模、維度和分析方法的變化對計算的要求大大加強。傳統的統計性計算仍然需要，但更大的變化是：計算工作更多樣化、更高復雜度和更具專業性，且與分析更深入的結合。許多新的計算理論成為主角，比如對網絡非結構化文本數據使用自然語言處理，大數據挖掘的機器學習處理(大部分是高維度向量計算)，而社交網絡計算更多是圖計算。這些新的計算理論和方法，極大擴展了大數據分析洞察的能力，但也對相關人員的專業能力提出了很高的要求。

(4)分析

分析是研究過程中最重要的環節。傳統模式下，研究人員主要根據傳統方法論，對DP人員生成的指標性數據，考察全局性的分布/差異，歷史的變化等。

大數據模式下，除了傳統方法論的分析外，更多使用大數據方法論的思路(更關注個體，比如如何給用戶打標簽、個體/群體的匹配度是多少，對未來發展的預測期望)。同時，由于分析主要基于各種專業計算的結果，而研究人員并不具備相關技能，因此必須與專業IT技術專家緊密配合，才可能完成有價值的分析。此時，相關IT專家成為本階段最重要的參與者。

(5)結論與呈現

傳統模式下，研究結論關注的是統計性指標的變化，對相關原因分析和建議是重要的內容。結果更多是通過專項報告(以文檔而不是系統平臺)形式，在呈現方式上多采用表格和基本圖表。

大數據模式下，既有傳統的統計性結論，也有更多大數據方法論，比如基于個體特性之上的群體特性標簽化描述。結果更多地通過在線化系統來展示，新的可視化技術，在大數據的分析和結果展示上，越來越受到重視。

通過上面各環節的比較可以發現：在新的大數據業務生態下，市場研究的業務流程

(1)各環節的方式和支撐方法，都有較大的擴展/變化

(2)IT技術能力(數據管理與專業數據計算分析能力)，成為大數據業務實現過程中最重要的推動因素。

HCR(慧辰資訊)近半年來，已經在相關環節進行了積極有效的調整和提升。市場研究公司業務產品各有所長，業務模式也不盡相同，所以對于大數據業態下的發展思路也不會完全一致。建議從自身的大數據業務規劃出發，結合現有情況，有針對性的調整和改進現有業務流程，以更好的適應未來大數據業務的發展。

在相關調整中，IT技術資源是傳統研究公司最需要投入的環節。考慮大數據業務下相關資源(軟硬件和團隊)投入較大且專業性強，筆者后續將結合市場研究領域的業務特點，對市場研究涉及的大數據領域相關的主要技術理論、應用場景與常用的工具資源，專文進行說明。