大数据不是灵丹妙药 世界著名计量经济学家萧政对大数据的展望

大数据不是灵丹妙药 世界著名计量经济学家萧政对大数据的展望

大数据不是灵丹妙药 世界著名计量经济学家萧政对大数据的展望

发布时间：2019-03-05 20:51:36 已有： 人阅读

公共政策量化评估理论和方法是本刊持续关注的重要选题。本期重点推出世界著名计量经济学家萧政教授关于大数据的文章。萧政教授认为，大数据为经济分析和预测开辟了新的可能，但大数据并不是灵丹妙药，只要现实世界仍存在不确定性，基于概率论的统计分析以及对经济学、制度和历史背景的理解依然是必要的。此外，也必须考虑各种假设所带来的后果。

本文原文为英文，译者为对外经济贸易大学国际经济贸易学院财政税务学系周波副教授。全文刊发于《财经智库》2019年第1期，欢迎订阅。

美国南加州大学经济系教授，世界经济计量学会会士（Fellow of the Econometrics Society），中研院院士。早年就读于大学和英国牛津大学，随后在美国斯坦福大学先后获得统计学硕士、经济学博士学位，曾先后在美国加州柏克利大学、加拿大多伦多大学、美国南加州大学经济系任教。长期从事计量经济学研究与教学，为世界面板数据研究领域的权威学者，其专著《面板数据分析》深受学术界好评。长期担任经济学期刊《计量经济学》（Journal of Econometrics）主编，现任该期刊委员会委员。此外，在亚洲、美洲、欧洲等众多国家和地区的著名大学或研究机构担任客座教授等重要职务。

大数据是现在最为重要的研究主题之一。大数据通常是指具有如下一个或几个特征的数据集：高维、高容量（High Volume）和高速收集数据。计量经济学是综合经济理论、统计学和计算方法来分析数据的一门学科。传统计量经济学的作用包括：（1）从经验上验证经济理论；（2）预测未来；（3）评估或模拟社会政策的影响。本文将就大数据的三个特征来讨论计量经济学的这些作用。然而，作为一名计量经济学家，我主要研究参数方法的模型识别和统计推断，这样的背景可能会给本文的展望带来局限性，读者应当谨记这点。本文所列的参考文献并非为了综述相关文献，而是为了说明本文的观点，因此我对所遗漏的那些重要贡献表示歉意。

本文第二、三、四节分别就大数据的三个特征对计量经济学建模、预测以及评估或模拟社会政策效果的影响进行讨论。第五节就大数据的获得所带来的某些特定的方挑战进行讨论。第六节为总结性评论。

大数据分析就像是用“显微镜”去发现细胞层面的真实世界。传统的经济学和计量经济学专注于通过一个模型来分析几个重要因素的因果关系。模型并不能像镜子一样反映出真实世界的每一个细节，它是对真实世界的简化。一些不那么重要（或者观测不到）的因素的影响会被当作随机变量，服从特定的概率规律。对于经济学界而言，如何协调或融合这些完全相反的方法以更好地理解现代经济既是挑战，也是机会。就我所知，由于大数据的出现，传统经济建模方法至少可以从以下三方面获益。

由于传统的计量经济模型把不重要或观测不到的因素的影响放到随机扰动项中，因此在给定解释变量具体数值的情况下，真实结果和预期结果的差异就被归结为偶然因素的作用（ Chance Mechanism）。大数据的获得使经济学家或计量经济学家可以发现某些迄今尚未注意到的规律性，这些规律性可以被归结为某些基本特征而非偶然因素的作用，我们进而可以探讨真实结果和预期结果的部分差异是否由这些规律性所引致。

例如，生活环境和基因因素均可影响个人成就。然而，用截面数据或者时间序列数据无法识别它们各自的影响。基于同卵双胞胎和异卵双胞胎的面板数据， Durlauf等（2018）综合了代际流动的经典家庭投资模型（Becker and Tomes，1979）和技能演变（Evolution of Skills）的理论（Anha and Heckman，2007），从而分离出基因和生活环境各自的影响。

利用人工智能，大数据能在即时科学决策中分析巨量的观测值。如零售商能分析销售数据以调整特定店面的产品选择以及决定打折的时段；在线约会服务能通过人们网上列表的个人特征、反应和沟通来进行筛分以更好地匹配男女约会；局能通过计算机化的绘图和变量分析来预测可能的犯罪（热点地区）等。正如麻省理工学院的 Brynjolfsson（2016）所指出的，大数据就像是显微镜，让人们得以观测和测度细胞层面的东西。大数据分析能给经济分析带来新的洞察力。如经济理论很少将“反应时间”视为决策的一个重要部分。然而，大数据的获得让Krajbich（2018）和Shum（2018）得以发现“反应时间”是形成最终决定的一个重要因素。

经济理论也为大数据分析作出贡献。如在线约会公司匹配男女的标准算法就是通过欣赏模式的矩阵因子分解来进行的。基于竞争的经济理论，Hsieh等（2018）建立了一个结构模型以根据均衡效用对男女偏好进行排序，然后利用来自的49万用户的数据来进行验证。基于随机推荐得到的优先推荐名单前两位的精准匹配率（在推荐名单中至少中意其中一位的概率）（Hit Rate）仅为8%，而基于该模型得到的优先推荐名单前两位的精准匹配率高达25%。如果把优先推荐名单扩大到前五位，那么基于随机推荐的精准匹配率为34%，而基于该模型的精准匹配率达到50%。

一些研究表明，大数据和机器学习技术能改进基于标准计量模型的预测效果（Giannone et al.，2018；Mitchell，2018）。然而，用来预测的大数据方法跟数据挖掘有些相似。关于为什么一种算法可能有用，而另一种可能不行，人们并没有进行太多讨论（Stevanovic，2018）。基于海量数据和精细测度（Fine-grained Measurement），大数据是否会导致过度拟合和产生“虚假发现”的风险呢？这就像计量经济学或金融中基于人工神经网络方法的预测并不成功一样。

高容量和高速收集数据使人们得以分析个人偏好的模式，从而有可能预测个体的结果。然而，目前也没有很多的研究去探讨什么是估计个人预测模型的最佳方法。这样的估计是应该基于个体自身的数据，还是所有个人的数据呢？（Hsiao and Mountain，1995）

尽管知道个体的结果可能重要，但是政策制定者可能对平均结果更感兴趣。当我们预测平均结果时，预测是应当基于个体预测模型将个体预测结果加总，还是应当基于总体数据模型进行预测呢？（Grunfeld and Griliches，1960；Hsiao et al.，2010）加总的偏误会怎么样呢？（Theil，1954；Amemiya and Wu，1972）

处理效应不一定是同质的或者一定是同质或异质的。如 Ke 等（2017）发现中国高铁对不同地区存在不同的影响，且该影响会随时间而变化。当解释变量较少时，衡量异质性的经典方法是奏效的，这些方法包括分位数方法（Cai et al.， 2018； Callaway et al.，2018），或者最相邻匹配、核密度匹配和序列匹配（Series Methods）的非参方法。但是当解释变量数量增加时，这些方很快表现不佳。大数据使得可以将样本拆分为不同的组，分组预测，然后对各组预测进行加权平均得到总体的预测成为可能。当面对高维相互作用时，随机森林算法建议通过建立大量的回归树这样一种数据驱动的方法来建模（Breiman，2001）。当扰动项是独立同分布时，Wagner和Athey（2018）给出潜在最邻近者加权平均处理效应的正确渐进置信区间。然而，在医学和市场等研究领域中，人们对子样本或因果树（Athey and Imbens，2016）分析之前已经拥有足够的知识，因而这种样本分组的方法对这些领域的研究或许可行。此外，传统的大数据分析框架重点在于估计 E（Y X），当经济分析中的一些重要现象，如联合决定或者动态反应，或者同群效应等存在时，这种分析框架如何一般化尚不清楚，如何处理样本选择问题（Heckman，1979）或卢卡斯批判（Lucas，1976）也不清楚。

以上讨论主要集中在让我感到困惑的一些传统计量经济学和大数据分析之间差异的一般性问题。本节将就传统计量经济学分析中，一些特定的使用面板数据方面临的挑战进行讨论。

机器学习文献中所提出的随机梯度下降算法引致传统“爬山”计算方法的一次飞跃，经济学家因此能估计非常复杂的模型（Ruiz et al.，2017）。机器学习算法关注的分类、聚类或分组可以成为经验分析非常有用的一个中间步骤。计量经济学家将人工智能、机器学习与发展成熟的统计学估计与推断工具结合起来，因此他们能估计复杂的计量模型，并为经济分析提供新的洞见（Athey，2018；Athey et al.， 2017； Chernozhukov et al.，2016；Chernozhukov et al.，2018）。

然而，当我们有界定清晰的任务、性能指标和学习经验时，机器学习算法表现优异。当我们不能把一项任务编成一系列正式规则时，机器学习算法能干什么，不能干什么就不那么明了了。经济学家经常会辩称在决策过程中，定性信息能起到重要作用，如 Baker 等（2016）和 Ranco 等（2015）表明“情绪”会影响结果。但是提取非结构性数据并将其转换为定量信息本质上是一种“词包”方法（Bag of Words Approach）。尽管它要求文本挖掘、模式识别（Pattern Recognition）、分类、机器学习工具和高效的计算机算法（Hong and Li，2018），但是我们并没有一套界定清晰的正式规则来编制任务。针对未能建立正式规则的问题，运用统计推断工具可能也会改进机器学习算法的效率。

传统的一维渐进定理在分析渐进时力不从心（Phillips and Moon，1999； Hsiao and Zhou，2018）。此外，当研究者处理有限样本时，高维渐进定理可以为其在统计推断上提供些许指引。Bai和Saranadasa（1996）在检验两个高维样本的均值差异时验证了这点，尽管Hotelling（1931）的T方检验比Dempster（1958）的非精确检验（Non-exact Test）刻画得更好，但是后者比前者更为强大。

收集数据的高速可以提供连续的信息，诸如每分钟的交通流量或股票价格变动。 EBay 等上的交易反应分析也是如此，其交易反应时间可以被测度。传统时间序列分析或回归分析是基于间断时间区间的观测值，该分析存在一个普遍被接受的分析框架，如误差矫正模型。然而，对于函数时间序列或回归模型的分析则并不存在这样一个被广泛接受的方法。

大数据的存在使对平滑结构变化进行建模既成为需要，也具有可能性。Chen 和Hong（2012）以及Sun等（2018a）提供了关于平滑与突然结构变化的检验方法。然而，一旦给定区间内的不变结构被拒绝，那么接下来如何建立平滑结构变化模型、滚动窗口（Pesaran and Pick，2015）或门限转制时间序列或回归模型（Hamilton，2000；Hansen，2000）或时变模型（Time-VaryingModel Averaging）（Sun et al.，2018b、c）或某种参数时间设定函数？

不是所有感兴趣的变量都有记录，也不是所有感兴趣的变量都以相同的频率来测度。自从Tobin（1950）提出综合不同来源和（或）不同（时间）频率的数据的可能性以来，计量经济学家确实在考虑这种方法（Chen et al.，2006；Chow and Lin，1976；Hsiao，1979）。大数据可能实际上拥有某些变量的连续信息，却没有其他变量的连续信息。计量经济学家该如何将连续时间数据和离散时间区间数据合并起来的探讨并没有多少（Chang et al.，2018b）。研究者该采用连续时间方法（Cai et al.，2000；Cai et al.，2010），离散时间方法（Sun et al.，2018），还是二者的综合呢？（Chang et al.， 2018）

关于大数据的大量文献似乎着眼于找寻模式或特征以帮助预测结果。尽管解释变量X可能是高维的，但是这一方式更像传统的简约式以得到E（Y X）。然而，经济学家对因果推断更感兴趣，因此问题就成了，在大数据中，如何在单方程模型中融合考虑内生性的计量方法（Ai and Chen，2003；Newey，2018），或者如何建立联立方程模型。

空间方法（Yang and Lee，2017）或 GVAR（Pesaran et al.，2013）是以极度简化的方式来对个人间的相互作用进行建模。然而，两种方法均有局限性。空间方法一般假设个人间的相对影响是已知的，但绝对大小并不知道。GVAR 方法也假设个人间的相互作用采用某种具体形式。此外，当个人间的相互作用被明确建模时，经济理论经常得到多重均衡。混合模型的识别和估计可能是个挑战，当混合（Mixtures）数量很大或者未知时更是如此（Andrews and Chen，2016；Kim， 2018； Kitamura et al.， 2018）。

寻找最优解或寻找相关解释变量的大数据方法可能是回归方法，也可能是非参估计最邻近法。这实际上假设个人拥有无限能力去考虑所有相关情形。举例来说，在预测咖啡需求时，所有购买咖啡的相关特征都在考虑范围内，这包括在线购买、楼中的咖啡店、楼外 50 英尺内的咖啡店、楼外75 英尺内的咖啡店、楼外 100 英尺内的咖啡店等。然而，如果我们承认人只拥有有限的认知能力和有限理性，那么个人可能会序贯地进行决策。譬如，首先决定是否买咖啡；在决定买咖啡之后，人们再决定是从网上买，还是从实体店买；在决定从实体店买咖啡之后，人们再考虑咖啡店的特征。如果决策是序贯地进行的，那么在决策过程的每一阶段中，只有决策树的相关特征需要被考虑，其他特征都可以被忽略。如果真的如此，那么大数据分析能够通过贝叶斯多层方法（Bayesian Hierarchical Approach）（Lindley and Smith， 1972）或其他方法简化吗？

大数据为经济分析和预测开辟了新的可能。然而，大数据不是灵丹妙药。不管在世界上设置多少个数字传感器，不管数据收集得如何详尽，只要这个世界存在不确定性，那么基于概率论的统计分析以及对于经济学、制度和历史背景的理解就依然是必要的。

大数据确实打开了更好地理解世界和进行决策的大门。它也为许多迄今尚未研究的问题打开了探索之门。然而，不管我们发展了多么精致的统计工具，我们都应当谨记大数据也是观测数据。分析观测数据依赖于数据生成过程的“基本假设”（Maintained Hypotheses），而这些基本假设是不可验证的。因果关系的统计分析不是对因果关系的证明 , 分析工具都是基于一些假设之上的，为了降低假发现的风险，我们必须尽可能多地考虑到这些假设所带来的种种后果。“任何我们所声称的因果关系都必须随附对影响产生的作用机制的解释。”（Cochran，1965），否则，武汉哪家医院羊角风最好黑龙江哪个医院看癫痫病好点荆门看羊羔疯比较好的医院石家庄有用医治癫痫病的医院在哪?