随着近几年电子商务、移动互联网的迅速发展,人类社会活动的数据量迅速激增,人类正式进入“大数据时代”,我们的一举一动都将在数据的宇宙中留下印记。未来新的科技进步必然离不开以数据为中心的技术,那如何在海量数据中获取自己想要的数据呢?以下,我们罗列出几种方式:
1)企业积累用户数据
我们常见的大型互联网公司,例如:互联网三巨头BAT公司,他们分别掌握着用户的信息型数据、交易型数据与关系型数据。因为其巨大的用户基础,所以他们在获取数据方面本身就存在天然优势。
现在我们也能逐渐感受到一些中小型企业的数据积累意识。比如我们在注册一些应用的时候,软件都会鼓励用户尽可能多的填写相关信息,这些都是企业积累的用户数据,日后对分析用户行为,帮助企业运营、决策,都可能提供参考。
2)爬虫爬取数据
对于大型互联网公司,因为其海量用户和长时间的积累自身就能提供分析的数据,但对于一些刚刚起步的中小企业,培养产品互联网化再积累数据,可能还没有起步就死掉了,这时候爬虫就可以派上用场了,能够根据所需在互联网上定向爬取自己想要的数据。
3)公开数据集
比如中国国家统计局,内含国家经济宏观数据,社会发展、民生相关重要数据及信息等;还有央行、银监会、证监会、政府网、经济数据库、互联网络信息中心发布的数据统计信息。此外权威的第三方机构统计数据网站,例如阿里指数、百度指数、新浪指数、统计网、数据堂等。
4)数据管理咨询公司
国际上比较出名的就是麦肯锡公司、波士顿咨询公司、贝恩公司,英国的路透社,国内做比较好的有艾瑞咨询,通常这样的管理咨询公司都有自己专业的数据采集团队。此外企业或者个人也可以通过第三方数据平台购买数据。