想做数据分析?这些神奇的数据获取方式你可知道?

编辑:庄寿伟   来源:imageqfh   科技业界   2018-03-07 19:50:45

本文大概

2331

读完共需

4

分钟

大数据时代,用数据说话的方式被摆在了一个更加突出的位置,能够找到合适的数据源自然就成为了一件非常重要和急迫的事情。

其实,获取数据的方式有很多,比如备受极客们喜欢的数据收集方式——网络爬虫。通过爬虫技术,人们可以轻易获取一些从其它渠道获取不到的数据资源,当然,精通 python 等语言是必要前提。

——对于不了解技术的人来说,想继续做数据分析可就有点麻烦了。为此,我们咨询了内部数据采集相关技术人员,同时结合网上资源,加以整理,随即汇总了以下这些数据获取方式,也算是满足大家一个小小心愿了。数据在这里,分析等你来~

01

常 用 公 开 数 据

社会经济类

■国家统计局

http://www.stats.gov.cn/tjsj/

主要包括社会发展、民生等多方面宏观经济信息,月度、季度、年度数据都有覆盖,且定期发布统计出版刊物。网站同时设有地方及国外相关统计网站窗口,非常全面。

■国家数据

http://data.stats.gov.cn/index.htm

数据来自国家统计局,但排版更清晰简洁,对于社会科学的研究不要太有帮助。

■中国统计信息网

http://www.tjcn.org/

以统计公报为主,统计年鉴、阶段发展数据、统计分析、经济新闻、主要统计指标排行等为辅助的多元化统计信息资料库,目前在线资料已达上万份。站内索引也极大的便利了数据的获取。

■中国政府网数据

http://www.gov.cn/shuju/

数据来源于国家统计局。主要公布国家GDP、CPI、PPI、总人口、社会消费品零售总额、粮食产量、工业生产增长速度、固定资产投资等。通过网站,也可轻松访问地方政府网站及相关数据。

■工信部数据

http://www.miit.gov.cn/n1146312/index.html

涵盖原材料工业、装备工业、消费品工业、通信业、电子信息以及软件和信息服务统计数据。

金融类

■中国人民银行

http://www.pbc.gov.cn/diaochatongjisi/116219/index.html

包括社会融资规模、货币统计、金融机构信贷收支统计、金融市场统计、企业商品价格指数等统计数据,数据权威易查找,实用性强。

■银监会

http://www.cbrc.gov.cn/chinese/home/docViewPage/110009.html

主要包括银行业的数据统计与发布,包括总资产、总负债的月度、季度情况、主要监管数据等。

■保监会

http://www.circ.gov.cn/web/site0/tab5179/

主要包括保险统计数据、保险业经营情况、财产险公司保费收入情况、人身险公司保费收入情况、养老险公司企业年金业务、全国各地区保费收入情况等。

■证监会

http://www.csrc.gov.cn/pub/newsite/sjtj

定期更新证券市场、期货市场相关数据,包括快报、周报、月报。

■中国信托业协会

http://www.xtxh.net/xtxh/statistics/index.htm

按季度公布中国信托公司主要业务数据及行业发展情况。

■世界银行公开数据

https://data.worldbank.org.cn/

世界银行公开数据,免费并公开获取世界各国的发展数据。

环境保护类

■环保部

http://www.zhb.gov.cn/hjzl/zghjzkgb/lnzghjzkgb/

包括历年中国环境状况公报、并提供链接查看各省环境状况数据。

■PM2.5

http://pm25.in/

为大家提供空气质量监测数据的网站,数据采自于国家环境保护部。

交通运输类

■交通运输部

http://www.mot.gov.cn/shuju/

覆盖公路、水运、铁路、邮政、港口等类别数据情况。

企业信息类

■国家企业信用信息公示系统

http://www.gsxt.gov.cn/index.html

公示市场主体的注册登记、许可审批、年度报告、行政处罚、抽查结果、经营异常状态等信息。

国外平台

■UCI

http://archive.ics.uci.edu/ml/

经典且古老的机器学习、数据挖掘数据集,包含分类、聚类、回归等问题下的多个数据集。目前已有335个数据集,其数目还在不断增加。

■Github

https://github.com/caesar0301/awesome-public-datasets

非常全面的数据获取渠道,包含各个细分领域的数据库资源,自然科学和社会科学的覆盖都很全面,简直是做研究和数据分析的利器。

■figshare

https://figshare.com/

研究成果共享平台,在这里你会发现来自世界的大牛们的研究成果分享,同时get其中的研究数据,内容很有启发性。

■亚马逊 AWS

https://amazonaws-china.com/cn/datasets/?nc1

来自亚马逊的跨科学云数据平台,包含化学、生物、经济等多个领域的数据集。

02

第三方机构/平台

互联网数据

■199it 互联网数据中心

http://www.199it.com/

主要针对互联网专题的数据统计,侧重于网罗各种互联网相关报告,数据权威性一般,但大部分报告质量很高,启发性和可读性非常强。

■艾瑞咨询

http://report.iresearch.cn/

老牌的互联网研究机构,定期发布互联网相关数据及报告,主要侧重于发布自家报告,在国内的互联网咨询服务方面报告相对出色。

■中国电子商务研究中心

http://www.100ec.cn/zt/data/

包括行业的、产业的、平台的、机构的、地区的、年度的等各类数据,超级全面。

■微博数据中心

http://data.weibo.com/datacenter/recommendapp

汇集新浪微博数据中心分析类、榜单类、内容类、活动工具类等。

App类数据

■易观千帆

http://qianfan.analysys.cn/view/home/index.html

包括 App 规模数据、排名数据、渗透率数据、用户构成、用户转化等数据。非常细致,可免费试用,但周期很短。

■应用雷达

http://www.ann9.com/

只能进行 IOS 应用数据查询,比如排名情况、用户评论等。

■酷传

http://android.kuchuan.com/page/detail/index

安卓和 IOS 应用相关数据都能查询到,数据包括应用下载量、排名、用户评论等。

趋势分析类

■百度指数

http://index.baidu.com/

这个大家应该都比较熟了。根据指数变化可查看某个主题在各个时间段受关注的情况,进而进行趋势分析、舆情预测、需求分析、人群画像等。搜狗、360、Google 也都有类似产品,都可作为参考。

■阿里指数

http://index.1688.com/

可以按地域、按行业查看商品搜索和交易数据,基于淘宝、天猫和 1688 平台的交易数据基本能够看出国内商品交易的概况,对于趋势分析、行业观察意义不小。

■友盟指数

https://www.umeng.com/

在移动互联网应用数据统计和分析具有较为全面的统计和分析,对于研究移动端产品、做市场调研、用户行为分析很有帮助。

■新榜

https://www.newrank.cn/

内容创业服务平台,与微博、公众号、今日头条等 20 多个中国主流内容平台合作,形成了移动端全平台内容价值标准体系。

■清博大数据

http://www.gsdata.cn/

提供各类数据、榜单、分析报告、舆情监测等服务、部分互联网公司新媒体运营以其新媒体指数为评价标准。

■ImageQ大数据

http://www.imageq.cn/

可对海内外各平台数据进行采集挖掘分析、包括百万公众号、千万微博采集点、以及众多新闻媒体、视频站点、论坛等。

■ 微问数据

http://wewen.io/

微信公众号的数据采集,数据分析实时监控,文本挖掘以及数据定制领域。

数据竞赛网站

■Kaggle

https://www.kaggle.com/datasets

全球最大的数据竞赛平台。

■DataCastle

http://www.dcjingsai.com/common/share/shareCenter.html?type=3

专业的数据科学竞赛平台。

■Datafountain

http://www.datafountain.cn/#/

CCF制定大数据竞赛平台。

■天池

https://tianchi.aliyun.com/datalab/index.htm?spm=5176.100065.5490697.6.31fe67b7HRkOcT

阿里旗下数据科学竞赛平台。

其他数据

医疗数据

http://www.who.int/entity/zh/

房产数据

http://www.credata.cn/

汽车数据

http://www.caam.org.cn/data/

企业信息查询

http://www.qichacha.com/

https://www.tianyancha.com/

上市公司年报

http://www.cninfo.com.cn/cninfo-new/index

金融数据

http://www.wind.com.cn/

http://www.ceicdata.com/zh-hans/https://www.ceicdata.com/en

票房数据

http://www.cbooo.cn/

收视率数据

http://www.tvtv.hk/

视频数据

http://index.iqiyi.com/

中国城市拥堵排行榜

http://report.amap.com/index.do

03

数 据 导 航 网 站

大数据导航网站

■大数据搜索导航

http://hao.199it.com/

分类汇集了部分数据网站,主要侧重于互联网相关,也包括了上面所提到的一些数据源。

■大数据人导航

http://hao.bigdata.ren/

包括行业资讯、数据准备、数据分析、数据展现、技能提升等。

■数据分析网导航

http://www.afenxi.com/hao

涵盖数据门户、社区论坛、博客专栏、分析工具、数据公司等。

更多神奇的数据获取方式

期待你来解锁哟

*新版官网已上线 诚邀您免费体验*

 END 

你可能感兴趣的...

你老问我NLP是什么,今天就给你最全面解析!

 

五分钟速读政府工作报告!这些信息你得知道...

 搞大数据的注意啦!这些国家标准,今年将正式实施!

 专访 | 大数据时代,如何挖掘数据「石油」的深层价值

基于自然语言处理,让「公安侦防」从大数据中真正受益

AI人才年薪30w+?上亿条招聘数据告诉你其中的奥秘

回复关键词序号,获取更多干货

01 技术干货 | 02 热点事件

03 大 咖 说  | 04 往期精彩

05 产品试用 | 06 官网直达

标签: 大数据,数据,www,com,http,cn,统计