资料搜集是个相当繁琐与累的工作,也是数据分析入门的基本,良好的信息资料搜集能力有利于我们快速了解数据的基本情况,为后续的调研及一手资料的获得打下较好的基础。
搜索引擎是我们信息资料搜集的最重要的渠道之一,用搜索引擎查找信息资料需要使用恰当的关键词和一些搜索技巧。目前国内主要的搜集引擎有如下10个,近期还有较多行业型搜索冒出来,需找专业型行业资料可以使用行业型搜索引擎。
由于每个搜索引擎都有一定的局限性,可以把要搜索的关键词在多个搜索引擎试一下,可能会搜出你意想不到的结果。
大家对国内的引擎基本都很熟悉,尤其是百度和google,需要搜索同一主题的资料,不同的人所搜出来的结果可能就天差地别了,主要原因在于如下两点:
1.搜索关键字的选择
举例说明,假如我们要搜索大数据行业发展相关资料,如果我们就在百度上搜索“大数据”,结果非常多,无法进行筛选,可以对关键词进一步界定,如“大数据行业”、“大数据市场规模”、“中国大数据产业”、“大数据技术”、“大数据企业”等等,需要不停地变换搜索关键词,直到查到满意的搜索结果,在查找的过程中可以根据查找结果内容再进行对关键词进行修正,修正有些名称专业表达方式,因为最开始搜索我们表达的不一定准确。
2.搜索技巧
主要是针对百度、google等搜索引擎一些高级搜索技巧。常用技巧主要有如下几个方面:
(1)文件类型搜索:使用filetype,如在百度或google中键入“filetype:pdf 大数据”搜索出有关大数据内容pdf内容,而且这些文档基本都是可直接下载。还可以变换为其他的如“filetype:doc”、“filetype:ppt”
、“filetype:xls”等等,注意其中的冒号为英文的冒号,一定要变换为英文冒号。
(2)定位于哪个网站上搜索:使用site,如在百度或google中键入“大数据空格site:sina.com”,则在sina.com搜索有关大数据的一些资料信息,这个特别适用针对某些信息可能在哪些网站上出现的一个快速搜索方法,注意冒号也是英文的,网站名称也不用加www。
(3)精确匹配搜索:使用“”,如在百度中键入“大数据行业”,表示搜索“大数据行业”五个必须联在一起的,如果不加“”,搜到的为大数据及行业两个词并列显示结果,没有这么精确匹配。
(4)限制性的网页搜索:使用intitle,如在百度键入“intitie:大数据”,限定于搜索标题中含有“大数据”网页,如果输入“intitie:大数据市场规模”限定于搜索标题中含有“大数据”和“市场规模”的网页。
附:搜索引擎推荐
1)http://scholar.google.com/
虽然还是Beta版,但个人已觉得现在已经是很好很强大了,Google学术搜索滤掉了普通搜索结果中大量的垃圾信息,排列出文章的不同版本以及被其它文章的引用次数。略显不足的是,它搜索出来的结果没有按照权威度(譬如影响因子、引用次数)依次排列,在中国搜索出来的,前几页可能大部分为中文的一些期刊的文章。
2)http://www.scirus.com
Scirus 是目前互联网上最全面、综合性最强的科技文献搜索引擎之一,由Elsevier科学出版社开发,用于搜索期刊和专利,效果很不错!Scirus覆盖的学科 范围包括:农业与生物学,天文学,生物科学,化学与化工,计算机科学,地球与行星科学,经济、金融与管理科学,工程、能源与技术,环境科学,语言学,法 学,生命科学,材料科学,数学,医学,神经系统科学,药理学,物理学,心理学,社会与行为科学,社会学等。
3)http://www.base-search.net/
base是德国比勒费尔德(Bielefeld)大学图书馆开发的一个多学科的学术搜索引擎,提供对全球异构学术资源的集成检索服务。它整合了德国比勒费尔德大学图书馆的图书馆目录和大约160个开放资源(超过200 万个文档)的数据。
4)http://www.vascoda.de/
Vascoda是一个交叉学科门户网站的原型,它注重特定主题的聚合,集成了图书馆的收藏、文献数据库和附加的学术内容。
5)http://www.goole.com/
与google比较了一下发现,能搜索到一些google搜索不到的好东东 。它界面简洁,功能强大,速度快,YAHOO、网易都采用了它的搜索技术。各位可以一试。
6)http://www.a9.com
Google在同一水平的搜索引擎。是Amazon.com推出的,Webresult部分是基于Google的,所以保证和Google在同一水平,另外增加了Amazon的在书本内搜索的功能和个性化功能:主要是可以记录你的搜索历史。现在还是Beta,不过试用后感觉很好,向大家推荐一试 ,不过缺憾是现在书本内搜索没有中文内容。
7)http://www.ixquick.com
严格意义上讲不是搜索引擎,是连接搜索引擎和网络用户的信息立交桥。新一代的搜索引擎应运而生,Ixquick meta-search正是目前最具光芒的新星。但是对于大多数国内用户来说,Ixquick还很陌生。Ixquick众多独特的功能我不一一介绍了,只介绍我们最关心的,搜索数据库密码。
使用方法:先进入Ixquick,以“Proquest”数据库为例。填入Proquest Username Password History Online后点击search,看看出来的结果,第一页中第6个,proquest的username和password赫然在目,别急,再看第4个结 果“HB Thompson Subscription online Databases”,即http://homework.syosset.k12.ny.us/onlinedbs/HBTDatabases/,进入 后发现这是一个密码页,选择Magazines& Journals栏,就有 EBSCO、Electric Library Elementary、Electric LibraryElementary、ProQuest Platinum (in school)、ProQuest Platinum(remote)等众多数据库的密码,都有uesrname和password,随便试一下EBSCO,OK,成功登陆。
8)http://vivisimo.com/
cmu的作品,对搜索的内容进行分类,这样可以有效地做出选择,比较有特色。可实现分类检索,检索速度也很好,如EBSCO 密码几分钟就可找一大堆 .
http://search.epnet.com/,User ID:mountain,Password: ridge,这个密码可以试试。
9)http://www.findarticles.com/
一个检索免费paper的好工具。进入网页以后,可以看到他有三个功能,driectory web article,其中article对我们很有帮助,你可以尝试输入你要找的文章,会有很多发现的!
10)http://www.chmoogle.com
现点击后或跳转到http://www.emolecules.com,在此搜索引擎里可以搜索到超过千万种化学品信息或相应的供应商,与Chemblink有点相似,但提供的化学品理化信息没有Chemblink详细,与其不同的是该搜索引擎可提供化学品结构式搜索(主页上有在线绘制化学结构式的搜索框)。
11)http://www.ojose.com/
OJOSE (online JournalSearch Engine,在线期刊搜索引擎)是一个强大的免费科学搜索引擎,通过OJOSE,你能查找、下载或购买到近60个数据库的资源。但是感觉操作比较复杂。
12)http://citeseer.ist.psu.edu/
一个关于计算机和信息科学的搜索引擎。
13)http://hpsearch.uni-trier.de/
专家个人主页搜索引擎。
14)www.aol.com
里面的搜索引擎功能由google提供,搜索结果与google一样,如果google无法登陆,可以用这个网站代替。
数据库是研究人员重要的数据来源之一,目前券商、基金研究研究机构都购买有商业数据库,目前研究用的数据库主要分为两大类,一是商业数据库,二是学术数据库。
1.商业数据库
商业数据库大多为金融投资所用,主要分为国内与国外数据库两大类。
(1)国内商业数据库
国内数据库主要有如万德、恒生聚源、锐思数据库、CSMAR数据库、巨潮数据库等。目前万德数据库主要定位于国内高端客户,市场占有率较高,80%左右,当然其售价较高。恒生聚源也定位为机构客户,性价比较高,售价要比万德便宜的多。CSMAR数据库定位于学术与高校,其中金融数据比较全,强大。锐思数据库定位于学术,质量一般。巨潮数据库为深交所旗下数据库,有一定的特殊优势。
(2)国外商业数据库
国外数据库主要有彭博、路透社、CEIC、OECD、Haver Database、Thomson Financial One Banker等,国外数据库中彭博是比较全也大的,在国内销售也较好,但是售价奇贵。一般不做国际市场研究,大多用不到国外数据库,毕竟国外数据库公司对国内的行业数据及公司数据不如本土数据库公司的做得好。
2.学术数据库
学术数据库基本为高校、研究机构所用,也分为国内与国外两大类,学术数据库中一些学术论文、行业数据、统计年鉴还是有用的,缺点就是其中有些数据的相对较旧,无法做到实时更新。
(1)国内学术数据库
中国知网:国内最大学术数据库,包括期刊、学位论文、统计年鉴等。
万方数据:仅次于中国知网,包括期刊、学位论文等。
人大复印资料:期刊、论文等。
维普:期刊、论文等。
中经网:有较多行业研究报告,宏观数据较全。
国研网:数据较为权威,有些报告可以一看。
上海公共研发平台:可以注册,人工审核,内包含较多数据库。
(2)国外学术数据库
EBSCO:较全的一个数据库,内包含较多的商业数据,好用
Elsevier:学术文章全,更新速度快。
以上大致介绍了国内的商业及学术数据库,但这些数据库都是通过收费或学校账号才能使用,对于平时临时研究用的一些人,没有必要去购买,下面介绍一些免费可用的数据库。
数据汇
http://www.shujuhui.com/database/;
国内的宏观数据,国外的也有一部分,可以导出来,免费好用。
数据圈:
http://www.shujuquan.com.cn/;
免费共享平台,行业研究报告,统计年鉴等;
FRED:
http://research.stlouisfed.org/fred2/;
OECD:
http://www.oecd-ilibrary.org/economics;
联合国图书馆。
台湾学术数据库:
http://fedetd.mis.nsysu.edu.tw/;
部分文章提供免费全文下载。
台湾大学电子书:
http://ebooks.lib.ntu.edu.tw/Home/ListBooks
首先也非常感谢共享文库的出现,使得大家搜集信息方便了许多,随最早的豆丁、百度、爱问等共享文库的出现,随后到如今出现许多共享文库,不过很多文库规模较小,文档数量较少。
(1)国内主要文库
百度文库:http://wenku.baidu.com/;
国内文档数据量最大的共享文库,综合型的,好用。。
豆丁文库:http://www.docin.com/;
其收费的盈利模式导致用户数量逐年减少,文档质量也不如百度文库。
爱问共享:
http://ishare.iask.sina.com.cn/;
综合型文库,里面也时常发现好的行业研究报告,电子书籍等。
道客巴巴:http://www.doc88.com/;
综合型文库,后起之秀,文档数量和质量较好。
智库文档:http://doc.mbalib.com/;
以管理、行业文档为主。
质量较好文库大全:http://www.wenkudaquan.com/;
无需注册,通过点击广告模式盈利,文档内容多。
IT168文库:http://wenku.it168.com/;
专业型文库,以计算机及IT技术相关的文档为主。
CSDN文库:http://www.csdn.net/;
全球最大的中文IT社区。
呱仕网:http://www.guasee.com/;
以创业投资、证券市场等文档为主的专业型文库,刚起步状态。
新浪地产:http://dichan.sina.com.cn/;
国内最大房地产类文库,房地产相关策划、数据较全。
(2)国外文库
Scribd:http://www.scribd.com;
全球最大的文档分享平台。
Docstoc:http://www.docstoc.com;
在线文档与图片分享平台。
针对以上国内的共享文库,都可以通过注册账号,上传分享资料赚取积分,通过积分可以下载文库资料。如果有些文档看过后不错想保存下来积分不够,可以通过文库下载器来免费下载保存,文库下载器有如“冰点文库下载、易读下载、老张文库下载”等等,如果只看重其中一部分内容,可以通过QQ拷屏方式保留下来(登陆QQ,ctrl+alt+a拷屏)。
在共享文库未出现以前,专业论坛一直担任着查找资料的好去处,的确国内的一些论坛经过这么多年的运营,已经积累大量有用文档。下面主要介绍我们常用的专业论坛。
1.人大经济论坛:http://bbs.pinggu.org/
经济、学术型论坛,其中行业研究、统计年鉴数量多,更新速度快,我的最爱,常用。(如哪位仁兄想下载其中其他地方找不到的文档,积分不够,请用微信私信给我,我来帮你解决)。
2.经济学家:http://bbs.jjxj.org/
经济学专业论坛,其中统计年鉴、行业报告、国内外数据等有特色。
3.随意网-经济论坛:
http://economic.5d6d.net/
新建网站,有些内容尚可。
4.理想在线:http://www.55188.com
股票券商研究报告。
5.迈博汇金:http://www.hibor.com.cn/
股票券商研究报告,目前已经收费了,只能查询有哪些最新报告了,无法下载。
6.博瑞金融:
http://www.brjr.com.cn/forum.php
金融行业专业型论坛。
7.华尔街社区:
http://forum.cnwallstreet.com/index.php
国内专业的金融论坛。
8.投行先锋论坛:http://www.thxflt.com/
专业型为投行人士探讨而设立的论坛。
9.春晖投行在线:
http://www.shenchunhui.com/
证券相关政策的汇编整合论坛。
10.中华股权投资论坛:
http://www.tzluntan.com/
pe投资专业型论坛。
其他专业网站:
投行网站
http://macabacus.com/。
http://www.wallstreetoasis.com/。
http://www.ibankingfaq.com/。
IPOhttp://stocks.etnet.com.cn/www/sc/stocks/ci_ipo.php。
IPOhttp://www.aastocks.com/sc/ipo/sponsor.aspx。
julinghttp://terminal.chinaef.com/index.action。
MA http://www.mergermarket.com/info/。
各大咨询公司报告
http://www.deloitte.com/view/zh_CN/cn/services/。
http://www.deloitte.com/view/en_GX/global/insights/index.htm。
http://www.kpmg.com/CN/en/IssuesAndInsights/Pages/default.aspx。
http://www.mckinsey.com/locations/chinasimplified/。
http://www-31.ibm.com/cn/services/bcs/。
http://www.bcg.com.cn/cn/newsandpublications/newsandpublictions_publications.html。
http://www.ebusinessreview.cn/。
http://www.ey.com/CN/ZH/home/library。
http://www.bain.cn/news.php。
https://china.mckinseyquarterly.com/home.aspx。
http://www.pwccn.com/home/eng/libraryindex.html。
http://www2.hewittassociates.com/Intl/AP/zh-CHT/Default.aspx。
http://www.booz.com/global/home/what_we_think/cds_home/m_and_a/cds_our-leading-research-on-ma。
政府部门是国内公开数据的来源,查询权威的数据可以到政府相关部门网站,以下介绍国内的主要发布相关数据的政府部门。
1.国家统计局:http://www.stats.gov.cn/
这个不用多说,大家很多人浏览过。
2.工业和信息化部:
http://www.miit.gov.cn
较多数据在此发布,尤其是有关工业运行及信息化相关数据。
3.中国人民银行:http://www.pbc.gov.cn/
中国金融市场政策及运行相关数据。
4.银监会:http://www.cbrc.gov.cn
银行金融相关数据。
5.中国海关:http://www.customs.gov.cn
中国进出口相关数据。
6.国家知识产权局:
http://www.sipo.gov.cn
专利相关查询
7.中国证监会:http://www.csrc.gov.cn
相关政策及招股书披露平台,以及拟上市公司排队每周披露。
8.巨潮信息网:
http://www.cninfo.com.cn/
中国资本市场指定披露平台,上市公司相关年报、季报及公告披露信息。
1.上海证券交易所:
http://www.sse.com.cn/
其中研究出版栏目中有些研究报告
2.深圳证券交易所:http://www.szse.cn/
其中研究/刊物中有研究报告
3.全国中小企业股份转让系统(新三板):http://www.neeq.com.cn/
新三板挂牌公司的转让及信息披露。
4.香港证券交易所:
http://www.hkexnews.hk/index_c.htm;
5.台湾证券交易所:
http://www.tse.com.tw/ch/index.php。
6.新加坡证券交易所:
http://www.sgx.com/
7.纽约证券交易所:http://www.nyse.com
8.纳斯达克证券交易所:
http://www.nasdaq.com
1.搜集美国相关数据
由位于华盛顿的美国政府印刷办公室出版、经济顾问委员会撰写的《总统经济报告》(Economic Report of President),提供了有关美国当前经济形势的描述和主要宏观经济变量数据。相当多的数据都可以追溯到1959年,甚至个别的可追溯到1929年。可能你已经留意到了,好多有关美国的图形,都是采用《总统经济报告》(2005)所附数据生成的。这些数据可以免费下载,网址是www.access.gpo.gov/eop/。
如果需要一应俱全的数据,一个宝贵的权威来源是,美国商务部统计局出版的《美国统计概要》(Statistical Abstract of the United States),相当一部分数据可以免费下载,网址是www.census.gov/statab/www/。
如果想获得最近数据的详细资料,一个不错的选择是,美国商务经济分析局每月出版的《当代商业纵览》(Survey of Current Business)。网址是,www.bea.doc.gov。
2.如何搜集国外其他经济体数据
对富裕国家来说,最有用的资料来源于经济合作与发展组织(Organization of Economic Cooperation and Development,简称OECD)。经济合作与发展组织的成员包括:奥地利、澳大利亚、比利时、加拿大、捷克共和国、丹麦、芬兰、法国、德国、希腊、匈牙利、冰岛、意大利、日本、卢森堡、墨西哥、荷兰、新西兰、挪威、波兰、葡萄牙、韩国、西班牙、瑞典、瑞士、土耳其、英国和美国。看来,世界上的富裕国家大都属于该组织,其产出占世界产出的70%左右。OECD的网址是www.oecd.org,提供三种极为有用的数据。
《OECD经济展望》(OECD Economic Outlook),每年出版两次,提供许多跨国宏观经济数据。这些数据一般都上溯到20世纪70年代,而且具有很好的一致性。
《OECD就业展望》(OECD Employment Outlook),每年出版一次,专门提供劳动力市场的数据。《OECD历史统计》(OECD Historical Statistics),不定期出版,将当期数据和过去数据放在一起。
对于不是OECD成员的国家和地区,可以从其它国际组织那里获得相关数据,比如国际货币基金组织(International Monetary Fund,简称IMF),其网址是www.imf.org。IMF提供《国际金融统计年鉴》(InternationalFinancial Statistics Yearbook),它主要提供成员国的金融数据,但也包括一些总体数据,比如GDP、失业和通货膨胀等。
至于若干国家长期的统计数据,两个不可多得的数据来源是,Heston-Summers数据库和Madison数据库。Heston-Summers数据库提供168经济体在1950-2000年间的跨国可比数据,在宾夕法尼亚大学国际比较中心(Center for International Comparisons at the University ofPennsylvania)网站上可以下载,http://pwt.econ.upenn.edu/。Madison数据库提供了自1820年以来56个经济体的数据。
最后,如果还没有找到你要的数据,不妨登陆下面的两个网站,也许是根稻草。哈佛商学院的宏观经济学资源网站www.hbs.eduhttps://maimai.cn/article/units/bgie/internet/,提供了大量连接。由密西西比大学BillGoffe维护的一个网站http://rfe.wustl.edu,不仅列出了数据来源,而且还列出了有关经济的其他信息来源。
1.互联网及传媒
(1)资讯类
新浪科技 http://tech.sina.com.cn/。
腾讯科技 http://tech.qq.com/。
艾瑞网 http://www.iresearch.cn/。
艺恩网 http://www.entgroup.cn/。
虎嗅网 http://wwww.huxiu.com/。
36kr http://36kr.com/。
钛媒体 http://www.tmtpost.com/。
游戏大观 http://www.gamelook.com.cn/。
亿欧网 http://www.iyiou.com/。
媒介360
http://www.chinamedia360.com/main。
(2)数据类
中国票房 http://www.cbooo.cn/。
中国互联网络信息中心
http://www.cnnic.net.cn/。
艾瑞网:
http://www.iresearch.com.cn/report/viewlist.aspx。
易观智库 http://www.analysys.cn/。
游戏产业网:
http://www.cgigc.com.cn/list/79644663134.html。
百度指数 http://index.baidu.com/。
大数据导航
http://hao.199it.com/。
CSM(电视收视率) http://www.csm.com.cn/。
微排片 http://www.weipaipian.com。
2.医药行业
(1)样本医院数据
化药、生物药和中药注射剂 http://pdb.pharmadl.com/。
中成药、化药 http://www.menet.com.cn/。
国外样本医院数据彭博上有类似PDB的数据库。
(2)药品中标价格
百度虫,药智网,健康网 (付费),米内网(付费)。
(3)药品招标政策
各省药品招标平台。
(4)医疗器械数据
基本没有,米内网有付费数据库(没见过)、海关信息网。
(5)中药材数据
中药材天地网、万得的EDB、中药材东方网。
(6)药品审批
药智网、药监局、CDE网站。
(7)医药行业政策
国家药监局、发改委、中国政府网、卫计委等等。
(8)国内外行业协会和咨询机构
例IMS Health、XX医药协会。
(9)新闻网站/微信
赛柏蓝、米内网、生物谷、新康界、医谷、药友汇、丁香园、动脉网、贝壳社。
3.银行业
(1)新闻资讯
中证网 http://www.cs.com.cn/xwzx/hg/
一财网 http://www.yicai.com/economy/
财新网 http://finance.caixin.com/bank/
华尔街见闻 http://wallstreetcn.com/news?cid=19
新浪财经 finance.sina.com.cn/
证券时报网 http://www.stcn.com/
中国金融新闻网 http://www.financialnews.com.cn/yh/xw/
(2)公告、数据查找
中国货币网
http://www.chinamoney.com.cn/index.html
巨潮网 http://www.cninfo.com.cn/
统计局 www.stats.gov.cn/
中国人民银行 www.pbc.gov.cn/
银监会 http://www.cbrc.gov.cn/index.html
上海证券交易所 www.sse.com.cn/
深圳证券交易所 www.szse.cn/
最常用wind股票数据库
4.有色金属
(1)日报网站
宏观新闻:
央行快讯
http://t.news.fx168.com/bank/
行业新闻:
中国金属网
http://www.metalchina.com
上海有色网
http://www.smm.cn/index_2015.html
百川咨询 http://www.baiinfo.com
公司公告:巨潮 http://www.cninfo.com.cn
(2)其他常用站
高工锂电
http://www.gg-lb.com/default_index_new.php
真锂研究 http://www.realli.net
深交所互动易(查看投资者互动资料)
http://irm.cninfo.com.cn/szse/
中金网(有色金属)
http://www.metalsinfo.com/news/
银 https://www.silverinstitute.org/site/publications/
银 http://financial.thomsonreuters.
... /articles/gfms.html。
新三板资讯 http://www.sanban18.com
格隆汇港股
http://www.gelonghui.com/portal.php
除以上介绍的几种资料搜集渠道外,我们也结合近年it科技的发展,在博客、微博、空间等去搜索。
1.行业协会网站:每个行业协会基本都会有网站,在该网站上能够查找一些对本行业的描述、相关数据等。
2.博客:国内有网易、新浪、搜狐、百度空间、和讯等博客网站,有些数据也可以从搜索博客中找到。
3.微博:新浪微博及腾讯微博,用数量极大,其中有些数据可以通过搜索查询到。
4.微信:微信用户已经超过4亿,每个人都是新闻的发布者,其中数据资源丰富,但目前还未提供全文搜索功能,只能通过关注相关公共账号或关注朋友圈获取。
5.QQ空间:有些企业或机构QQ空间会有些报告及数据发布。
6.全景网:财经资讯 http://www.p5w.net/。
*本文转载自公众号:社科方法网
DataHunter 是一家专业的数据分析和商业智能服务提供商,注册于2014年。团队核心成员来自 IBM、Oracle、SAP 等知名公司,深耕大数据分析领域,具有十余年丰富的企业服务经验。
DataHunter 旗下核心产品智能数据分析平台 Data Analytics、数据大屏设计配置工具 Data MAX 已在业内形成自己的独特优势,并在各行业积累了众多标杆客户和成功案例。