大数据统计分析(大数据是什么？)

一、大数据是什么？
　随着云时代的来临，大数据(Big data)也吸引了越来越多的关注。《著云台》的分析师团队认为，大数据(Big data)通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

　　简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。明白这一点至关重要，也正是这一点促使该技术具备走向众多企业的潜力。 　　大数据的4个“V”，或者说特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别;第二，数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质

　　的不同。业界将其归纳为4个“V”——Volume，Variety，Value，Velocity。 　　物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式 著云台

　　例子包括网络日志，RFID，传感器网络，社会网络，社会数据(由于数据革命的社会)，互联网文本和文件;互联网搜索索引;呼叫详细记录，天文学，大气科学，基因组学，生物地球化学，生物，和其他复杂和/或跨学科的科研，军事侦察，医疗记录;摄影档案馆视频档案;和大规模的电子商务。

　　大的数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理(MPP)数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。

　　一些但不是所有的MPP的关系数据库的PB的数据存储和管理的能力。隐含的负载，监控，备份和优化大型数据表的使用在RDBMS的。

　　斯隆数字巡天收集在其最初的几个星期，比在天文学的历史，早在2000年的整个数据收集更多的数据。自那时以来，它已经积累了140兆兆 字节的信息。这个望远镜的继任者，大天气巡天望远镜，将于2016年在网上和将获得的数据，每5天沃尔玛处理超过100万客户的交易每隔一小时，反过来进口量数据库估计超过2.5 PB的是相当于167次，在美国国会图书馆的书籍 。

　　FACEBOOK处理400亿张照片，从它的用户群。解码最初的人类基因组花了10年来处理时，现在可以在一个星期内实现。

　　“大数据”的影响，增加了对信息管理专家的需求，甲骨文，IBM，微软和SAP花了超过15亿美元的在软件智能数据管理和分析的专业公司。这个行业自身价值超过1000亿美元，增长近10%，每年两次，这大概是作为一个整体的软件业务的快速。 　　大数据已经出现，因为我们生活在一个社会中有更多的东西。有46亿全球移动电话用户有1亿美元和20亿人访问互联网。

　　基本上，人们比以往任何时候都与数据或信息交互。 1990年至2005年，全球超过1亿人进入中产阶级，这意味着越来越多的人，谁收益的这笔钱将成为反过来导致更多的识字信息的增长。思科公司预计，到2013年，在互联网上流动的交通量将达到每年667艾字节。

　　最早提出“大数据”时代已经到来的机构是全球知名咨询公司麦肯锡。麦肯锡在研究报告中指出，数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素;而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。

　　“麦肯锡的报告发布后，大数据迅速成为了计算机行业争相传诵的热门概念，也引起了金融界的高度关注。”随着互联网技术的不断发展，数据本身是资产，这一点在业界已经形成共识。“如果说云计算为数据资产提供了保管、访问的场所和渠道，那么如何盘活数据资产，使其为国家治理、企业决策乃至个人生活服务，则是大数据的核心议题，也是云计算内在的灵魂和必然的升级方向。”

　　事实上，全球互联网巨头都已意识到了“大数据”时代，数据的重要意义。包括EMC、惠普(微)、IBM、微软(微)在内的全球IT 巨头纷纷通过收购“大数据”相关厂商来实现技术整合，亦可见其对“大数据”的重视。

　　“大数据”作为一个较新的概念，目前尚未直接以专有名词被我国政府提出来给予政策支持。不过，在12月8日工信部发布的物联网“十二五”规划上，把信息处理技术作为4项关键技术创新工程之一被提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这都是大数据的重要组成部分。而另外3项关键技术创新工程，包括信息感知技术、信息传输技术、信息安全技术，也都与“大数据”密切相关。

二、数据统计的目的和意义？
1、数据分类

公司的数据往往是繁多且杂乱的，数据分析的目的之一数据分类，就是利用已具有分类的相似数据研究其分类的规则，将规则应用到未知分类的数据，并将其归类。

2、关联规则与推荐系统

关联规则又叫关联分析，是指在大型的数据库中找到一般的关联模式。推荐系统，看似很高深其实在我们的日常生活中非常常见，比如网购软件的首页购买推荐、视频软件的视频推送等，都是通过查找到关联规则来进行个性化推荐的。

3、数据缩减与降维

当出现变量的数量有限且有大量分类为同类组的样本数据时，通常会选择提高数据挖掘算法的性能，以实现数据缩减与降维。降维，简单说就是减少变量的数量。

4、数据探索与数据可视化

数据探索，旨在了解数据的总体情况并检测可能存在的异常值。数据可视化，是利用图表、图像等显示手段，实现清晰、有效的传达与沟通信息需求。提到数据可视化，就不得不提及到知名的大数据分析品牌思迈特软件Smartbi啦，Smartbi的数据可视化功能可以说是非常强啦，它支持ECharts图形库，支持包含瀑布图、树图和关系图等几十种可实现动态交互的图形，可以实现清晰、直观的观察数据。

以上就是数据分析的4大目的啦，接下来是数据分析的3大意义。

三、数据分析的意义

1、完整、科学地反映客观情况

通过对公司积累下来的海量数据进行统计、分析、研究并形成数据分析报告，我们就可以得到较为完整、科学的客观情况反映，从而协助我们制定出理性、正确的决策和计划，以充分发挥数据分析促进管理、参与决策的重要作用。

2、监督公司运行状态

通过分析公司大量的数据和资料，可以比较全面、精准地了解到公司过去、现在的运行状态和发展变化情况，甚至能够比较准确地预测行业未来发展趋势，由此对公司的未来发展方向做出预测，规避风险。还能监督各部门对于方针政策的贯彻执行情况和生产经营计划的完成情况等。

3、提高数据分析人员素质

数据分析工作，不仅要求数据分析人员要具有数据分析的基础知识，还要求数据分析人员要有一定的经济理论知识。即不仅要掌握数据分析的方法，还要了解有关的经济技术状况、有一定的文化水平和分析归纳能力。这些要求都是对数据分析人员素质的考验，有利于提高数据分析人员的素质。