大数据工具(一般用哪些工具做大数据分析？)

题图来自Unsplash，基于CC0协议

本文目录

正文

1、一般用哪些工具做大数据分析？

　　虽然收集和分析“大数据”存在一些分析和技术方面的挑战，但事实上大部分公司已经能够应对这种挑战。这是因为有一些非常强大的分析工具都是免费、开源的，可以充分利用这些工具来提升自己的能力。

　　下面推荐了10个针对企业的大数据分析工具，这些工具不仅免费、使用方便，而且具有强大的功能和良好的资源。

　　1、Tableau Public

　　这是一个简单直观的可视化工具。它在商业活动中表现的很强大，因为它通过可视化来表达。它有足够的空间和免费使用时长让你体验，在分析的过程中，Tableau的图片呈现可以让你快速的调查一个假设、验证你的直觉，做更好的商业决策。

　　2、OpenRefine

　　它是以前的GoogleRefine，OpenRefine是一款数据清理软件，可以对准备好的一切数据进行分析。例如最近我清理了一个含有化学名称的数据库，并且各行有不同的拼写、大小写、空格等，用计算机来处理非常困难，幸运的是， OpenRefine包含许多聚类算法，对这个问题可以快速解决。

　　3、KNIME

　　KNIME可以通过可视化编程的方式来操作、分析和建模。不仅可以写代码。你还可以在操作中建立联系节点。基本上你只需要将功能模块拖拽到工作区，并将模块按照运行流程连接起来，就可以实现以往编程才能实现的工作。更重要的是，KNIME可以扩展到运行R, python, text mining,chemistry data等等，这可以让你选择用更先进的编码来分析。

　　4、RapidMiner

　　和KNIME类似， RapidMiner通过可视化编程操作，建模和分析数据。最近，RapidMiner赢得kdnuggets的软件调查。

　　5、GoogleFusion Tables

　　这是针对数据分析、大数据集的可视化和映射的一个非常强大的工具，谷歌的地图软件在其中起着重要作用。拿下面这张图来说，这是一张墨西哥湾石油生产平台的图，我只需要上传数据，Google Fusion Tables确认维度和经度的数据之后就开始工作了。

　　6、NodeXL

　　NodeXL是针对网络和关系的可视化分析软件。想想科技巨头地图上代表LinkedIn或Facebook的连接，NodeXL提供了进一步精确的计算。如果你在不需要那么先进的东西，你可以看看Google Fusion Tables，或者尝试用Gephi。

　　7、import.io

　　从网上抓取网页和信息曾经是技术人员的专利，现在用import.io，每个人都可以从网站和论坛获取数据。简单提出你想要的数据，几分钟之后import.io就可以通过你的搜索知道你在找什么，从而会挖掘、提供数据用于你的分析或输出。

　　8、Google Search Operators

　　不可否认谷歌最初是一个强大的资源和搜索公司，运营商可以让你快速过滤掉谷歌的结果得到的最有用的和相关的信息。比如说，你正想从ABC咨询里寻找一个今年的数据科学报告。如果我们认为该报告可能是PDF格式的，可以在“数据科学报告”，下面的搜索栏，使用“搜索工具”来屏蔽去年的结果。这在发现新的信息或市场研究方面非常有用。

　　9、Solver

　　Solver是一个在excel中做优化和线性规划的工具，允许你设置一些约束条件（例如不超过什么价格，要在哪天之前完成之类）。虽然更有效的优化可能会需要另一个程序（例如R的优化包），但是Solver应用范围比较广。

　　10、WolframAlpha

　　Wolfram Alpha的搜索引擎是一个隐藏的宝石，可以媲美苹果的Siri。WolframAlpha类似于不那么智能的Google，对科技搜索提供详细的回复，对微积分作用也能快速的搜索。对企业用户来说，它提供了信息图表，对历史价格、商品信息、主题概述。

2、大数据平台的软件有哪些？

首推鉴:Hadoop，私有云最佳方案。hadoop下面还会涉及hbase,hive,spark,zookeeper,mapreduce等等。开源，免费，稳定，很多大公司都在用。

如果小公司自己用，那就去用各家的云服务。像阿里云，腾讯云，华为云之类的，都有相关大数据服务。

1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。

2、Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。

Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。

Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。

Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务，因此它的成本比较低，任何人都可以使用。

3、Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：

高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。

高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。

高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低。4、Hadoop带有用Java语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写，比如 C++。

5、hadoop大数据处理的意义Hadoop得以在大数据处理应用中广泛应用得益于其自身在数据提取、变形和加载(ETL)方面上的天然优势。Hadoop的分布式架构，将大数据处理引擎尽可能的靠近存储，对例如像ETL这样的批处理操作相对合适，因为类似这样操作的批处理结果可以直接走向存储。Hadoop的MapReduce功能实现了将单个任务打碎，并将碎片任务(Map)发送到多个节点上，之后再以单个数据集的形式加载(Reduce)到数据仓库里。

3、哪款大数据分析软件比较好？

1、spss

是一款用于统计学分析运算、数据挖掘、预测分析和决策支持任务的软件产品；包括描述性统计、均值比较、一般线性模型、相关分析、回归分析、对数线性模型、聚类分析、数据简化、生存分析、时间序列分析、多重响应等几大类。操作简单，编程方便，数据接口。

2、tabelau

程序很容易上手，各公司可以用它将大量数据拖放到数字“画布”上，转眼间就能创建好各种图表；不需任何编程。

3、SAS

是一个模块化、集成化的大型应用软件系统；SAS提供了从基本统计数的计算到各种试验设计的方差分析，相关回归分析以及多变数分析的多种统计分析过程。

4、Python Pandas

正如它的网站所述，Pandas是一个开源的Python数据分析库，目前由专注于Python数据包开发的PyData开发团队继续开发和维护，属于PyData项目的一部分。Pandas最初被作为金融数据分析工具而开发出来，因此，pandas为时间序列分析提供了很好的支持。

5、Paxata

Paxata是少数几家专注于数据清洗和预处理的组织之一，是一个易于使用的MS Excel类应用程序。它还提供了可视化的指导，可以轻松地将数据汇集在一起，查找并修复数据中混杂的噪音或缺失，以及在团队之间共享和重复使用数据项目。与本文中提到的其他工具一样，Paxata取消了编码或脚本，从而克服了处理数据所涉及的技术障碍。

相关：

数据分析算法与软件概览：https://www.toutiao.com/i6558003166816764423/

大数据分析技术：19个超赞的数据科学和机器学习工具

https://www.toutiao.com/i6585379544813797901/

4、通过大数据分析的股票软件有哪些？

大智慧，通达信，同花顺，益盟操盘手，东方财富，指南针。

5、大数据比软件工程好吗？

怎么说呢？目前来说这这两个专业都是很有前景的，关键是看个人兴趣以及你是否能够在大学里面真正的学到东西。首先我就先分别简单介绍下大数据和软件工程吧。

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据专业目前主要分为两个方向，一个是大数据开发，另一个是数据分析与挖掘。

1、大数据开发：Ja-va、大数据基础、Hadoop体系、Scala、kafka、Spark等内容； 2、数据分析与挖掘：Python、关系型数据库MySQL、文档数据库MongoDB、内存数据库Redis、数据处理、数据分析等。

软件工程专业以计算机科学与技术学科为基础，强调软件开发的工程性，使学生在掌握计算机科学与技术方面知识和技能的基础上熟练掌握从事软件需求分析、软件设计、软件测试、软件维护和软件项目管理等工作所必需的基础知识、基本方法和基本技能，突出对学生专业知识和专业技能的培养，培养能够从事软件开发、测试、维护和软件项目管理的高级专门人才。

就我个人认为，两者都不错，因为都涉及到了计算机的核心理论体系的构建，大数据是近几年新兴的技术方向，所以在理论方面应该来说略逊于软件工程，毕竟这个专业国内已经有很多高校有了足够的经验。就工作方面而言，两者都有自己的需求，因为国内体制原因，这两个方向人才缺口都较大，所以并没有说谁比谁好，谁比谁差的概念。

6、大数据可视化软件和工具有哪些？

感谢邀请。下面就个人了解的可视化软件和工具行业，进行简单介绍，希望能对有相关需求的同学起到一点帮助作用。同时也希望抛砖引玉，有更多高手、大神一起交流切磋，一起成长。

最近几年，在互联网行业带动下，各行各业企业越来越重视数据分析对业务决策的支撑和帮助。在商业实践中，可视化是数据分析结果呈现的重要步骤和基础部分。相对国内，商业相对发达的国外，可视化技术和工具相当成熟，很多都已经做成开放应用（比如可视化图表库，BI工具等等），并投入商用。国内不少大公司、海龟团队也致力于这一方面的工作，产生了一些不错的产品和工具。就给大家介绍一些实用的工具。

一、国外产品系列

1、Tableau

它们都是为与大数据有关的组织设计的。企业使用这个工具非常方便，而且提供了闪电般的速度。还有一件事对这个工具是肯定的，Tableau具有用户友好的特性，并与拖放功能兼容。但是在大数据方面的性能有所缺陷，每次都是实时查询数据，如果数据量大，会卡顿。

2、ChartBlocks

ChartBlocks是一款网页版的可视化图表生成工具，在线使用。通过导入电子表格或者数据库来构建可视化图表。整个过程可以在图表的向导指示下完成。它的图表在HTML5的框架下，使用强大的JavaScript库D3.js来创建图表。图表是响应式的，可以和任何的屏幕尺寸及设备兼容。 还可以将图表嵌入任何网页中。

3、D3.js

D3.js是开源工具，使用数据驱动的方式创建漂亮的网页，D3.js可实现实时交互，这个库非常强大和前沿。

二、国内做数据可视化产品/工具的公司

国内围绕可视化做一些应用产品/的公司，比如：

帆软——报表软件finereport、商业智能finebi、大屏可视化蚂蚁金服可视化控件AntV、数据可视化大屏DataV数字冰雹、大屏可视化百度开源图表控件Echarts、数据分析平台（BI）网易有数。

除此之外，还有很多互联网公司会开发自己的数据可视化产品、BI平台，引用国内外开源，对内形成解决方案，但是不对外。软件集成商也对针对客户需求，做专门的方案，自己开发或者集成别人的应用。

1、FineBI

FineBI是一款商业智能BI工具，做数据分析和可视化数据展现，以分析为主，提供多种数据接入方式，可视化功能强大，平台更适合掌握分析方法了解分析的思路的用户，其他用户的使用则依赖于分析师的结果输出。FineBI也是找了很久感觉很不错的一款数据可视化工具。其中还有很多对数据处理的公式和方法，图表也比较全面。相对于百度的echarts，FineBI还是一款比较容易入手的数据分析工具。最后，FineBI提供了免费的版本，功能齐全，更加适合个人对数据分析的学习和使用。

2、EchartChart

国产货有语言优势或区域优势。毕竟是中国制造，自己家做出来的，亲和力高，比较适用于我们的思维，对于城市的地理坐标、城市代码等都已经配置好了，需要的时候，直接调用，很方便。免费，各类图，各种形式，K线图完全免费开源。能减少制作成本，也方便使用，（不用担心以后会有什么）当客户选择的时候，我们可以有更多的方案为他们准备。对于处理大量的数据和3D绘图：基于canvas绘图，所以3D绘图方面占据绝对的优势。（可以结合百度地图的使用，而且方便快捷。）一个纯Javascript的图表库：可以流畅的运行在PC和移动设备上，兼容当前绝大部分浏览器（IE6/7/8/9/10/11，chrome，firefox，Safari等），底层依赖轻量级的Canvas类库ZRender，提供直观，生动，可交互。（使用了几个浏览器，均没发现什么问题。）支持和弦图、力导布局图、拖拽重计算、数据视图、值域漫游、大规模散点。支持动态类型切换（十分方便，以内置代码，轻轻动动手指就可）

3、支付宝AntV

AntV 是蚂蚁金服的数据可视化解决方案，主要包含「数据驱动的高交互可视化图形语法」G2、专注解决流程与关系分析的图表库 G6、适于对性能、体积、扩展性要求严苛场景下使用的移动端图表库 F2 以及一套完整的图表使用指引和可视化设计规范。已为阿里集团内外2000+个业务系统提供数据可视化能力，其中不乏日均千万 UV 级的产品。

以上就是一些常用大数据可视化软件和工具，希望能帮到有需要的同学老师，如果相关问题，多交流学习。

7、常见的大数据分析工具有哪些？

国内的数据分析软件比较多，大数据分析软件推荐选择Smartbi Insight（点击连链接可以直接免费下载，或者进入smartbi.com.cn ,在线体验使用），定位于前端数据分析，对接各种业务数据库，数据仓库和大数据平台，满足各种数据分析应用需求，如大数据分析，自助探索分析，地图可视化，移动管理驾驶舱，指挥大屏幕，企业报表平台等。

8、大数据分析到底需要多少种工具？

5个最受欢迎的大数据分析工具

1.Jupyter：大数据可视化的一站式商店

2.Tableau：AI，大数据和机器学习应用可视化的最佳解决方案

3.Google Chart：Google支持的免费而强大的整合功能

4.D3.js：以任何您需要的方式直观地显示大数据

5.Smartbi：真Excel操作，简单易用