大数据语言有哪些?在巨大的数据集中进行筛选的最好工具是什么?以下是总结的十大合适大数据处理的编程语言。

1. R语言，R语言是数据科学的宠儿，R语言有着简单而明显的吸引力，使用R语言，只需要短短的几行代码，你就可以在复杂的数据集中筛选，通过先进的建模函数处理数据，以及创建平整的图形来代表数字，它被比喻为是Excel的一个极度活跃版本。

2. Python，如果说R语言是一个神经质又可爱的高手，那么Python是它随和又灵活的表兄弟，作为一种结合了R语言快速对复杂数据进行挖掘的能力并构建产品的更实用语言，Python迅速得到了主流的吸引力。

3. Julia，虽然当前的数据科学绝大多数是通过R语言，Python，Java，MatLab和SAS执行的。但依然有其他的语言存活于夹缝中，Julia就是值得一看的后起之秀。

4. JAVA，Java不能提供R和Python同样质量的可视化，并且它并非统计建模的最佳选择。但是，如果你移动到过去的原型制作并需要建立大型系统，那么Java往往是你的最佳选择。

5. Hadoop 和 Hive，Hadoop作为首选的基于Java的框架用于批处理数据已经点燃了大家的热情。Hadoop比其他一些处理工具慢，但它出奇的准确，因此被广泛用于后端分析。

6. Scala，Scala是另一种基于Java的语言，并且和Java相同的是，它正日益成为大规模机器学习，或构建高层次算法的工具。它富有表现力，并且还能够构建健壮的系统。

7. Kafka和Storm，Kafka，诞生于LinkedIn内部，是一个超快速的查询消息系统，Storm是用Scala编写的另一个框架，它在硅谷中因为流处理而受到了大量的青睐。

8. MatLab，MatLab一直以来长盛不衰，尽管它要价不菲，但它仍然被广泛使用在一些非常特殊的领域：研究密集型机器学习，信号处理，图像识别等。

9. Octave，Octave和MatLab非常相似，但它是免费的。不过，它在学术性信号处理圈子之外很少见到。

10. GO，GO是另一个正在掀起浪潮的后起之秀。它由Google开发，从C语言松散地派生，并在构建健壮基础设施上，正在赢得竞争对手。

大数据怎么学?

从局部到整体。说得通俗一点就是要脚踏实地，不要老是飘在天上，因为在天上看到的是一整个生态，你当然会看到有很多很多东西，但是如果你不走近看的话你是不会知道，其实有很多东西都是类似的，经典的理论就那么几个，大家的系统很多都是照着这些理论去实现的，只是实现的方式会有些不一样，所以同类型的产品可能场景会稍有不同，但是架构是非常类似的，熟悉了之后你会发现，分布式系统万变不离其宗。

简单地说，从一个入手，比如存储，举个例子可以从HBase入手，因为它算是一个比较经典的分布式存储引擎，《Big Table》也是非常经典的一篇paper，HBase里面存在的LSM-Tree，Bloom Filter，压缩，分区等等原理和概念在很多分布式存储中也是适用的。

再比如，计算，mr很经典，但是我还是建议直接从Spark入手，它的很多设计是基于mr又超过了mr的，而且spark生态系统非常的全能，能干的事情非常多，先学Spark Core，搞懂编程模型，了解大概原理，接着学SparkSQL，了解catalyst等，再接着就是SparkStreaming，以及后面的StructedStreaming，学到到这里，如果学得足够有深度，Flink也是可以轻松拿下的了，二者都大量借鉴了《DataFlow》这篇paper的理论，还是那句话，万变不离其宗。

还有很多的其他的例子，比如调度系统AirFlow，Azkaban以及最近挺火的DolphinScheduler，本质上的实现都是类似的，只是在各自都增加了不同的功能来满足用户的需求。

还有数据可视化等等很多的例子就部一一列举了。

说这么多目的只有一个，脚踏实地一步一步走，程序猿这个工种还是很依赖经验的，孰能生巧是没有错的。

大数据的特性都有哪些

一、体量(Volume)

大数据由大量数据组成，从几个TB到几个ZB。这些数据可能会分布在许多地方，通常是在一些连入因特网的计算网络中。一般来说，凡是满足大数据的几个V的条件的数据都会因为太大而无法被单独的计算机处理。单单这一个问题就需要一种不同的数据处理思路，这也使得并行计算技术(例如MapReduce)得以迅速崛起。

二、高速(Velocity)

大数据是在运动着的，通常处于很高的传输速度之下。它经常被认为是数据流，而数据流通常是很难被归档的(考虑到有限的网络存储空间，单单是高速就已经是一个巨大的问题)。这就是为什么只能收集到数据其中的某些部分。如果我们有能力收集数据的全部，长时间存储大量数据也会显得非常昂贵，所以周期性的收集数据遗弃一部分数据以节省空间，仅保留数据摘要(如平均值和方差)。这个问题在未来会显得更为严重，因为越来越多的数据正以越来越快的速度所产生。

三、多样(Variety)

在过去，数据或多或少是同构的，这种特点也使得它更易于管理。这种情况并不出现在大数据中，由于数据的来源各异，因此形式各异。这体现为各种不同的数据结构类型，半结构化以及完全非结构化的数据类型。结构化数据多被发现在传统数据库中，数据的类型被预定义在定长的列字段中。半结构化数据有一些结构特征，但不总是保持一致(举例来说，看一看JSON文件)，使得这种类型难以处理。更富于挑战的是非结构化数据(例如纯文本文件)毫无结构特征可言。在大数据中，更常见的是半结构化数据，而且这些数据源的数据格式还各不相同。

在过去的几年里，半结构化数据和结构化数据成为了大数据的主体数据类型。

四、准确(Veracity)

这是一个在讨论大数据时时常被忽略的一个属性，部分原因是这个属性相对来说比较新，尽管它与其他的属性同样重要。这是一个与数据是否可靠相关的属性，也就是那些在数据科学流程中会被用于决策的数据。

五、精确性与信噪比(signal-to-noiseratio)

在大数据中发现哪些数据对商业是真正有效的，这在信息理论中是个十分重要的概念。由于并不是所有的数据源都具有相等的可靠性，在这个过程中，大数据的精确性会趋于变化。如何增加可用数据的精确性是大数据的主要挑战。注意，即使有些数据拥有这4种属性中的一种或多种，也不能被归类为大数据。大数据拥有以上全部4种特性。大数据是一个重要课题，因为它并不容易处理，即使是对于一台超级计算机，也很难独自有效地展开分析。