学大数据要掌握哪些知识与技能？

大数据，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

这里介绍一下大数据要学习和掌握的知识与技能：

①java：一门面向对象的计算机编程语言，具有功能强大和简单易用两个特征。

②spark：专为大规模数据处理而设计的快速通用的计算引擎。

③SSM：常作为数据源较简单的web项目的框架。

④Hadoop：分布式计算和存储的框架，需要有java语言基础。

⑤spring cloud：一系列框架的有序集合，他巧妙地简化了分布式系统基础设施的开发。

⑤python：一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。

互联网行业目前还是最热门的行业之一，学习IT技能之后足够优秀是有机会进入腾讯、阿里、网易等互联网大厂高薪就业的，发展前景非常好，普通人也可以学习。

想要系统学习，你可以考察对比一下开设有相关专业的热门学校，好的学校拥有根据当下企业需求自主研发课程的能力，建议实地考察对比一下。

祝你学有所成，望采纳。

北大青鸟学生课堂实录

大数据开发都需要掌握哪些技术知识

大数据开发是目前软件开发领域的重要技术，涉及多个技术领域和工具。以下是大数据开发需要掌握的技术知识。

首先，掌握编程语言和手撕代码是基础。Java作为大数据开发的主力编程语言，学习时应注重基础、并发、JVM等重点内容。

其次，计算机基础不可或缺。数据结构（如布隆过滤器、Bitmap、B+树、LSMTree、跳表）以及计算机网络（如TCP-IP协议、网络连接）、操作系统相关知识（如Linux基础、进程通信和线程通信、数据库范式）都是必备技能。

了解Hadoop和Spark等大数据处理框架是大数据开发的核心。需掌握MapReduce、YARN、HDFS等概念、实现和关系，以及Spark的项目机制。

在分布式和流计算方面，掌握分布式理论概念、原则以及Zookeeper、Raft等技术，同时对比Flink、Storm/Jstorm等流计算框架，了解其特色与适用场景。

存储与消息队列是大数据开发中不可或缺的部分。了解Redis、Hbase、Tair、Tbase等非关系存储系统，以及一致性哈希等概念。同时，熟悉Kafka等消息队列的基本原理、与其他MQ的比较、API的区别以及如何实现数据取用、保证ExactlyOnce和有序性。

构建数据仓库与进行数据可视化也是大数据开发的重要环节。掌握HTML5、CSS3等前端技术，以及Tableau等可视化工具的使用，了解数仓构建、分层、范式建模与维度建模的区别，熟悉星型模型和雪花模型的特点。

综上所述，大数据开发需要综合掌握编程语言、计算机基础、大数据处理框架、分布式计算、存储与消息队列、数据仓库构建与可视化等多个方面的知识，以适应大数据时代的需求。