1、掌握大数据的关键是删重和压缩技术。通常大数据集内会有70%到90%的数据简化。以PB容量计，能节约数万美元的磁盘成本。现代平台提供内联（对比后期处理）删重和压缩，大大降低了存储数据所需能力。合并Hadoop发行版 很多大型企业拥有多个Hadoop发行版本。可能是开发者需要或是企业部门已经适应了不同版本。
2、Hadoop DIStributed File System （HDFS）：允许数据在多个节点上分布存储，适合处理大量数据，提供高吞吐量和容错能力。NoSQL数据库：键值存储、文档存储、列存储和图数据库：如MongoDB、Cassandra和Redis等，专为处理大规模数据集而设计，提供灵活的数据模型和高效的查询性能。
3、存储数据仅是第一步，数据的利用更为关键。尽管通过HDFS实现了大规模数据存储，但面对庞大的数据量，单台机器的处理能力显得捉襟见肘。处理时间可能长达几周甚至更长，若数据量以T或P为单位计量，仅靠一台机器难以满足实时性要求。为解决这一问题，采用多台机器进行数据处理成为必然选择。
4、大数据存储的三种方式包括：分布式文件系统、NoSQL数据库、数据仓库。首先，分布式文件系统是大数据存储的关键方式之一。这种系统将数据分散存储在多个物理节点上，从而提高了数据的可靠性和可扩展性。Hadoop Distributed File System是分布式文件系统的代表，它是Apache Hadoop项目的一部分。
5、大数据在存储和管理时用到的关键技术主要包括：分布式存储技术：如Hadoop的HDFS，能够将数据分散地存储在多个节点上，从而实现对海量数据的处理。分布式计算框架：如Hadoop的MapReduce，能够在大量计算机集群上并行地处理大数据，实现大数据的快速分析。
Worker01：IP地址为191657，配置DataNode和NodeManager，负责数据存储和任务执行。Worker02：IP地址为191658，除了配置DataNode和NodeManager外，还增加Mysql DB，用于存储元数据。
如何搭建大数据平台 准备稳固的开发环境：选择LINUX系统作为操作系统，因为其开源特性与大数据技术相契合。安装分布式计算平台和组件：安装Hadoop集群，这是整个大数据平台的基础。安装数据导入工具：安装Sqoop，它能帮助无缝连接关系型数据库和Hadoop，实现数据的导入。
使用CDH搭建Hadoop集群环境安装CDH（Clouderas Distribution， including Apache Hadoop）2版本。准备工作包括修改文件限制、关闭防火墙、修改主机名和hosts文件、设置免密、安装JDK等。安装CDH分为安装管理平台（Cloudera Manager）和CDH parcel。在node01上安装MySQL，设置数据库，创建所需的数据库。
环境准备：操作系统：CentOS 4 64位 JDK：JDK 8 Cloudera Manager：10 服务器配置：需要准备一台CM服务器、两台Master服务器以及三台节点服务器。服务器最低要求为4核心8G内存。修改hostname：为所有节点设置唯一的hostname，例如cm、master-master-slave-slave-slave-3。
从硬件角度来看，大数据储存分析的计算资源包括了高性能计算机、大容量存储设备以及高速网络设备。高性能计算机如超级计算机，拥有强大的计算能力，能够迅速处理和分析海量的数据。大容量存储设备如分布式存储系统，可以存储数以百计甚至更多的数据，确保数据的安全与完整。
硬件设施：服务器：专门设计用于存储和处理大量数据，是大数据基础设施的核心。存储设备：包括硬盘、固态硬盘以及分布式存储系统等，用于高效、安全地存储大数据。网络设备：如交换机、路由器等，确保数据在基础设施内部及与外部网络之间的高效传输。
硬件环境要求：cpu：基础配置需满足四核处理器主频4GHz起，推荐使用intel Xeon Silver系列或同等级amd EPYC处理器，以确保处理速度和稳定性。内存：最低配置为16GB，但常规业务场景建议32GB起步，高并发场景则需配置64GB以上，以满足大数据处理和并发请求的需求。
硬件资源主要包括： 高性能计算机：如超级计算机，拥有强大的计算能力，能够迅速处理和分析海量的数据。 大容量存储设备：如分布式存储系统，可以存储大量数据，确保数据的安全与完整。 高速网络设备：保证数据在传输过程中的速度和稳定性，是大数据分析的重要基础。
