硬盘存储：硬盘作为计算机的主要存储介质，包括机械硬盘、固态硬盘和混合硬盘等类型，它们能够存储各类数据，如文档、图片、音频和视频等。 磁带存储：磁带是一种顺序访问存储设备，数据按顺序存储在磁带上。这种存储方式通常用于大数据的备份和长期存档。
HBase：基于HDFS，支持海量数据读写（尤其是写），支持上亿行、上百万列的，面向列的分布式NoSql数据库。天然分布式，主从架构，不支持事务，不支持二级索引，不支持sql。
仓库存储：大数据似乎难以管理，就像一个永无休止统计数据的复杂的漩涡。因此，将信息精简到单一的公司位置似乎是明智的，这是一个仓库，其中所有的数据和服务器都可以被充分地规划指定。然而，有些报告指出了反对这种方法的论据，指出即使是最大的存储中心，大数据的指数增长也不再能维持。
在云端进行数据信息的操作处理主要可通过差异化存储、分散存储、分离存储方式来实现数据的存储安全。差异化存储 首先可以对数据先进行分类，再对已分类的一般数据、常用数据、重要数据实施差异保存，并存储在不同位置，权限也根据用户具体的角色或基于新一代的。
硬盘存储：硬盘作为计算机的主要存储介质，包括机械硬盘、固态硬盘和混合硬盘等类型，它们能够存储各类数据，如文档、图片、音频和视频等。 磁带存储：磁带是一种顺序访问存储设备，数据按顺序存储在磁带上。这种存储方式通常用于大数据的备份和长期存档。
磁带存储：磁带是一种顺序存储设备，它可以将数据按照顺序依次存储在磁带上。磁带存储通常用于大规模的数据备份和存档。光盘存储：光盘是一种光学存储介质，它可以存储各种类型的数据，包括文档、图片、音频、视频等。光盘的容量相对较小，通常用于存储小规模的数据。
分散存储 利用已有的云存储技术，将数据块分散在多个位置上。采用分散保存的方式，不仅能保证其实用性，而且在一定程度上也提高了其安全性。
1、对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。
2、大数据量提交可能会造成系统瘫痪，所以不建议这样做。如果有需要，可以在导出insert语句的时候分批次commit（提交）。
3、Oracle的分区表可以包括多个分区，每个分区都是一个独立的段（SEGMENT），可以存放到不同的表空间中。查询时可以通过查询表来访问各个分区中的数据，也可以通过在查询时直接指定分区的方法来进行查询。
4、可以一句 merge 语句就处理掉的。那么当然优先使用 merge 处理比较好。假如业务逻辑很复杂， 一句 merge 语句无法处理。迫不得已，只能使用 游标处理的。
5、删除字段是把表中的字段去掉还是把表中该列的值修改为空？前者是DDL语句，用alter table table_name drop column colname 的方式执行，是DDL 语句，执行很快；后者只能用update table_name t set t.colname = 的方式进行，没有where 字句，一般是全表扫描。
6、根据每一个过程的特点，我们可以将数据治理流程总结为四个字，即“理”、“采”、“存”、“用”。
数据仓库 。通过对数据的 存储、校准、整合及输出 ，对数据进行集中分层次管理，在保证数据时效性、生态性的同时，还能够对数据完成不同程度的处理。
CDP（Customer Data Platform）指的就是跨平台收集和整合客户数据的公共数据平台，CDP可以收集实时数据，并且将其构建成单独的，集中的客户档案。CDP的存在是由于客户数据和营销运营都不可或缺。那么究竟什么是客户数据呢？ 什么是客户数据 客户数据主要有四种。
针对这些问题，一方面公司对业务系统数据现状进行详细分析，针对数量庞大的历史数据，基于大数据平台开展历史数据归档，不断提升系统访问效率，节约系统存储成本；另一方面，针对业务系统架构进行分析，在可能引起系统访问瓶颈的地方引入大数据技术加以解决。 安全性则是挖掘电网大数据价值的另一个不容忽视的方面。
1、目前，大数据的安全存储采用虚拟化海量存储技术来存储数据资源，涉及数据传输、隔离、恢复等问题。解决大数据的安全存储，一是数据加密。
2、分散存储 利用已有的云存储技术，将数据块分散在多个位置上。采用分散保存的方式，不仅能保证其实用性，而且在一定程度上也提高了其安全性。
3、数据挖掘：目前需要改进现有的数据挖掘和机器学习技术；开发数据网络挖掘、特殊群挖掘、图挖掘等新的数据挖掘技术；突破基于对象的数据连接、相似性连接等大数据融合技术；突破面向领域的大数据挖掘技术如用户兴趣分析、网络行为分析、情感语义分析等挖掘技术。 模型预测：预测模型、机器学习、建模与仿真。
4、方法如下：大数据安全防护要“以数据为中心”、“以技术为支撑”、“以管理为手段”，聚焦数据体系和生态环境，明确数据来源、组织形态、路径管理、应用场景等，围绕大数据采集、传输、存储、应用、共享、销毁等全过程，构建由组织管理、制度规程、技术手段组成的安全防护体系，实现大数据安全防护的闭环管理。
1、行式存储（OLTP），如同积木般按行堆积，适用于频繁的写入操作，如关系型数据库。而列式存储（OLAP）则以列为主导，便于数据分析，特别适合读取密集型场景，比如数据仓库（DW）和数据湖（DA）。为了兼顾不同查询性能，我们还引入了混合存储，巧妙融合了两者的优势，以适应各种查询需求。
2、rar是一种常见的压缩格式，而且，rar是一种专利文件格式，是由俄罗斯人尤金·罗谢尔开发，主要用于数据压缩和归档打包方面，rar的全称为“Roshal ARchive”，翻译为中文就是“罗谢尔的归档之意”。相比于另一种常见的压缩格式zip，rar压缩格式有着更高的压缩比，但也存在着压缩和解压速度较慢的特点。
3、本文介绍的4种大数据存储格式，2个是行式存储，2个是列式存储，但我们可以看到一个共同点：它们都是支持分割的。这是大数据文件结构体系中一个非常重要的特点， 因为可分割使一个文件可以被多个节点并发处理，提高数据的处理速度 。
4、CSV。大数据格式有哪些——CSV。CSV（Comma-SeparatedValues，逗号分隔值）文件，通常被用于在使用纯文本的系统之间，交换表格类型的数据。CSV是一种基单个CSV文件往往无法显示层次化的结构、或数据关系。而具体的数据连接关系往往需要通常多个CSV文件进行组织。
5、zst格式是一种用于压缩数据的文件格式。它是由RUST语言编写的，使用了一种新颖的压缩算法——zstd，是目前迄今为止最快的压缩算法之一。与其他压缩算法相比，它可以在保持数据质量的同时，显著降低数据的大小。zst格式可用于各种类型的数据压缩，包括文本文件、图像文件、音频文件和视频文件。
6、后面会给出测试的脚本，大家可以结合自己的表数据自行测试。