影雀丨个人博客站点

数据存储-文本类型

发布时间丨2023-02-25 11:41:50作者丨zhaomeng浏览丨0

本篇博客将介绍文本数据的存储方式以及相关的注意事项，主要涉及以下内容：

文本数据存储格式
常用的文本数据存储方式
文本数据存储的注意事项

1. 文本数据存储格式

文本数据可以保存成各种不同的文件格式，其中最常见的包括：

纯文本格式：纯文本格式文件只包含了字符信息，没有任何样式和格式。例如：.txt 文本文件、Markdown 格式文件等。
标记语言格式：标记语言格式文件可以包含一些格式信息，用于表现出部分文本信息的样式。例如：HTML、XML、JSON 等。
二进制格式：二进制格式文件包含了经过编码的二进制数据，在处理上比文本格式更灵活。例如：DOC、PDF 等。

选择存储格式应根据所需数据的实际情况进行权衡和选择。

2. 常用的文本数据存储方式

到了存储时，我们可以使用多种不同的文本数据存储方式，例如：

2.1 文本文件

文本文件是最基本的文本数据存储方式之一。它通常以 ASCII 编码或 Unicode 编码形式表示，可以通过文本编辑器打开并编辑，支持使用常用的文本存储格式，如纯文本格式、Markdown 格式等。

在 Python 中，可以使用内置的 open 函数对文本文件进行读写操作，示例代码如下：

# 写入文件
with open('data.txt', mode='w', encoding='utf-8') as f:
    f.write('Hello, world!')

# 读取文件
with open('data.txt', mode='r', encoding='utf-8') as f:
    data = f.read()
    print(data)    # 输出 'Hello, world!'

2.2 CSV 文件

CSV（Comma-Separated Values）格式是一种常用的标记语言格式，特点是将数据值和字段标题等信息组合成一个表格形式的文本文件，不同的值之间以逗号分隔。它适用于存储简单的结构化数据，例如电子表格中所存储的数据。

Python 中可以使用内置的 csv 库来读写 CSV 文件，示例代码如下：

import csv

with open('example.csv', mode='rt') as f:
    reader = csv.reader(f)
    for row in reader:
        print(row)

2.3 JSON 文件

JSON（JavaScript Object Notation）格式是一种轻量级的数据交换格式，其结构与 Python 中的字典和列表类似，具有可读性强、易于解析和生成的特点，并且支持多种编程语言。因此，在一些需要高度自动化数据处理的场合中，JSON 格式相对更为普遍。

在 Python 中，可以使用内置的 json 库来读写 JSON 文件，示例代码如下：

import json

with open('example.json', mode='r') as f:
    json_data = json.load(f)

3. 文本数据存储的注意事项

在将文本数据存储到文件时，需要注意以下几点：

3.1 编码问题

不同的编码会影响读写文件时所出现的乱码情况或者是字符显示不正常，可能会导致数据信息的丢失或错误。因此，在存储文本数据时，应确保选择正确的编码方式，例如 UTF-8 等。

3.2 数据格式问题

存储文本数据时需要注意数据的格式问题，例如 CSV 文件中字段数量必须一致，JSON 格式需要保证 key 和 value 的一一对应等。否则，读写时可能会发生解析错误或数据丢失等问题。

3.3 存储路径

存储文本数据需要指定文件的存储路径，此处需要遵循操作系统文件系统的规则，例如 Windows 中的“\”而在 Linux 和 macOS 中使用的则是正斜杠 "/"。

为了让代码跨平台运行，可以使用 Python 内置的 os 模块中的 path 模块来处理文件路径。比如，可以使用 os.path.join 函数拼接文件路径，os.path.normpath 函数来规范化文件路径。例如：

import os

# 拼接文件路径
file_path = os.path.join("home", "user", "data.txt")
print(file_path)

# 规范化文件路径
file_path = "/home/user/./data.txt"
normalized_path = os.path.normpath(file_path)
print(normalized_path)

在上面的例子中，我们首先使用 os.path.join 函数拼接出一个 Unix 系统下的文件路径，在 Windows 也可以使用这个语句，同时也能够避免因不同操作系统带来的路径符号的差异。然后，我们演示了如何使用 os.path.normpath 函数将一个给定的路径规范化，去掉其中的 ".." 或 "." 等冗余符号。

需要注意的是，对于某些涉及与平台无关的文件或目录选择（如用户家目录等），可以使用 pathlib 模块进行更加简洁、可读性和安全性更高的实现。