今天需要处理几个比较大的 txt 文件,每个文件都在 2GB 以上,直接用 Excel 将其转换成 csv 文件显然是不太可行的,于是用 Python 中的数据处理神器 Pandas,三行代码就能搞定,在此记录,希望对大家也有所帮助。csv 文件在数据处理时候比较方便,一般我们都会使用 csv 格式做进一步处理,而不是直接使用 txt。转换主要使用的是 Pandas 中的 read_csv()
和 to_csv()
这两个方法,非常简单,一起来看一下。
一、Python 安装 Pandas
如果你还没有安装 Pandas,使用下面的命令就能安装。如果你已经安装,可以跳过这个步骤。
pip install pandas
(pip 或者 pip3 根据你自己使用的 Python 版本来定)
二、Pandas 将 txt 文件转换成 csv 文件
三行代码如下:
import pandas as pd df = pd.read_csv("test.txt",delimiter="\t") df.to_csv("test.csv", encoding='utf-8', index=False)
第一行引入 Pandas,第二行读取 txt 文件,第三行写入 csv 文件,就这么简单。
上面的 delimiter="\t"
意思是以 tab 为分隔符,如果以其他为分隔符,自己替换即可。
唯一需要改的就是读取的 txt 文件的文件名和需要创建的 csv 文件的文件名。
如果需要批量处理,加个 for 循环即可。
参考:《How to convert a tab delimited text file to a csv file in Python》。