大数据技术:23 种 Pandas 核心操作
60 2018-08-28

  一般而言,Pandas是使Python成为强大而高效的数据分析环境的重要因素之一。Pandas是基于NumPy构建的库,在数据处理方面可以把它理解为NumPy加强版,同时Pandas也是一项开源项目。基于Cython,因此读取与处理数据非常快,并且还能轻松处理浮点数据中的缺失数据(表示为NaN)以及非浮点数据。在本文中从基本数据集读写、数据处理和DataFrame操作三个角度展示了23个Pandas核心方法。

  (1)读取CSV格式的数据集

  pd.DataFrame.from_csv(“csv_file”)

  或者:

  pd.read_csv(“csv_file”)

  (2)读取Excel数据集

  pd.read_excel("excel_file")

  (3)将DataFrame直接写入CSV文件

  如下采用逗号作为分隔符,且不带索引:

  df.to_csv("data.csv",sep=",",index=False)

  (4)基本的数据集特征信息

  df.info()

  (5)基本的数据集统计信息

  print(df.describe())

  (6)Printdataframeinatable

  将DataFrame输出到一张表:

  print(tabulate(print_table,headers=headers))

  当「print_table」是一个列表,其中列表元素还是新的列表,「headers」为表头字符串组成的列表。

  (7)列出所有列的名字

  df.columns

  基本数据处理

  (8)删除缺失数据

  df.dropna(axis=0,how='any')

  返回一个DataFrame,其中删除了包含任何NaN值的给定轴,选择how=「all」会删除所有元素都是NaN的给定轴。

  (9)替换缺失数据

  df.replace(to_replace=None,value=None)

  使用value值代替DataFrame中的to_replace值,其中value和to_replace都需要我们赋予不同的值。

  (10)检查空值NaN

  pd.isnull(object)

  检查缺失值,即数值数组中的NaN和目标数组中的None/NaN。

  (11)删除特征

  df.drop('feature_variable_name',axis=1)

  axis选择0表示行,选择表示列。

  (12)将目标类型转换为浮点型

  pd.to_numeric(df["feature_name"],errors='coerce')

  将目标类型转化为数值从而进一步执行计算,在这个案例中为字符串。

  (13)将DataFrame转换为NumPy数组

  df.as_matrix()

  (14)取DataFrame的前面「n」行

  df.head(n)

  (15)通过特征名取数据

  df.loc[feature_name]

  DataFrame操作

  (16)对DataFrame使用函数

  该函数将令DataFrame中「height」行的所有值乘上2:

  df["height"].apply(lambdaheight:2*height)

  或:

对 DataFrame 使用函数.jpg

  (17)重命名行

  下面代码会重命名DataFrame的第三行为「size」:

  df.rename(columns={df.columns[2]:'size'},inplace=True)

  (18)取某一行的唯一实体

  下面代码将取「name」行的唯一实体:

  df["name"].unique()

  (19)访问子DataFrame

  以下代码将从DataFrame中抽取选定了的行「name」和「size」:

  new_df=df[["name","size"]]

  (20)总结数据信息

总结数据信息.jpg

  (21)给数据排序

  df.sort_values(ascending=False)

  (22)布尔型索引

  以下代码将过滤名为「size」的行,并仅显示值等于5的行:

  df[df["size"]==5]

  (23)选定特定的值

  以下代码将选定「size」列、第一行的值:

  df.loc([0],['size'])

推荐阅读: Spark开发调优性能优化(基础篇)

现在预报名
顶部