TOP 3大开源Python数据分析工具！

在大数据库领域，Python是最常被使用的编程语言，因此了解与其相关的数据分析工具是很有必要的。如果你正在使用virtualenv、pyenv或其他变体在自己的环境中运行Python，那么，可以尝试本文推荐的三大开源工具。

(注：本文示例使用IPython，如果感兴趣，请确保已经安装)

$ mkdir python-big-data  
$ cd python-big-data  
$ virtualenv ../venvs/python-big-data  
$ source ../venvs/python-big-data/bin/activate  
$ pip install ipython  
$ pip install pandas  
$ pip install pyspark  
$ pip install scikit-learn  
$ pip install scipy 

本文选取的示例数据是最近几天从某网站获取的实际生产日志数据，从技术层面来看，这些数据并不能算作是大数据，因为它的大小只有大约2Mb，但就演示来说已经足够了。

如果你想获取这些示例数据，可以使用git从作者的公共GitHub存储库中下载：admintome / access-log-data

$ git clone https://github.com/admintome/access-log-data.git 

数据是一个简单的CSV文件，因此每行代表一个单独的日志，字段用逗号分隔：

2018-08-01 17:10,'www2','www_access','172.68.133.49 - - [01/Aug/2018:17:10:15 +0000] "GET /wp-content/uploads/2018/07/spark-mesos-job-complete-1024x634.png HTTP/1.0" 200 151587 "https://dzone.com/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36"' 

以下是日志行架构：

由于对数据可执行的操作的复杂性不确定，因此本文重点选取加载数据和获取数据样本两个操作来讲解三个工具。

1、Python Pandas

我们讨论的第一个工具是Python Pandas。正如它的网站所述，Pandas是一个开源的Python数据分析库。它最初由AQR Capital Management于2008年4月开发，并于2009年底开源，目前由专注于Python数据包开发的PyData开发团队继续开发和维护，属于PyData项目的一部分。Pandas最初被作为金融数据分析工具而开发出来，因此，pandas为时间序列分析提供了很好的支持。

首先，启动IPython并对示例数据进行一些操作。(因为pandas是python的第三方库所以使用前需要安装一下，直接使用pip install pandas 就会自动安装pandas以及相关组件)

import pandas as pd  
headers = ["datetime", "source", "type", "log"]  
df = pd.read_csv('access_logs_parsed.csv', quotechar="'", names=headers) 

大约一秒后，我们会收到如下回复：

[6844 rows x 4 columns]  
In [3]: 

如上所见，我们有大约7000行数据，它从中找到了四个与上述模式匹配的列。

Pandas自动创建了一个表示CSV文件的DataFrame对象，Pandas中的DataFrame数据既可以存储在SQL数据库中，也可以直接存储在CSV文件中。接下来我们使用head()函数导入数据样本。

In [11]: df.head() 
 
Out[11]: 
 
datetime source type log 
 
2018-08-01 17:10 www2 www_access 172.68.133.49 - - [01/Aug/2018:17:10:15 +0000]...  
2018-08-01 17:10 www2 www_access 162.158.255.185 - - [01/Aug/2018:17:10:15 +000...  
2018-08-01 17:10 www2 www_access 108.162.238.234 - - [01/Aug/2018:17:10:22 +000...  
2018-08-01 17:10 www2 www_access 172.68.47.211 - - [01/Aug/2018:17:10:50 +0000]... 
2018-08-01 17:11 www2 www_access 141.101.96.28 - - [01/Aug/2018:17:11:11 +0000]... 

使用Python Pandas可以做很多事情， 数据科学家通常将Python Pandas与IPython一起使用，以交互方式分析大量数据集，并从该数据中获取有意义的商业智能。

2、PySpark

我们讨论的第二个工具是PySpark，该工具来自Apache Spark项目的大数据分析库。

（编辑：帝国网站管理系统）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!