内容简介:这篇文章主要介绍了Python下载网络文本数据到本地内存的四种实现方法,涉及Python网络传输、文本读写、内存I/O、矩阵运算等相关操作技巧,代码中包含了较为详尽的注释说明便于理解,需要的朋友可以参考下
本文实例讲述了 Python 下载网络文本数据到本地内存的四种实现方法。分享给大家供大家参考,具体如下:
import urllib.request import requests from io import StringIO import numpy as np import pandas as pd ''' 下载网络文件,并导入CSV文件作为numpy的矩阵 ''' # 网络数据文件地址 url = "http://archive.ics.uci.edu/ml/machine-learning-databases/pima-indians-diabetes/pima-indians-diabetes.data" # 方法一 # ======================================================== # 下载文件 #r = urllib.request.urlopen(url) # 导入CSV文件作为numpy的矩阵 #dataset = np.loadtxt(r, delimiter=",") # 方法二 # ======================================================== # 下载文件 #r = requests.get(url) # 导入CSV文件作为numpy的矩阵 #dataset = np.loadtxt(StringIO(r.text), delimiter=",") # 此处用到 StringIO !!!!!! # 方法三 # ======================================================== #用genfromtxt直接下载网络文件,并将CSV文件导作numpy矩阵。爽!!!!!!!! #dataset = np.genfromtxt(url, delimiter=",") # 方法四 # ======================================================== # 用pandas.read_csv直接下载网络文件,并将CSV文件导作pandas.DataFrame。 # dataset = pd.read_csv('http://www-bcf.usc.edu/~gareth/ISL/Advertising.csv', index_col=0) dataset = pd.read_csv(url) # ======================================================== # separate the data from the target attributes X = dataset[:,0:7] y = dataset[:,8] print(X) #print(y)
更多关于Python相关内容感兴趣的读者可查看本站专题:《Python进程与线程操作技巧总结》、《Python Socket编程技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》
希望本文所述对大家Python程序设计有所帮助。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网
猜你喜欢:本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
精通数据科学:从线性回归到深度学习
唐亘 / 人民邮电出版社 / 2018-5-8 / 99.00元
数据科学是一门内涵很广的学科,它涉及到统计分析、机器学习以及计算机科学三方面的知识和技能。本书深入浅出、全面系统地介绍了这门学科的内容。 本书分为13章,最初的3章主要介绍数据科学想要解决的问题、常用的IT工具Python以及这门学科所涉及的数学基础。第4-7章主要讨论数据模型,主要包含三方面的内容:一是统计中最经典的线性回归和逻辑回归模型;二是计算机估算模型参数的随机梯度下降法,这是模型工......一起来看看 《精通数据科学:从线性回归到深度学习》 这本书的介绍吧!