Python网络爬虫与文本数据分析(视频课)

第一部分 Python基础(2小时)

python跟英语一样也是一种语言

环境配置

jupyter notebook使用方法

数据类型-list、str、dict、tuple、set

for循环、if逻辑

try-except

常用函数

常用库

pip安装问题解决办法

常见错误

第二部分 网络爬虫(2小时)

网络爬虫原理

开发者 工具 使用

数据抓包

requests库

pyquery库

元素（数据）定位

数据存储（txt，csv）

案例1：天涯论坛

案例2：大众点评‍

案例3：BOSS直聘

案例4：百度企业信用

案例5：京东评论

案例6：网页上的表格数据

案例7：B站弹幕数据、评论数据

案例8: 从浪潮咨询批量下载上市公司公告pdf文件

第三部分 文本分析入门(2小时)

文本分析应用场景

txt、pdf、word等类型文件的数据读取

中文分词-jieba库

可视化-pyecharts库

英文通用情感词库-Harvard-IV4

英文金融会计领域情感词库Loughran&MCdonald

常见的中文情感词典

中文情感词典的构建及使用

数据分析-pandas库

案例1-词频统计

案例2-制作词云图

案例3-海量公司年报文本分析

案例4-使用情感词典进行情感计算

第四部分 文本分析进阶(2小时)

什么是机器学习

监督学习与非监督学习

使用机器学习进行文本分析的步骤

表达文本数据信息的方式（独热编码、词袋法、TF-IDF）

文本可读性计算

公司年报信息含量(标准信息与特有信息)计算思路

理解特征矩阵、语料、文档、特征

机器学习库-sklearn语法学习

了解协同过滤-推荐系统

案例1-在线评论情感分析

案例2-文本分类

案例3-LDA话题模型

案例4-计算消费者异质性信息

了解文本分析在经管研究中使用情况，可以参考

• 沈艳,陈赟,黄卓．文本大数据分析在经济学和金融学中的应用：一个文献综述[EB/OL].http://www.ccer.pku.edu.cn/yjcg/tlg/242968.htm,2018-11-19

• Berger, Jonah, Ashlee Humphreys, Stephan Ludwig, Wendy W. Moe, Oded Netzer, and David A. Schweidel. "Uniting the tribes: Using text for marketing insight." Journal of Marketing (2019): 0022242919873106.

• Loughran T, McDonald B. Textual analysis in accounting and finance: A survey[J]. Journal of Accounting Research, 2016, 54(4): 1187-1230. Author links open overlay panelComputational socioeconomics

• 孟庆斌, 杨俊华, 鲁冰. 管理层讨论与分析披露的信息含量与股价崩盘风险——基于文本向量化方法的研究[J]. 中国工业经济, 2017 (12): 132-150.

• Cohen, Lauren, Christopher Malloy, and Quoc Nguyen. Lazy prices. No. w25084. National Bureau of Economic Research, 2018.

• 王伟,陈伟,祝效国,王洪伟. 众筹融资成功率与语言风格的说服性-基于Kickstarter的实证研究.管理世界.2016;5:81-98.

• Hansen S, McMahon M. Shocking language: Understanding the macroeconomic effects of central bank communication[J]. Journal of International Economics, 2016, 99: S114-S133.

• Wang, Quan, Beibei Li, and Param Vir Singh. "Copycats vs. Original Mobile Apps: A Machine Learning Copycat-Detection Method and Empirical Analysis." Information Systems Research 29.2 (2018): 273-291.