【第9周笔记】计算生态纵览
课程笔记
从数据处理到人工智能
数据表示 → 数据清洗 → 数据统计 → 数据可视化 → 数据挖掘 → 人工智能
- 数据表示：采用合适方式用程序表达数据
- 数据清理：数据归一化、数据转换、异常值处理
- 数据统计：数据的概要理解，数量、分布、中位数等
- 数据可视化：直观展示数据内涵的方式
- 数据挖掘：从数据分析获得知识，产生数据外的价值
- 人工智能：数据/语言/图像/视觉等方面深度分析与决策
Python 库之数据分析
- Numpy：表达 N 维数组的最基础库
- Python 接口使用，C 语言实现，计算速度优异
- Python 数据分析及科学计算的基础库，支撑 Pandas 等
- 提供直接的矩阵运算、广播函数、线性代数等功能
- Pandas：Python 数据分析高层次应用库
- Series = 索引 + 一维数据
- DataFrame = 行列索引 + 二维数据
- SciPy：数学、科学和工程计算功能库
- 提供了一批数学算法及工程数据运算功能
- 类似 Matlab，可用于如傅里叶变换、信号处理等应用
- Python 最主要的科学计算功能库，基于 Numpy 开发
- 稀疏图压缩类、稀疏运算类、优化算法类、傅里叶变换类、信号处理类、线性代数类、图像处理类
Python 库之数据可视化
- Matplotlib：高质量的二维数据可视化功能库
- 提供了超过 100 种数据可视化展示效果
- 通过 matplotlib.pyplot 子库调用各可视化效果
- Python 最主要的数据可视化功能库，基于 Numpy 开发
- Seaborn：统计类数据可视化功能库
- 提供了一批高层次的统计类数据可视化展示效果
- 主要展示数据间分布、分类和线性关系等内容
- 基于 Matplotlib 开发，支持 Numpy和Pandas
- Mayavi：三维科学数据可视化功能库
-提供了一批简单易用的 3D 科学计算数据可视化展示效果
- 目前版本是 Mayavi2，三维可视化最主要的第三方库
- 支持 Numpy、TVTK、Traits、Envisage 等第三方库
Python 库之文本处理
- PyPDF2：用来处理 pdf 文件的工具集
- 提供了一批处理 PDF 文件的计算功能
- 支持获取信息、分隔/整合文件、加密解密等
- 完全 Python 语言实现，不需要额外依赖，功能稳定
from PyPDF2 import PdfFileReader, PdfFileMerger merger = PdfFileMerger() input1 = open("document1.pdf", "rb") input2 = open("document2.pdf", "rb") merger.append(fileobj = input1, pages = (0,3)) merger.merge(position = 2, fileobj = input2, pages = (0,1)) output = open("document-output.pdf", "wb") merger.write(output) - NLTK：自然语言文本处理第三方库
- 提供了一批简单易用的自然语言文本处理功能
- 支持语言文本分类、标记、语法句法、语义分析等
- 最优秀的 Python 自然语言处理库
from nltk.corpus import treebank t = treebank.parsed_sents('wsj_0001.mrg')[0] t.draw() - Python-docx：创建或更新 Microsoft Word 文件的第三方库
- 提供创建或更新 .doc .docx 等文件的计算功能
- 增加并配置段落、图片、表格、文字等，功能全面
from docx import Document document = Document() document.add_heading('Document Title', 0) p = document.add_paragraph('A plain paragraph having some ') document.add_page_break() document.save('demo.docx')
Python 库之机器学习
- Scikit-learn：机器学习方法工具集
- 提供一批统一化的机器学习方法功能接口
- 提供聚类、分类、回归、强化学习等计算功能
- 机器学习最基本且最优秀的 Python 第三方库
- TensorFlow：AlphaGo 背后的机器学习计算框架
- 谷歌公司推动的开源机器学习框架
- 将数据流图作为基础，图节点代表运算，边代表张量
- 应用机器学习方法的一种方式，支撑谷歌人工智能应用
import tensorflow as tf init = tf.global_variables_initializer() sess = tf.Session() sess.run(init) res = sess.run(result) print('result:', res) - MXNet：基于神经网络的深度学习计算框架
- 提供可扩展的神经网络及深度学习计算功能
- 可用于自动驾驶、机器翻译、语音识别等众多领域
- Python 最重要的深度学习计算框架
Python 库之网络爬虫
- Requests：最友好的网络爬虫功能库
- 提供了简单易用的类 HTTP 协议网络爬虫功能
- 支持连接池、SSL、Cookies、HTTP(S) 代理等
- Python 最主要的页面级网络爬虫功能库
import requests r = requests.get('https://api.github.com/user',auth=('user', 'pass')) r.status_code r.headers['content-type'] r.encoding r.text - Scrapy：优秀的网络爬虫框架
- 提供了构建网络爬虫系统的框架功能，功能半成品
- 支持批量和定时网页爬取、提供数据处理流程等
- Python 最主要且最专业的网络爬虫框架
- pyspider：强大的 Web 页面爬取系统
- 提供了完整的网页爬取系统构建功能
- 支持数据库后端、消息队列、优先级、分布式架构等
- Python 重要的网络爬虫类第三方库
Python 库之 Web 信息提取
- Beautiful Soup: HTML 和 XML 的解析库
- 提供了解析 HTML 和 XML 等 Web 信息的功能
- 又名 beautifulsoup4 或 bs4，可以加载多种解析引擎
- 常与网络爬虫库搭配使用，如 Scrapy、requests 等
- Re：正则表达式解析和处理功能库
- 提供了定义和解析正则表达式的一批通用功能
- 可用于各类场景，包括定点的 Web 信息提取
- Python 最主要的标准库之一，无需安装
- Python-Goose：提取文章类型 Web 页面的功能库
- 提供了对 Web 页面中文章信息/视频等元数据的提取功能
- 针对特定类型 Web 页面，应用覆盖面较广
- Python 最主要的 Web 信息提取库
from goose import Goose url = 'http://www.elmundo.es/elmundo/2012/10/28/espana/1351388909.html' g = Goose({'use_meta_language': False, 'target_language':'es'}) article = g.extract(url=url) article.cleaned_text[:150]
Python 库之 Web 网站开发
- Django：最流行的 Web 应用框架
- 提供了构建 Web 系统的基本应用框架
- MTV 模式：模型（model）、模板（Template）、视图（Views）
- Python 最重要的 Web 应用框架，略微复杂的应用框架
- Pyramid：规模适中的 Web 应用框架
- 提供了简单方便构建 Web 系统的应用框架
- 不大不小，规模适中，适合快速构建并适度扩展类应用
- Python 产品级 Web 应用框架，起步简单可扩展性好
from wsgiref.simple_server import make_server from pyramid.config import Configurator from pyramid.response import Response def hello_world(request): return Response('Hello World!') if __name__ == '__main__': with Configurator() as config: config.add_route('hello', '/') config.add_view(hello_world, route_name='hello') app = config.make_wsgi_app() server = make_server('0.0.0.0', 6543, app) server.serve_forever() - Flask：Web 应用开发微框架
- 提供了最简单构建 Web 系统的应用框架
- 特点是：简单、规模小、快速
- Django > Pyramid > Flask
from flask import Flask app = Flask(__name__) @app.route('/') def hello_world(): return 'Hello, World!'
Python 库之网络应用开发
- WeRoBot：微信公众号开发框架
- 提供了解析微信服务器消息及反馈消息的功能
- 建立微信机器人的重要技术手段
import werobot robot = werobot.WeRoBot(token='tokenhere') @robot.handler def hello(message): return 'Hello World!' # 对微信每个消息反馈一个 Hello World - aip：百度 AI 开放平台接口
- 提供了访问百度 AI 服务的 Python 功能接口
- 语音、人脸、OCR、NLP、知识图谱、图像搜索等领域
- Python 百度 AI 应用的最主要方式
- MyQR：二维码生成第三方库
- 提供了生成二维码的系列功能
- 基本二维码、艺术二维码和动态二维码
Python 库之图形用户界面
- PyQt5：Qt 开发框架的 Python 接口
- 提供了创建 Qt5 程序的 Python API 接口
- Qt 是非常成熟的跨平台桌面应用开发系统，完备 GUI
- 推荐的 Python GUI 开发第三方库
- wxPython：跨平台 GUI 开发框架
- 提供了专用于 Python 的跨平台 GUI 开发框架
- 理解数据类型与索引的关系，操作索引即操作数据
- Python 最主要的数据分析功能库，基于 Numpy 开发
import wx app = wx.App(False) frame = wx.Frame(None, wx.ID_ANY, "Hello World") frame.Show(True) app.MainLoop() - PyGObject：使用 GTK+ 开发 GUI 的功能库
- 提供了整合 GTK+、WebKitGTK+ 等库的功能
- GTK+：跨平台的一种用户图形界面 GUI 框架
- 实例：Anaconda 采用该库构建 GUI
import gi gi.require_version("Gtk", "3.0") from gi.repository import Gtk window = Gtk.Window(title="Hello World") window.show() window.connect("destroy", Gtk.main_quit) Gtk.main()
Python 库之游戏开发
- PyGame：简单的游戏开发功能库
- 提供了基于 SDL 的简单游戏开发功能及实现引擎
- 理解游戏对外部输入的响应机制及角色构建和交互机制
- Python 游戏入门最主要的第三方库
- Panda3D：开源、跨平台的 3D 渲染和游戏开发库
- 一个 3D 游戏引擎，提供 Python 和 C++ 两种接口
- 支持很多先进特性：法线贴图、光泽贴图、卡通渲染等
- 由迪士尼和卡尼基梅隆大学共同开发
- cocos2d：构建 2D 游戏和图形界面交互式应用的框架
- 提供了基于 OpenGL 的游戏开发图形渲染功能
- 支持 GPU 加速，采用树形结构分层管理游戏对象类型
- 适用于 2D 专业级游戏开发
Python 库之虚拟现实
- VR Zero：在树莓派上开发 VR 应用的 Python 库
- 提供大量与 VR 开发相关的功能
- 针对树莓派的 VR 开发库，支持设备小型化，配置简单化
- 非常适合初学者实践 VR 开发及应用
- pyovr：Oculus Rift 的 Python 开发接口
- 针对 Oculus VR 设备的 Python 开发库
- 基于成熟的 VR 设备，提供全套文档，工业级应用设备
- Python+ 虚拟现实领域探索的一种思路
- Vizard：基于 Python 的通用 VR 开发引擎
- 专业的企业级虚拟现实开发引擎
- 提供详细的官方文档
- 支持多种主流的VR硬件设备，具有一定通用性
Python 库之图形艺术
- Quads：迭代的艺术
- 对图片进行四分迭代，形成像素风
- 可以生成动图或静图图像
- 简单易用，具有很高展示度
- ascii_art：ASCII 艺术库
- 将普通图片转为 ASCII 艺术风格
- 输出可以是纯文本或彩色文本
- 可采用图片格式输出
- turtle：海龟绘图体系