python

python

利用mysqlbinlog闪回数据

在人工手动进行一些数据库写操作的时候（比方说数据订正），尤其是一些不可控的批量更新或删除，通常都建议备份后操作。不过不怕万一，就怕一万，有备无患总是好的。在线上或者测试环境误操作导致数据被删除或者更新后，想要恢复，一般有两种方法。 方法一、利用最近的全量备份+增量binlog备份，恢复到误操作之前的状态，但是随着数据量的增大，binlog的增多，恢复起来很费时。 方法二、如果binlog的格式为row，那么就可以将binlog解析出来生成反向的原始SQL 以下是利用方法二写的一个python脚本binlog_rollback.py，可利用此脚本生成反向的原始SQL。 说明： 0、前提是binlog的格式为row 1、要恢复的表操作前后表结构没有发生变更，否则脚本无法解析 2、只生成DML(insert/update/delete)的rollback语句 3、最终生成的SQL是逆序的，所以最新的DML会生成在输入文件的最前面，并且带上了时间戳和偏移点，方便查找目标 4、需要提供一个连接MySQL的只读用户，主要是为了获取表结构 5、如果binlog过大，建议带上时间范围，也可以

python

Python笔记----关于robots.txt

import urllib.robotparser import requests import time ''' 使用robots.txt ''' urls = ['http://www.baidu.com', 'http://www.jingdong.com'] # RobotFileParser():可以方便的判断哪些页面可以抓取，哪些页面不可以抓取 rp = urllib.robotparser.RobotFileParser() rp.set_url('https://www.baidu.com/robots.txt') rp.read() print(rp.

AI

用Python爬取淘宝4403条大裤衩数据进行分析，终于找到可以入手的那一条

用Python爬取淘宝4403条大裤衩数据进行分析，终于找到可以入手的那一条 数据获取 淘宝网站是一个ajax动态加载的网站，只能通过解析接口或用selenium自动化测试工具去爬取。关于动态网页爬虫，本公众号历史原创文章「」介绍过，感兴趣的朋友可以了解一下。 本次数据获取采用selenium，由于J哥的谷歌浏览器版本更新较快，导致原来的谷歌驱动失效。于是，我禁用了浏览器自动更新，并下载了对应版本的驱动。 浏览器驱动必须与浏览器版本匹配，否则selenium将失效，这里也给出下载链接： http://chromedriver.storage.googleapis.com/index.html 接着，J哥利用selenium在淘宝网搜索大裤衩，手机扫码登录，获得了大裤衩的商品名称、商品价格、付款人数、店铺名称、发货地址等信息。限于篇幅，爬虫代码仅给出主函数，感兴趣的朋友可以在公众号后台联系我获取。 def main(): browser.get('https://www.taobao.com/') page = search_product(key_

python

用Python分析元旦旅游景点，告诉你哪些地方性价比较高

元旦去哪里玩 数据获取 去哪儿网数据采集相对简单，找到真实url后，构造参数拼接，用request请求到json数据，以追加模式将数据存储为csv文件即可。 import requests import random from time import sleep import csv import pandas as pd from fake_useragent import UserAgent def get_data(keyword, page): ua = UserAgent(verify_ssl=False) headers = { "User-Agent": ua.random} url = f'http://piao.qunar.com/ticket/

【python教程入门学习】Python新年炫酷烟花秀代码

Pygame 绘制烟花的基本原理 烟花从发射到绽放一共分为三个阶段： 发射阶段：在这一阶段烟花的形状是线性向上，通过设定一组大小不同、颜色不同的点来模拟“向上发射” 的运动。运动过程中，5 个点被赋予不同大小的加速度，随着时间推移，后面的点会赶上前面的点，最终所有点会汇聚在一起，处于绽放准备阶段。 烟花绽放：烟花绽放这个阶段，是由一个点分散多个点向不同方向发散，并且每个点的移动轨迹需要被记录，目的是为了追踪整个绽放轨迹。 烟花凋零：此阶段负责描绘绽放后烟花的效果。绽放后的烟花，在每一时刻点的下降速度和亮度（代码中也叫透明度）是不一样的。因此在代码里，将烟花绽放后将每个点赋予两个属性：分别为重力向量和生命周期，来模拟烟花在不同时期时不同的展现效果。 完整程序代码 import pygame from random import randint, uniform, choice import math vector = pygame.math.Vector2 gravity = vector(0, 0.