博客主页 | 一兜小白菜

项目名称

项目详细描述

链接名称

链接详细描述

书籍名称

书籍详细描述

文章名称

文章详细描述

伙伴名称

伙伴详细介绍

发票网爬虫

介绍

做这个项目的灵感，来自于我任职的上一家公司的一个OA流程的报销需求，那时候公司在大力推广自研 OA，使用 OA 流程替换以前的邮件通知（当时我们的报销流程是直接通过线上邮件的方式发送给上级，由上级统一审批之后再通过邮件往下走，在使用了 OA 流程之后，这个过程变得很简单）。当时做这个需求的时候，需要对上传的发票进行识别（获取发票抬头、发票代码、发票号码，开票日期、消费项、总金额等）和验证（验证发票是否伪造）。

对于识别部分，我们是没有办法自己做的，所以使用了云厂商提供的 OCR 识别服务；验证部分，我们准备编写爬虫来实现，但对网站的源代码和接口进行了分析之后，发现该网站的源代码全部做了混淆（js混淆），而且还有我们常见的图片验证码。最终这个需求里面的识别和查验全使用的云厂商提供的 API 服务。

Owen大约 46 分钟

验证码生成

使用 Pillow 库生成验证码

pip install pillow

Owen大约 14 分钟

学习率调度策略

余弦衰减（Cosine Decay）

📌 适用于：长时间训练，避免学习率下降过快，提高最终收敛性能。

import paddle

# 初始学习率
initial_lr = 0.1
# 总训练步数
total_steps = 10000

# 余弦衰减
lr_scheduler = paddle.optimizer.lr.CosineAnnealingDecay(learning_rate=initial_lr, T_max=total_steps)

# 绑定到优化器
optimizer = paddle.optimizer.Adam(learning_rate=lr_scheduler, parameters=model.parameters())

Owen大约 3 分钟

SSL 证书安装部署

参考: Nginx 服务器 SSL 证书安装部署（Linux）

server {
    listen       80;
    listen  [::]:80;
    server_name  example.com;

    #将http的域名请求转成https
    return 301 https://$host$request_uri;
}

server {
	listen		80;
	listen 		[::]:80;
	server_name 	xxx.example.com;

  #将http的域名请求转成https
  return 301 https://$host$request_uri;
}

server {
     #SSL 默认访问端口号为 443
     listen 443 ssl;
     #请填写绑定证书的域名
     server_name example.com;
     #请填写证书文件的相对路径或绝对路径
     ssl_certificate /etc/nginx/conf.d/example.com_bundle.crt;
     #请填写私钥文件的相对路径或绝对路径
     ssl_certificate_key /etc/nginx/conf.d/example.com.key;
     ssl_session_timeout 5m;
     #请按照以下协议配置
     ssl_protocols TLSv1.2 TLSv1.3;
     #请按照以下套件配置，配置加密套件，写法遵循 openssl 标准。
     ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:HIGH:!aNULL:!MD5:!RC4:!DHE;
     ssl_prefer_server_ciphers on;

     location / {
         root   /usr/share/nginx/html;
         index  index.html index.htm;
     }

     location /xxx {
         alias  /usr/share/nginx/xxx;
         index  index.html;
     }

     error_page   500 502 503 504  /50x.html;
     location = /50x.html {
         root   /usr/share/nginx/html;
     }
 }

 server {
      #SSL 默认访问端口号为 443
      listen 443 ssl;
      # 开启 http2
      http2 on;
      #请填写绑定证书的域名
      server_name xxx.example.com;
      #请填写证书文件的相对路径或绝对路径
      ssl_certificate /etc/nginx/conf.d/xxx.example.com_bundle.crt;
      #请填写私钥文件的相对路径或绝对路径
      ssl_certificate_key /etc/nginx/conf.d/xxx.example.com.key;
      ssl_session_timeout 5m;
      #请按照以下协议配置
      ssl_protocols TLSv1.2 TLSv1.3;
      #请按照以下套件配置，配置加密套件，写法遵循 openssl 标准。
      ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:HIGH:!aNULL:!MD5:!RC4:!DHE;
      ssl_prefer_server_ciphers on;

      root 	/usr/share/nginx/xxx;

      location / {
        index index.html;
      }
  }

Owen大约 1 分钟

HTTP2

HTTP/2（超文本传输协议第2版，最初命名为HTTP 2.0），简称为h2（基于TLS/1.2或以上版本的加密连接）或h2c（非加密连接）， HTTP/2 是 HTTP 协议的第二个主要版本，用于在 Web 服务器和客户端之间传输数据。

HTTP/2 是 HTTP 协议自 1999 年 HTTP 1.1 的改进版 RFC 发布后的首个更新，主要基于 SPDY 协议。

多数主流浏览器已经在 2015 年底支持了该协议。

HTTP/2是一种网络协议，是HTTP/1.1的升级版，由IETF在2015年发布。HTTP/2旨在提高Web性能，减少延迟，增加安全性，使Web应用更加快速、高效和可靠。

Owen大约 3 分钟