# 公共包，一般情况下都有了
requests
beautifulsoup4
lxml
pymysql
cloudscraper
scrapy
sqlalchemy>=2.0.0
alembic>=1.12.0
sqlacodegen>=3.0.0

# nas 环境下，直接pip安装 scrapy 会报错，cryptography 与系统的有冲突。所以必须要在 虚拟环境下安装和运行
# apt update && apt install -y python3.12-venv  # 安装 python3.12-venv ，版本对应于 python3 --version
# python3 -m venv ~/sharedata/pyenv # 创建虚拟环境
# source ~/sharedata/pyenv/bin/activate # 激活虚拟环境
# pip install -r requirements.txt # 安装所需要的包

# 每次运行前，都要先激活虚拟环境
# source ~/sharedata/pyenv/bin/activate
# export DB_ENV=nas && scrapy crawl u3c3 -a begin='2025-11-09' -a end='2025-11-10' -s STATS_PUSH_MSG=False