from datetime import datetime import pymysql from dotenv import load_dotenv import os import oss2 from PIL import Image # ---------------------- OSS 配置项 ---------------------- OSS_ACCESS_KEY_ID = 'LTAI5tDwjfteBvivYN41r8sJ' OSS_ACCESS_KEY_SECRET = 'yowuOGi2nYYnrqGpO3qcz94C4brcPp' OSS_ENDPOINT = "oss-cn-shenzhen.aliyuncs.com" OSS_BUCKET_NAME = "zhijiayun-jiansuo" OSS_PREFIX = "scrape_data/" # 本地截图配置 LOCAL_SCREENSHOT_DIR = "local_screenshots" # 本地截图保存目录 LOCAL_SCREENSHOT_NAME = None # 自动生成文件名，无需手动指定 LOCAL_CROPPED_DIR = "./local_cropped_screenshots" # 裁剪后图片保存目录 # 图片压缩配置 IMAGE_COMPRESS_ENABLE = True # 是否开启图片压缩（True=开启，False=关闭） IMAGE_COMPRESS_QUALITY = 30 # jpg/jpeg格式压缩质量（1-95，数值越大画质越好，文件越大，推荐80-90） IMAGE_COMPRESS_PNG_LEVEL = 9 # png格式压缩级别（0-9，数值越大压缩率越高，速度越慢，推荐5-7） # ---------------------- 工具函数 ---------------------- def init_local_screenshot_dir(): """ 初始化本地截图目录（如果不存在则创建） """ if not os.path.exists(LOCAL_SCREENSHOT_DIR): os.makedirs(LOCAL_SCREENSHOT_DIR) print(f"本地截图目录【{LOCAL_SCREENSHOT_DIR}】创建成功") else: print(f"本地截图目录【{LOCAL_SCREENSHOT_DIR}】已存在") def init_oss_bucket(): """ 初始化OSS Bucket对象，用于后续上传操作 """ try: # 创建认证对象 auth = oss2.Auth(OSS_ACCESS_KEY_ID, OSS_ACCESS_KEY_SECRET) bucket = oss2.Bucket(auth, OSS_ENDPOINT, OSS_BUCKET_NAME) # 验证Bucket是否可访问（可选） bucket.get_bucket_info() print("OSS Bucket 初始化成功") return bucket except Exception as e: print(f"OSS Bucket 初始化失败：{str(e)}") raise def upload_local_screenshot_to_oss(bucket, local_file_path, oss_file_path=None): """ 将截图内容上传到OSS :param bucket: 初始化好的OSS Bucket对象 :param screenshot_content: 截图内容（字节流，或本地文件路径） :param oss_file_path: 上传到OSS后的文件路径（如screenshots/20260130_100000_target_page.jpg） :return: 上传后的OSS文件公网访问链接 """ # 1. 校验本地文件是否存在 if not os.path.exists(local_file_path): raise FileNotFoundError(f"本地截图文件不存在：{local_file_path}") # 2. 生成默认的OSS文件路径（如果用户未指定） if not oss_file_path: # 提取本地文件名作为OSS文件名，保持一致性 local_file_name = os.path.basename(local_file_path) oss_file_path = f"screenshots/{local_file_name}" try: # 3. 上传本地文件到OSS（核心修改：使用put_object_from_file） bucket.put_object_from_file(oss_file_path, local_file_path) # 4. 构造OSS文件的公网访问链接 oss_file_url = f"https://{OSS_BUCKET_NAME}.{OSS_ENDPOINT}/{oss_file_path}" print(f"本地截图上传OSS成功，访问链接：{oss_file_url}") return oss_file_url except Exception as e: print(f"本地截图上传OSS失败：{str(e)}") raise # ---------------------- 补全/修改：裁剪函数（新增完整裁剪+删原图逻辑） ---------------------- def crop_local_screenshot(local_file_path, cropped_file_path=None, crop_region=None): """ 裁剪本地截图文件（完整实现：裁剪后图片压缩，裁剪+保存裁剪文件+删除原图） :param local_file_path: 原始本地截图文件路径 :param cropped_file_path: 裁剪后图片的保存路径（可选） :param crop_region: 裁剪区域（元组，格式：(left, upper, right, lower)），可选 :return: 裁剪后图片的本地路径 """ # 1. 校验原始文件是否存在 if not os.path.exists(local_file_path): raise FileNotFoundError(f"原始截图文件不存在：{local_file_path}") # 2. 初始化裁剪后文件目录（自动创建）（你的原有逻辑，保持不变） os.makedirs(LOCAL_CROPPED_DIR, exist_ok=True) # 3. 新增：生成默认裁剪后文件路径（避免重名，带_cropped标识） if not cropped_file_path: file_name = os.path.basename(local_file_path) file_name_no_ext, file_ext = os.path.splitext(file_name) cropped_file_name = f"{file_name_no_ext}_cropped{file_ext}" cropped_file_path = os.path.join(LOCAL_CROPPED_DIR, cropped_file_name) with Image.open(local_file_path) as img: img_width, img_height = img.size print(f"获取截图尺寸：宽={img_width}，高={img_height}") # 打印尺寸，方便排查 if not crop_region: left = int(img_width * 0.1) upper = 0 right = int(img_width * 0.9) lower = int(img_height * 0.3) crop_region = (left, upper, right, lower) print(f"未指定裁剪区域，默认裁剪中间30%区域：{crop_region}") # 4.2 新增：校验裁剪区域合法性（避免超出图片尺寸） c_left, c_upper, c_right, c_lower = crop_region if c_right > img_width or c_lower > img_height or c_left < 0 or c_upper < 0: raise ValueError(f"裁剪区域超出图片尺寸！图片尺寸：({img_width}, {img_height})，裁剪区域：{crop_region}") # 4.3 执行裁剪并保存裁剪后的图片 cropped_img = img.crop(crop_region) # 4.4 压缩并保存裁剪后的图片 file_ext = os.path.splitext(cropped_file_path)[1].lower() # 获取文件后缀（小写，兼容JPG/Jpg等） try: if IMAGE_COMPRESS_ENABLE: # 区分图片格式，应用不同压缩策略 if file_ext in ['.jpg', '.jpeg']: # JPG/JPEG格式：质量压缩（有损压缩，平衡画质和大小） cropped_img.save( cropped_file_path, format='JPEG', # 强制指定JPEG格式，确保压缩生效 quality=IMAGE_COMPRESS_QUALITY, # 压缩质量（配置项中定义） optimize=True, # 开启优化，提升压缩效果（减小文件体积） progressive=True # 生成渐进式JPG，网页加载更友好（可选，不影响压缩效果） ) print(f"JPG图片压缩保存成功，压缩质量：{IMAGE_COMPRESS_QUALITY}，保存到：{cropped_file_path}") else: cropped_img.save(cropped_file_path, format='JPEG') print(f"未开启压缩，裁剪图片直接保存到：{cropped_file_path}") except Exception as e: # 压缩失败兜底：直接保存未压缩的JPG图片，不中断后续流程 cropped_img.save(cropped_file_path, format='JPEG') print(f"JPG图片压缩失败，已直接保存未压缩版本：{str(e)}") # 5. 裁剪成功后，删除原始截图文件（带异常处理） try: if os.path.exists(cropped_file_path): # 确保裁剪文件生成成功，再删原图 os.remove(local_file_path) print(f"原始截图文件已删除：{local_file_path}") else: print(f"裁剪文件未生成，暂不删除原始截图：{local_file_path}") except OSError as e: print(f"删除原始截图文件失败（文件可能被占用）：{str(e)}") # 6. 返回裁剪+压缩后的文件路径 return cropped_file_path def screenshot_target_page_to_local_then_oss(target_page, local_file_path=None, oss_file_path=None, full_page=True, crop_region=None): """ 对target_page截图保存到本地→裁剪图片（删原图）→上传裁剪后的图片到OSS（修改后整合版） :param target_page: Playwright的Page对象（已加载目标页面） :param local_file_path: 本地截图文件的完整路径（可选） :param oss_file_path: OSS上的文件路径（可选） :param full_page: 是否截取全屏（True=全屏，False=当前可视区域） :param crop_region: 自定义裁剪区域（元组：(left, upper, right, lower)），可选 :return: 裁剪后文件路径 + OSS文件访问链接 """ # 1. 初始化本地截图目录（不存在则创建，避免保存文件时报错） os.makedirs(LOCAL_SCREENSHOT_DIR, exist_ok=True) # 2. 生成默认的本地文件路径（如果用户未指定） if not local_file_path: current_time = datetime.now().strftime("%Y%m%d_%H%M%S") local_file_name = f"{current_time}_target_page.jpg" local_file_path = os.path.join(LOCAL_SCREENSHOT_DIR, local_file_name) # 3. 对target_page截图并保存到本地（核心修改：指定path参数） print(f"正在对target_page截图，将保存到：{local_file_path}") target_page.screenshot( path=local_file_path, # 保存到本地文件的核心参数 full_page=full_page, # 是否全屏截图 omit_background=False, # 是否忽略背景 timeout=10000 # 截图超时时间 ) print(f"本地截图保存成功") # 4. 调用裁剪函数，处理原图（裁剪+删原图） cropped_file_path = crop_local_screenshot( local_file_path=local_file_path, crop_region=crop_region ) # 5. 初始化OSS Bucket bucket = init_oss_bucket() # 6. 修改：上传裁剪后的图片，而非原始截图 oss_file_url = upload_local_screenshot_to_oss(bucket, cropped_file_path, oss_file_path) # 6. 返回本地文件路径和OSS链接，方便后续使用 return cropped_file_path, oss_file_url