YJJ_YBM/YJJ/oss_config.py

from datetime import datetime

import pymysql
from dotenv import load_dotenv
import os
import oss2
from PIL import Image
# ---------------------- OSS 配置项 ----------------------
OSS_ACCESS_KEY_ID = 'LTAI5tDwjfteBvivYN41r8sJ'
OSS_ACCESS_KEY_SECRET = 'yowuOGi2nYYnrqGpO3qcz94C4brcPp'
OSS_ENDPOINT = "oss-cn-shenzhen.aliyuncs.com"
OSS_BUCKET_NAME = "zhijiayun-jiansuo"
OSS_PREFIX = "scrape_data/"



# 本地截图配置
LOCAL_SCREENSHOT_DIR = "local_screenshots"  # 本地截图保存目录
LOCAL_SCREENSHOT_NAME = None  # 自动生成文件名，无需手动指定
LOCAL_CROPPED_DIR = "./local_cropped_screenshots"  # 裁剪后图片保存目录


# 图片压缩配置
IMAGE_COMPRESS_ENABLE = True  # 是否开启图片压缩（True=开启，False=关闭）
IMAGE_COMPRESS_QUALITY = 30  # jpg/jpeg格式压缩质量（1-95，数值越大画质越好，文件越大，推荐80-90）
IMAGE_COMPRESS_PNG_LEVEL = 9  # png格式压缩级别（0-9，数值越大压缩率越高，速度越慢，推荐5-7）


# ---------------------- 工具函数 ----------------------
def init_local_screenshot_dir():
    """
    初始化本地截图目录（如果不存在则创建）
    """
    if not os.path.exists(LOCAL_SCREENSHOT_DIR):
        os.makedirs(LOCAL_SCREENSHOT_DIR)
        print(f"本地截图目录【{LOCAL_SCREENSHOT_DIR}】创建成功")
    else:
        print(f"本地截图目录【{LOCAL_SCREENSHOT_DIR}】已存在")




def init_oss_bucket():
    """
    初始化OSS Bucket对象，用于后续上传操作
    """
    try:
        # 创建认证对象
        auth = oss2.Auth(OSS_ACCESS_KEY_ID, OSS_ACCESS_KEY_SECRET)
        bucket = oss2.Bucket(auth, OSS_ENDPOINT, OSS_BUCKET_NAME)
        # 验证Bucket是否可访问（可选）
        bucket.get_bucket_info()
        print("OSS Bucket 初始化成功")
        return bucket
    except Exception as e:
        print(f"OSS Bucket 初始化失败：{str(e)}")
        raise




def upload_local_screenshot_to_oss(bucket, local_file_path, oss_file_path=None):
    """
    将截图内容上传到OSS
    :param bucket: 初始化好的OSS Bucket对象
    :param screenshot_content: 截图内容（字节流，或本地文件路径）
    :param oss_file_path: 上传到OSS后的文件路径（如screenshots/20260130_100000_target_page.jpg）
    :return: 上传后的OSS文件公网访问链接
    """

    # 1. 校验本地文件是否存在
    if not os.path.exists(local_file_path):
        raise FileNotFoundError(f"本地截图文件不存在：{local_file_path}")


    # 2. 生成默认的OSS文件路径（如果用户未指定）
    if not oss_file_path:
        # 提取本地文件名作为OSS文件名，保持一致性
        local_file_name = os.path.basename(local_file_path)
        oss_file_path = f"screenshots/{local_file_name}"

    try:
         # 3. 上传本地文件到OSS（核心修改：使用put_object_from_file）
        bucket.put_object_from_file(oss_file_path, local_file_path)

        # 4. 构造OSS文件的公网访问链接
        oss_file_url = f"https://{OSS_BUCKET_NAME}.{OSS_ENDPOINT}/{oss_file_path}"
        print(f"本地截图上传OSS成功，访问链接：{oss_file_url}")
        return oss_file_url

    except Exception as e:
        print(f"本地截图上传OSS失败：{str(e)}")
        raise

# ---------------------- 补全/修改：裁剪函数（新增完整裁剪+删原图逻辑） ----------------------
def crop_local_screenshot(local_file_path, cropped_file_path=None, crop_region=None):
    """
    裁剪本地截图文件（完整实现：裁剪后图片压缩，裁剪+保存裁剪文件+删除原图）
    :param local_file_path: 原始本地截图文件路径
    :param cropped_file_path: 裁剪后图片的保存路径（可选）
    :param crop_region: 裁剪区域（元组，格式：(left, upper, right, lower)），可选
    :return: 裁剪后图片的本地路径
    """
    # 1. 校验原始文件是否存在
    if not os.path.exists(local_file_path):
        raise FileNotFoundError(f"原始截图文件不存在：{local_file_path}")

    # 2. 初始化裁剪后文件目录（自动创建）（你的原有逻辑，保持不变）
    os.makedirs(LOCAL_CROPPED_DIR, exist_ok=True)


    # 3. 新增：生成默认裁剪后文件路径（避免重名，带_cropped标识）
    if not cropped_file_path:
        file_name = os.path.basename(local_file_path)
        file_name_no_ext, file_ext = os.path.splitext(file_name)
        cropped_file_name = f"{file_name_no_ext}_cropped{file_ext}"
        cropped_file_path = os.path.join(LOCAL_CROPPED_DIR, cropped_file_name)

    with Image.open(local_file_path) as img:
        img_width, img_height = img.size
        print(f"获取截图尺寸：宽={img_width}，高={img_height}")  # 打印尺寸，方便排查


        if not crop_region:
            left = int(img_width * 0.1)
            upper = 0
            right = int(img_width * 0.9)
            lower = int(img_height * 0.3)
            crop_region = (left, upper, right, lower)
            print(f"未指定裁剪区域，默认裁剪中间30%区域：{crop_region}")

        # 4.2 新增：校验裁剪区域合法性（避免超出图片尺寸）
        c_left, c_upper, c_right, c_lower = crop_region
        if c_right > img_width or c_lower > img_height or c_left < 0 or c_upper < 0:
            raise ValueError(f"裁剪区域超出图片尺寸！图片尺寸：({img_width}, {img_height})，裁剪区域：{crop_region}")


        # 4.3 执行裁剪并保存裁剪后的图片
        cropped_img = img.crop(crop_region)

        # 4.4 压缩并保存裁剪后的图片
        file_ext = os.path.splitext(cropped_file_path)[1].lower()  # 获取文件后缀（小写，兼容JPG/Jpg等）
        try:
            if IMAGE_COMPRESS_ENABLE:
                # 区分图片格式，应用不同压缩策略
                if file_ext in ['.jpg', '.jpeg']:
                    # JPG/JPEG格式：质量压缩（有损压缩，平衡画质和大小）
                    cropped_img.save(
                        cropped_file_path,
                        format='JPEG',  # 强制指定JPEG格式，确保压缩生效
                        quality=IMAGE_COMPRESS_QUALITY,  # 压缩质量（配置项中定义）
                        optimize=True,  # 开启优化，提升压缩效果（减小文件体积）
                        progressive=True  # 生成渐进式JPG，网页加载更友好（可选，不影响压缩效果）
                    )
                print(f"JPG图片压缩保存成功，压缩质量：{IMAGE_COMPRESS_QUALITY}，保存到：{cropped_file_path}")
            else:
                cropped_img.save(cropped_file_path, format='JPEG')
                print(f"未开启压缩，裁剪图片直接保存到：{cropped_file_path}")
        except Exception as e:
            # 压缩失败兜底：直接保存未压缩的JPG图片，不中断后续流程
            cropped_img.save(cropped_file_path, format='JPEG')
            print(f"JPG图片压缩失败，已直接保存未压缩版本：{str(e)}")



    # 5. 裁剪成功后，删除原始截图文件（带异常处理）
    try:
        if os.path.exists(cropped_file_path):  # 确保裁剪文件生成成功，再删原图
            os.remove(local_file_path)
            print(f"原始截图文件已删除：{local_file_path}")
        else:
            print(f"裁剪文件未生成，暂不删除原始截图：{local_file_path}")
    except OSError as e:
        print(f"删除原始截图文件失败（文件可能被占用）：{str(e)}")

    # 6. 返回裁剪+压缩后的文件路径
    return cropped_file_path


def screenshot_target_page_to_local_then_oss(target_page, local_file_path=None, oss_file_path=None, full_page=True, crop_region=None):
    """
    对target_page截图保存到本地→裁剪图片（删原图）→上传裁剪后的图片到OSS（修改后整合版）
    :param target_page: Playwright的Page对象（已加载目标页面）
    :param local_file_path: 本地截图文件的完整路径（可选）
    :param oss_file_path: OSS上的文件路径（可选）
    :param full_page: 是否截取全屏（True=全屏，False=当前可视区域）
    :param crop_region: 自定义裁剪区域（元组：(left, upper, right, lower)），可选
    :return: 裁剪后文件路径 + OSS文件访问链接
    """
    # 1. 初始化本地截图目录（不存在则创建，避免保存文件时报错）
    os.makedirs(LOCAL_SCREENSHOT_DIR, exist_ok=True)

    # 2. 生成默认的本地文件路径（如果用户未指定）
    if not local_file_path:
        current_time = datetime.now().strftime("%Y%m%d_%H%M%S")
        local_file_name = f"{current_time}_target_page.jpg"
        local_file_path = os.path.join(LOCAL_SCREENSHOT_DIR, local_file_name)

    # 3. 对target_page截图并保存到本地（核心修改：指定path参数）
    print(f"正在对target_page截图，将保存到：{local_file_path}")
    target_page.screenshot(
        path=local_file_path,  # 保存到本地文件的核心参数
        full_page=full_page,   # 是否全屏截图
        omit_background=False, # 是否忽略背景
        timeout=10000          # 截图超时时间
    )
    print(f"本地截图保存成功")


    # 4. 调用裁剪函数，处理原图（裁剪+删原图）
    cropped_file_path = crop_local_screenshot(
        local_file_path=local_file_path,
        crop_region=crop_region
    )


    # 5. 初始化OSS Bucket
    bucket = init_oss_bucket()

    # 6. 修改：上传裁剪后的图片，而非原始截图
    oss_file_url = upload_local_screenshot_to_oss(bucket, cropped_file_path, oss_file_path)

    # 6. 返回本地文件路径和OSS链接，方便后续使用
    return cropped_file_path, oss_file_url