TEMU平台过验证码,RPA自动实施，你知道怎么处理吗？

今年看到群内有群友提到TEMU验证码过验的问题，经过其整理提供了完整的解决文案（文案来源于群昵称：晴天）

需求实施场景

类似提示：

请按以下顺序点击对象《每个对象点击一次):猫的眼睛”,猫的耳朵,狗的鼻子,狗的耳菜

解决此问题的思路：

通过大模型来鉴别图片，根据点击的位置要求，返回对应的元素内坐标；然后通过坐标实现点击，完成验证；

项目实施代码方案一：

涉及到第7行的魔法指令代码如下：

from PIL import Image
def chat_with_local_image(image_path, prompt, api_key="MODELSCOPE_SDK_TOKEN", base_url="https://api-inference.modelscope.cn/v1", model="Qwen/Qwen2.5-VL-72B-Instruct"):
    try:
        # Get image resolution
        with Image.open(image_path) as img:
            width, height = img.size
        
        # Add resolution to prompt
        resolution_prompt = f"图片的分辨率{width} * {height}，" + "请根据要求返回需要点击的目标对象（每个对象只取一个）的坐标二维列表，只返回二维列表，格式如[[200,210],[100,130], ……]不需要额外解释。【" + prompt + "】"
        with open(image_path, "rb") as image_file:
            encoded_string = base64.b64encode(image_file.read()).decode('utf-8')
        client = OpenAI(
            api_key=api_key,
            base_url=base_url
        )
        response = client.chat.completions.create(
            model=model,
            messages=[
                {
                    "role": "system",
                    "content": [
                        {"type": "text", "text": "You are a helpful and harmless assistant. You are Qwen developed by Alibaba. You should think step-by-step."}
                    ],
                },
                {
                    "role": "user",
                    "content": [
                        {
                            "type": "image_url",
                            "image_url": {"url": f"data:image/png;base64,{encoded_string}"}
                        },
                        {
                            "type": "text",
                            "text": resolution_prompt
                        },
                    ],
                }
            ],
            stream=False
        )
        return response.choices[0].message.content
    except Exception as e:
        print(f"Error: {e}")
        return None

最终实施效果如下：

项目实施代码方案二：

也可以直接用图鉴的点选坐标可以识别