Skip to content

功能完善建议:关于截图、网址栏输入(和滚动) #22

@Tongyawa

Description

@Tongyawa

#一、截图
有些时候截图还是不太好用,ocr只能返回文字和坐标,不好让模型理解页面的意思;纯截图又太慢
主要是像B站这种,输入框会有占位符,我试过,不止是搜索,发评论也发不来qwq发弹幕倒是因为弹幕框含有“弹幕”俩字而成功了
但是就算我跟它说全程不ocr只用纯截图,照样不懂得直接点B站搜索框而还是点到地址栏,只能说这波被B站拿捏了……

示例指令(Agent: Cursor Composer-1 视频同款)
失败❌:请用MAA MCP,从edge进入绝区零主页,给最新B站视频发布评论:小光21不歪,玩到关
服!
成功✅:请用MAA MCP,从edge进入绝区零主页,给最新B站视频发布弹幕:小光21不歪,玩到关
服!

#二、网址栏输入(或带有自动补全的输入框)
浏览器网址栏输入有自动补全,导致Input完回车会进入补全后的网址,可能可以通过在input前判定输入框属性,有自动补全时特殊处理(比如多输入一个空格等)来解决

#三、滚动(有时)
目前测试发现滚动指令有时候会失效,在B站视频播放页和微信都遇到过,不知道是否跟 电脑光标位置 或 Agent调用滚动的位置与窗口可滚动区域不匹配 有关

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions