一、多模态模型答错图，原因不止一个
常见三种：看错了主体、漏掉了细节、把文字读错。
三种问题对应三种改法，不分开就永远改不好。
多模态模型答错图，原因往往不在识别，在理解。图它看清了，问题理解偏了。
我做过一个统计：一百个错误里，纯识别错的不到三成，剩下七成都是「看对了但答偏了」。
所以优化的重点应该放在提问方式，不是换模型。
二、读错图的四个典型场景
一、小字。截图里的十号字，模型经常读成别的。
二、密集表格。跨行跨列的结构，识别容易串行。
三、相似物体。两只同款杯子，分不清哪只是哪只。
四、遮挡与透视。前后关系判断出错。
写提示词时可以主动帮它：告诉它先看哪块、图里有几个主体。
最难的统一项，我投「命名」一票。同一个东西叫三个名字，模型没法对齐。
统一命名的办法是建一张对照表：别名、标准名、以及所属层级。
表建好之后，数据清洗的工作量会掉一半。
三、对齐是怎么做的
多模态对齐，是把图像特征和文字语义拉到同一个空间里。
做法上分两段：先让视觉编码器学"这是什么"，再让语言模型学"这和我说的有什么关系"。
第二段更关键，也更容易出问题，因为训练数据里的图文配对质量参差不齐。
读错图的四个典型场景，第一是密集文字：表格、票据、小字说明书，模型会把行看串。
第二是相似物体：两个外观接近的商品摆在一起，它会张冠李戴。第三是遮挡与部分可见，它能看出「有东西」，说不出是什么。
第四是空间关系，「左边那个」「上面那个」，这类指代最容易错。
四、使用时的三个提效技巧
一、先描述再提问。让模型自己复述一遍图里有什么，错在哪当场就能看出来。
二、给区域。说"看左上角的表格"，比说"看这个表"准。
三、分两步。先识别文字，再基于文字做推理，比一步到位稳。
三个提效技巧。一、把问题拆成两步：先让它描述，再让它判断。描述那一步能暴露它到底看到了什么。
二、给它坐标或框。哪怕只是「左上区域」，准确率也会明显上升。三、一次只问一件事，别把五个问题塞进一段。
三个技巧里，第一个最有用。它把「答错」变成「看得见的过程」，你就知道该修哪里。
矛盾数据怎么办？我的规则是「以时间近的为准，以人工录的为准」。
两条冲突时，人工录的优先，因为它通常经过核对。
如果都对不上，就留空加标记，别猜。猜出来的数据比缺数据危险。
五、什么时候别用多模态
三种情况建议改路径：
一、只需要读文字。用 OCR 更准更快。
二、需要精确数值。让模型读图算数，错得很难查。
三、需要判断合规。这类要有可追溯依据，模型给不出。
六、一句总结
多模态的短板不在"看见"，在"说清看见了什么"。
什么时候别用多模态，我给三个判断。一、答案必须精确到像素或数字的，别用。
二、图里有大量小字的，先做版面分析再送模型。三、涉及合规判定的，必须人工复核。
多模态是工具，不是权威。把它当第一道筛，别当最后一道判。
三个提醒：统一后要复核、要留版本、以及要在源头改。
只在末端清洗，下个月又会脏回来。源头不改，清洗是无限循环。
版本要留，因为业务口径会变。半年后有人问「当时怎么算的」，你得答得出来。
最后一个提醒：统一之前先备份。清洗出问题的时候，你还能回到原始数据。
备份不是保险，是前提。
再补一句：数据统一之后要写「变更记录」。哪一天改了什么口径，一条一行。
三个月后有人问「这个数怎么和去年不一样」，你能答得出来。
再补一句：数据统一最怕「边做边改口径」。改一次口径，前面洗过的全废。
所以先把口径定死，写成文档，再动手。
定口径花一天，返工能省一周。
再补一句：统一命名时，先统一「层级」再统一「名字」。
层级乱了，名字再好也没用。
先结构，后措辞。
延伸参考
遇到看不懂的参数名，前端 Wiki 的词条比搜索页干净。
留一句：让它先把图复述一遍，你就知道它到底看没看懂。
