大部分情感分析教程把故事停在准确率上，好像数字漂亮就万事大吉。但把一个模型扔进真实评论的泥潭里，它到底是在做判断还是在赌大小，没人告诉你。这次我们拿Stanford IMDb数据集开刀，从最老派的TF-IDF加逻辑回归，一路推到LoRA微调的DistilBERT，要看的远不止谁分得更准——我们要拆开模型的后脑勺，看它的信心是不是盲目膨胀，看句子一长它是不是就犯糊涂，看揪掉哪个词它会彻底翻脸。最后再用一堆没有任何标签的数据，给模型灌一口半监督的烈酒，看看能不能再往上蹿一截。
两条基线，一个照妖镜
TF-IDF逻辑回归：你以为的“过时”其实很能打
很多人对TF-IDF嗤之以鼻，觉得这年头不端出个Transformer都不好意思说话。但我们在25000条训练评论上跑了一遍，TF-IDF加逻辑回归拿到的准确率稳稳站在89%附近，而且训练快到几乎不用等咖啡机热完。这个基线不是用来膜拜的，是用来当一面镜子的。如果你花了几千倍的计算量只把这个数字往上推了三四个百分点，那你就得想清楚：这三四个百分点的代价和收益到底划不划算。逻辑回归还有一个很多神经网络没有的美德——它的信心值不胡来。你给它一条模糊评论，它还你一个模棱两可的概率，不会硬充专家。
DistilBERT加上LoRA，不是魔法，是精修
真正让我们进入现代语境的，是把DistilBERT拉进来，并且用LoRA做轻量微调。全量微调一个1.1亿参数的模型对很多人来说根本不可承受，但LoRA只往注意力层里插入一小撮可训练参数，显存占用直接砍掉大半，训练速度却几乎不输。我们用Hugging Face的PEFT库挂上LoRA，在IMDb上跑了三个epoch，macro-F1轻松越过93%，ROC-AUC更是逼近0.98。数字好看，但如果我们只盯着数字，这篇文章就没必要往下写了。真正有意思的裂缝，藏在模型给出高分预测时那副过于笃定的表情里。
不止于F1：把模型的“诚實度”量出来
期望校准误差，别让模型活在幻觉里
一个模型预测某条评论是正向的概率为0.95，那它最好有95%的时候是对的。否则就是在撒谎。我们用期望校准误差（ECE）把这种撒谎程度量化了出来：把预测概率分桶，看每个桶里的平均置信度和真实准确率的差距。逻辑回归的ECE低得惊人，基本是一条对角线上的老实人。而微调后的DistilBERT，在没做温度缩放之前，校准曲线明显往上翘——模型过度自信的毛病一清二楚。做了简单的温度缩放后，ECE降下来了，但模型依旧在极高置信区间里藏着一小撮错得离谱的预测。这不是调参能疗愈的病，是模型底层对某些语言模式产生了错觉。
置信错误，哪里跌倒就要看得见
我们把所有高置信度却判错的样本单独拎了出来，发现一个有趣的脏区：那些裹着反讽、用正面词汇堆出负面情绪的评论，DistilBERT经常中招。“The movie was so good I almost fell asleep”——这种话人类秒懂，但模型被“good”和“great”骗得团团转，给出0.9以上的正向概率，错得毫不脸红。把这类置信错误按主题和句式做了个粗略归类后，你很难只把它当成模型缺陷，它更像是训练数据里某种表达惯性的牺牲品。解决它，不能只靠更多数据，得靠让模型知道：有些词，在某些地方出现时，必须反向拉低权重。
句子一长就怂，到底什么词在撑场子
长度影响，短评论反而更危险
很多人以为评论越长模型越容易迷失。但这次我们分析了不同长度区间的准确率波动，发现一个反直觉的结果：极短评论的准确率反而波动更大。一句“Not bad”可能被分错，因为它在训练数据里大概率属于正向，但说这话的人可能只想表达勉强及格。中等长度的评论模型处理得最稳，真的开始让模型犯糊涂的是那些超过两百词、夹叙夹议的影评长文——不是词多的问题，是情感信号被稀释在大量事实描述里，模型找不到锚点。我们顺手做了一个长度-置信度联合分布图，长文区域里中置信度预测的比例明显偏高，模型自己心里也没底，只是说不出“我不知道”。
词级遮挡，揪出那个扛大梁的词
用简单的遮挡方法一个词一个词地遮过去，看预测概率怎么跳变，能把模型的“情感支点”挖出来。对DistilBERT来说，形容词固然重要，但真正起到一票否决作用的往往是副词和否定结构。“barely watchable”里的“barely”一遮，正向概率能瞬间从0.2弹到0.7。这个词级显著性图谱告诉我们，试图靠堆形容词权重来做可解释性，方向就错了。真正决定情感走向的，是那些被传统特征工程忽略的、密度很低但翻转能力极强的词。这一发现直接带来一个实战提示：数据增强时别总盯着同义词替换，针对否定和程度副词的扰动才是提升模型鲁棒性的捷径。
没标签的数据不是废料，是台阶
置信度伪标注，让模型自己教自己
我们手里还有大量未标注的IMDb评论，以往这类数据只能被丢弃。但既然我们刚刚校准了模型的置信度，为什么不让模型在无标签数据上先跑一遍，把那些预测概率超过0.95的样本连同它的预测标签一起收集起来，喂回去当训练数据？这就是置信度伪标注的逻辑。我们谨慎地只选取了预测概率大于0.98的样本，大约筛出两万多条“高自信”的未标注评论，把它们塞进训练集重新微调DistilBERT。半监督之后的模型在测试集上的macro-F1又往上提了0.7个百分点。听起来不多，但这是在原有强基线之上的0.7，而且是纯粹从数据里自己刨出来的额外收益，没有增加任何人工标注成本。
半监督模型与基线的真正差距在哪
把TF-IDF基线、原始微调DistilBERT、半监督增强模型三者的所有指标摊在一张表上，结论很清楚：半监督带来的提升在全维度上都成立，而且对校准没有造成可见的损伤。这意味着我们没有为了追准确率而把模型的“自知之明”弄丢。更有意思的是，那些之前被高置信错分的反讽样本，在半监督之后的错误率有了轻微下降——因为伪标签数据里混入了一部分相似结构但情感倾向清晰的句子，无形中给模型做了纠偏。说到底，半监督学习的真正价值不是用更多数据堆出更高分，而是让模型在真实数据分布里走了一遭，补上了训练集里缺少的那些语言暗角。最后我们把合并训练后得到的DistilBERT权重完整保存下来，它比原先那个只在有标签数据上微调的版本，在面对模糊、阴阳怪气、长文绕弯的评论时，怂得更合理，准得更扎实。
