最近在某个中转的群里，发现群主在吐槽说：经常有一些莫名其妙的人私信他，说要买用户的特定模型的对话历史数据。好像要拿来训练干什么的。

然后就看到有群友说，他们这种行为卖假数据给他们不就行了吗。然后群主说他们有上下文近似检测工具。大概会被检测出来




我突然想到了一件事。就是蒸馏模型这件事。通过特定的输入token，让模型输出相关的token。以此来构建近似的大模型神经网络。

之前流传的很多检测方法，都是使用特定的提示词，看看大模型会输出什么，有没有特定的现象，以此来检测是否掺假。这种确实能近似检测，但是有几个问题，一个是大模型输出不太稳定，不一定复现稳定结果。还有一个是确定风格的提示词很容易被掺假/重路由之类。




这里，我们能否参考那些蒸馏使用的方法，使用一组激活特定神经网络的提示词，统计输出tokens与上下文，以已确定的大模型神经网络局部比较。从而确定近似掺假。这种相当于局部蒸馏验证了。

还有那些买中转站用户对话数据的，他们的用来检测“上下文近似检测工具”来检测对话输出真假的原理是什么，是不是也可以借鉴一下。

> 之前流传的很多检测方法，都是使用特定的提示词，看看大模型会输出什么，有没有特定的现象

这不是GPT-4时代的"鲁迅暴打周树人"那种方法吗？，当时还出现了鲁树人这种梗。

我记得当时GPT-3.5大概率答不对，而GPT-4大概率答对。但是并非是确定性的。因为3.5也有概率蒙对，很多人都是多次测试来确定。 某些商业站还出现了检测到”鲁迅“立马升智的现象

之前看新闻还说国外三家公司要联合打击蒸馏行为，这种伪蒸馏方法不会被最终上游检测到封号吗。

@帅哥(gfnah3) 怕什么，即使封号也是封的做中转的上游号，又不是你的号。

啊，就没人在意中转站把用户的对话数据打包卖出去了这件事吗。没看到这贴之前我都不知道。

@duso(nk6eqj) 没逝的，现在中转站套中转站，中转站偷别人渠道已经是常态，说不定你的一次请求都经过了多个人。说不定你的请求已经被多次转卖过了呗

楼主提出的这种方法实际上是统计词元的输入与输出近似分布位置，由于LLM会朝着某个中心收敛。不同LLM模型的收敛的中心极限有差别，使用这种方法区别，但是必须要先知道其局部收敛的大致位置，感觉成本有点大

其实还有一个更加简单的方法，就是词元分割来近似判断，比如你问AI:"我在银行走后门"里面有没有"行走"。AI大概率会回答没有。这就是词元分割的原因。以前问4o"给主人留下些什么吧"，AI会回答"你好"。就是一句话被AI当成了一个词元。自然会产生特殊激活现象。

这种词元探测是输入探测。而问AI某些特定事情,看AI回答,这种叫输出探测。其实现在大多数人模型真假探测方法都在用输出探测这种的

@pbox(cmdnlm) 大佬，你这话啥意思。是不是输入特定的提示词，AI会返回特定内容，以此判断真假这种？

@下耕(yw6qcv) ·不是这个意思，你说的这种也是"输出探测"。

另一种探测方法是，不要把AI输出的话当作有意义的句子。而是只当作词元组合，使用输入与输出词元的关系，来判断大致当前模型。

传统输出探测对用户输入不敏感，只要意思大致相同就行。而输入探测对于输入的内容很敏感，实际上并不接收近义表达，必须保持作为最小单位的词元的输入组合保持某个特殊值。

在AI的视角里，最基本的组合就是词元。LLM在能容纳的最大上下文区间里把最大概率词元组合起来，让人感觉是又意义的句子。至于AI是否真的理解了，其实我也不知道。

@pbox(cmdnlm) 抱歉打扰大佬了，弱弱的问下，词元组合这种是啥，我怎么听不懂

词元，LLM基本推理单位啊。现在那些大模型公司他们就用这个来计算输入输出费的。换个说法叫tokens你就明白了。

打扰大佬了,感谢大佬的耐心。AI用了这么久，我还是只会用的状态，内部原理我是一窍不通的纯小白。哈哈哈

我来提一个醒，使用token法检测模型真假，记得把"温度"拉到最低。否则输出会过于随机从而难以检测。

其实这种也并非100%检测

以前的帖子又被顶起来了，我来补充一下以前有误的。

现在的LLm是多维注意力机制，输出的下一个token不止于输入token探测有关。提示词也会被参与阈值的token输出。要想让输入token探测可用，必须想办法把提示词RST掉。

输出探测可以绕开提示词，反而更加通用了。

不过大几家模型对于某些特定问题有倾向性，多试几次来统计也可以使用。 即使上游注入提示词也不可能覆盖完。不过这种方法也很脆弱，就是上游没想到这点而已