国产LLM的一些胡思乱想

LLM(大语言模型) 差不多已经火了一年多了，国产模型的上新数量也没有那么快了，看起来已经有些降温，最近大半年也尝试用 LLM 做了一些小产品的尝试，同时平时思考、写代码过程中都会与 LLM 高频沟通，以自问自答的形式记录一下一些胡思乱想，主要是梳理一下思路，以及将来可以回顾看看。

国产大语言模型有没有前途

“前途”准确来说是什么，很难定义，现在一些国产 LLM 特定场景下可以使用，但是距离 “真正” “全面” 使用还需要一些时间进行升级改进。

主要问题在哪里？国产模型的理解能力和工程能力都不行，直接讲就是听不懂话，反应速度还慢。

未来有可能改进吗？

有可能，深度学习三要素，算法、算力、数据，算法核心上并没有特别大的差异，算力如果不够，可以靠时间，一年训练不出来的，可以三年，数据上中文互联网由于各种问题，高质量的数据确实少，但是依然可以靠钱堆出一些高质量数据，并且大模型学习了一种语言的知识，在另一种语言上只需要少量高质量数据就可以输出之前的知识。

但是算力上如果慢慢有了指数级的差距，模型迭代速度跟不上，能力只会越来越落后；数据上，不同语言的数据会涉及到不同文化的信息，如果没有大量相关文化的信息，在特定文化上的理解、推理能力仍然没有机会追上。

数据，特别是高质量数据，在国内会特别艰难，一方面有各种模糊的审查规则存在，另一方面中文互联网理性讨论的氛围已经不复存在，所以在数据这个关键要素上，非常悲观，这不是技术、工程或者时间可以解决的问题。

结论是会改进会进步，但是距离最先进永远有差距，并且可能差距会越来越大。

会不会某一天基于 Transformer 的架构能力达到上限

预期 LLM 会有一个上限，国产模型通过时间积累追上，达到这个上限。

首先我相信底层算法不改进，LLM 终有一天会各种限制，达到一个无法突破的上限。

这种想法是一种天真的基于静态和线性的思路，有人会类比高铁技术，我没有想明白如何准确清晰地反对这种类比。

但是这个上限是什么？达到的时候会不会是已经达到了 AGI 之后？会不会到这个上限之前，模型靠自己构建出新的算法？有可能。

国产 LLM 能用在应用上吗？

基本可用，但不好用。

如果是 ToB 的一些任务处理场景，简单的文字生成，简单的信息抽取、理解，没有问题，涉及到需要更多一些的理解，或者是需要跟人进行一些比较深入的交流的场景，现在问题还非常多，因为模型本身能力问题，通过外挂知识库，增加各种传统工程解法仍然解决不了问题。

ToC 的应用，可以把一些简单的流程自动化掉，但是输出的稳定性差，以及国产 LLM 给自己加的审查，会让应用增加很多对 LLM 输出的后处理操作，比如容错处理，比如格式化为下游任务可用的格式。

如果只能是使用国产 LLM 的场景，可以多选几个，因为并没有一个绝对领先的国产LLM，同时也可以一个失败了就请求另一个；要做好大量“额外”工作的预期。

如果是面向“全球”的创业，最好的办法就是现在很多公司采用的方法：使用最先进的模型，主动屏蔽国内使用权限。

这是一种看上去有点荒唐的解法，一群中国人在中国，做着中国人无法使用的应用，但是这也是应用层目前最好的解法。

---

封面由AI生成，提示词：城市街道上，一个橙色人形机器人，双足，十字路口