用训练和围栏做出的黑箱智慧~对GPT的一些思考
记得上一次主动学习人工智能的知识,还是在alpha go的时期。当时因为好奇心的驱使,主动学习了 卷积神经网 和 循环神经网的一些基础知识。
这几天补了一些GPT模型的知识,模糊的认知依然模糊,但我先说个结论:上从原理上看,我感觉现阶段人类无法真正理解chatGPT每次对话的输出内容的生产过程。
也就是说,即便后台放一个debug的监视窗口,可能我们只能看到这1750亿的参数的数值情况,但每次输入问题后,为什么变成这样的数值情况是说不清楚的。
我的感觉是这样的:
从原理角度来看,GPT模型是前面人工智能模型的发展和延续
在微观上看,在巨大的参数规模出(1750亿)现后,参数之间形成了未知的关系。这种参数数量和参数关系的“量变”之后的状态,无法用之前的人工智能模型来归纳或推测,导致在宏观上看,chatGPT有了新的特征,这种特征导致了问答结果的质变
基于GPT的模型原理,我们可能知道知道“这样的输入”会产生“那样的输出”之间是有【定性】可表述的逻辑关系的
我们无法说清楚每一次对话中“具体的输入值A”到“具体的输出值B”之间的准确的【定量】逻辑,这1750亿个参数因为这次“输入值A”产生了哪些权重和数值变化,最终得到的“输出值B”
之前看到还有人怀疑GPT模型是否是人工智慧,因为这利用了计算机处理效率+巨量参数的回归计算方法 跟人类智慧完全不同,这种暴力的方式是否能称为智慧呢?
虽然理论上说不清,但我依然认为这是“人工智慧”,但肯定不是“拟人智慧”。因为研发者只在量变的部分有所把控,其训练过程是清晰明确的;但前面做的这些 和 最终那个质变的宏观结果之间没有清晰的因果逻辑
甚至我认为,说不清楚这宏观的因果逻辑的原因在于我们缺乏对人类大脑思考的认知。我们只知道人类思考用了大量的逻辑关系,但这些逻辑关系跟人脑物理电信号处理之间的关系是认知模糊的
所以我们无法预测系统每次回答“要说什么”,但我们可以通过几个确定的参数来干预系统“一定不说什么”
既然人无法预测,那么把系统分成两个 chatGPT-a 和 chatGPT-b,且两个系统进化一致,那么a系统能否预测b系统的回答? 我不知道......

