AIGC进化：奇异轨迹与超智能(ASI ) )。

日期：2023年04月16日 12:06 浏览量：1

1999年，Ray Kurzweil作出了以下预测。

2009年，计算机是平板电脑或更小尺寸的设备，质量很高，但在2019年(传统显示器)，计算机显示“几乎看不到”大多数图像直接投射在视网膜上

2029年，计算机直接通过神经通路进行通信。

观察近20年人工智能，机器人技术和制造的发展，特别是最近AIGC的进展，一些指标得到了阐明技术正在加速向奇点发展。

技术奇点

奇点singularity的原意也有“奇异、突出、稀少”的含义，这些含义逐渐引入自然科学，并首先应用于数学领域被物理学界、天文学界等引用。各种版本的“技术奇点”预测随之而来。

技术特点“版本1.0”: [ xy 002 ] [ xy001 ] 1958年“技术奇点”的概念首次由波兰数学家斯坦尼斯拉夫拉姆(Stanisaw Marcin Ulam )提出。世界会发生剧变。

技术特点“版本2.0”: [ xy 002 ] [ xy001 ] 1993年，计算机科学家、科幻作家芬奇(Vernor Vinge )在Shuming hao123 @ QQ.com (thecomingtechnologysingularity )一文中写道“技术奇点”的到来标志着人类时代的终结。而且，超智能是“技术奇点”出现的前提。因为，新的超智能(super intelligence )会持续自我进化，以令人难以置信的速度取得技术进步。

技术特点“版本3.0”: [ xy 002 ] [ xy001 ] 2005年奇点大学创始人兼校长、谷歌技术总监湖人队韦尔(Ray Kurzweil )在ShumingHao123@QQ.com) thesingularityisnear )一书中对“技术奇点”的概念进行了再一次调整与我们熟知的概念也很接近，曾预测技术奇点将在2045年出现。他认为，“技术奇点”是指技术变革迅速而深刻的发展给未来人类生活带来的不可逆转的变化，主要是指人工智能的迅速发展。奇点允许我们超越生物身体和大脑的限制，未来的人与机器之间没有区别。

技术特点“版本4.0”: [ xy 002 ] [ xy001 ] 2013年牛津大学人类未来研究所高级研究员桑德伯格(Anders Sandberg )认为，扩大“技术奇点”的影响范围，“超级智能”并不一定是必要的，任何新技术都有可能给人类社会带来根本性的变化而且，这种技术的发展和变化都可以称为“技术奇点”。

GPT用户，梦想有伙伴吗？

2022年11月30日，OpenAI发布了ChatGPT对话界面和大规模语言模型。对很多人来说，这是一个革命性的时刻。其输出非常惊人，节省了时间，答案很有说服力(如果OpenAI认为可以安全回答的话)。

奇妙的是，你今天几秒钟内就可以通过LLM得到不完整有效的答案。这个答案取决于领域专家的几分钟考虑和在线论坛几个小时的讨论。

聊天机器人一直是人们渴望的陪伴对象。图灵测试背后的动机可能是想要一个不会打破沉浸感的聊天机器人。

还有待测试的是

人类可以选择优化阻力最小的路径，复制或“谷歌”反复批判性思维和失败可能获得的不同知识。 ChatGPT的出现：学生可能会用LLM为他们写论文，取得好成绩。 Stack Overflow可能为了个人利益而受到魔女攻击而且，观众(程序员)可能会以某种方式保护deepfakes的交响曲。脚本混蛋可能暗示ChatGPT上有恶意软件。 LM的主流使用是否损害了我们的生产能力，特别是在健全、有效和发散性思维方面？

奇点之前的最后一个傀儡师

人工智能所能产生的最深刻的影响在于人力资本分配的文化。最近的一个观点很好地描述了人们对ChatGPT的反应：

最高兴的是发现机器明显可以胜任书面请求而目瞪口呆的人。

到目前为止，一切都在预料之中。回顾历史可以发现，人们通常高估了新通信技术的短期影响，大大低估了长期影响。印刷、电影、广播、电视和互联网也是如此。在试图理解

的影响时，我们试图分离短期破坏，推测中期和长期的结果。

尽管如此，用市场走势来表达这种反弹可能是个好办法。 AI助手改变了内容创作的稀缺性，在一定程度上成为了市场上的商人。每当家喻户晓的“精灵”离开“瓶子”，消费者就会通过重新定价，逐步淘汰优质供应商而获得不对称利润。反过来，基于AI生产的供应商随着时间的推移，积累了更多的资本。

可能有人声称，存在着公司垄断，该公司有能力爬上整个互联网以生成训练数据集。可能只有数量有限的SaaS才能消耗这些资源来创建新的ML模型。当基于ML的业务变得足够不稳定时，能够实现并维持PMF的人可能会变少。在过去被HAL 9000、Skynet、Butlerian Jihad这样的心理战术欺骗了。

许多公司和智能代理在AI经济中就稀缺性进行合作。我们现在的资本主义社会产生没有负面反馈的技术官僚的可能性有多大？它可能会逐步淘汰社会经济阶层、基本原则，例如人权/财产权，或者加速某种形式的大规模毁灭吗？

这听起来可能是无稽之谈但是，需要注意的即将到来的拐点会对社会的运营方式产生根本性的影响。一年后，可能会有人写关于特定AI依赖产品的快速立法和郁金香迷。 5-10年内实现独资经济、现有政府形式、个人自主/消费报销。 “Megacorp”模式在整个颠覆过程中可能仍然占主导地位，我们可能会发现自己处于“网络状态”，或者像奥威尔一样。。这一切都是因为计算机“以任何方式获得”编译自然语言的集体使用，包含了当今社会的许多操作和经济功能。不管时间线是什么，这都将是“奇点”很久以前的明显拐点。

方法和技术

InstructGPT的核心是策划团体中最好的模仿，也称为人类反馈和通过RLHF进行的强化学习。但是，InstructGPT是LLM，有点静态，容易复位。提示界面幕后的模型被反复训练，推测对提示最简单的报酬反应。

但是，使NLP“完美”也存在挑战。

这些技术非常有前景和影响力，人工智能领域最大的研究室正在引起关注但是，仍然有明显的局限性。这些模型可以不确定地输出有害或实际不正确的文本。这一不完善性意味着RLHF的长期挑战和动力——正在固有的人类问题领域运行，意味着永远无法越过明确的终点线单击，将模型标记为完整。使用

rlhf部署系统时，由于强制和深思熟虑的人为因素，收集人类喜好的数据非常昂贵。 rhf的性能与人工注释的质量相同，人工注释有两种。人工生成的文本中选择所需的族。例如，微调InstructGPT初始LM和模型输出之间的人类偏好标签。

为了回答特定的提示而生成写得很好的人工文本是非常昂贵的因为通常需要雇佣兼职工作，而不是依赖产品用户和众包。幸运的是，用于训练许多rlhf APP应用的激励模型的数据规模(~50k标记优先样本)并不昂贵。但是这可能比学术研究室的成本更高。

现在中选择所需的族。只有一个基于公共语言模型的RLHF大数据集来自Anthropic，并且有几个小的任务特定数据集，例如来自OpenAI的摘要数据。 RLHF数据的挑战是标记者的偏见。一些人表记者可能有不同的意见，在训练数据上有潜在的差异。

RLHF可应用于自然语言处理(NLP )以外的机器学习。例如，Deepmind探索将其用于多模式代理。同样的课题也适用于

可扩展强化学习(RL )依赖于查询成本低廉的准确报酬函数的情况。当RL可以应用时，它已经取得了很大的成就，制作了与人类才能匹配、可以分布极值的ai (silver等人，2016年； Vinyals等，2019年)。但对于人们经常参与的许多开放行为，这种报酬功能并不陌生。例如考虑要求某人“把杯子放在你附近”的日常互动。在能够充分评价这种互动的激励模型中，需要对用自然语言提出要求的各种方法和满足(或不满足)要求的各种方法具有鲁棒性，同时无关的变化要素(杯子的颜色)和语言固有的歧义)“接近”是指什么？ )不敏感。

因此，为了用RL教授更广泛的专家水平的能力，需要一种生成准确且可查询的报酬函数的方法尊重人类行为的复杂性、可变性和模糊性。除了编程报酬函数之外，一个选择是使用机器学习来构造它们。代替尝试预测并正式定义奖励事件，可以要求人类评估情况并提供用于学习奖励函数的监控信息。对于人类可以自然、直观、快速地提供这样的判断的情况，使用这种学习报酬模型的RL可以有效地改善主体(Ibarz等人，2018年； Stiennon等人2020年)

引起奇点的许多因素还需要进一步发展，与实施它们所需的时间框架相比，可以更有把握地确定它们是什么。 Chris Lattner在他的POV中提到了“疏门控制专家小组”:

简单来说，一个中介也许可以策划和组合很多“专家”的输入。

这为进一步的研究提供了广阔的设计空间。中间层可能应该用不同的方法选择。

例如，利用空间数据。

网络学习环境是一项特别有吸引力的工作。像Twitch Plays Pokemon一样，JRPG是回转式的，所以输入相对简单，NLE也是回合制的，只需要键盘输入。另外，在游戏不同阶段的多个环境中拥有程序生成，成为了训练AI的极其有用的熔炉。从我自己玩这个游戏的经验来看，你必须根据回合制策划和组合很多战略。通过利用polypiling和bones harvesting等元游戏策略(作弊)，AI可以通过多种方式逐游戏进一步学习。

Tesla和Neuralink最近开发的企业级机器学习等。工业规模的生产需要工业规模的反馈强化学习。 Optimus可能是个噱头，但与Atlas相比，在过去9年中机器人的改进可能更多。 Neuralink植入物可能会杀死受试者，但会促进极其准确的手术机械和部件的发展。

制造业反馈良好，但卫生部门需求最大。现在，我们是零售生物传感器的初期采用者。随着时间的推移通过同型密码学，机器学习可以利用大量的健康数据。几万年来，我们将药物消耗在众包中，但我们如何与人工智能共存还有待观察。人工智能可在任意时间跨度内管理任意物质剂量。同时由于效率问题，准同态加密还没有被使用。 [ xy 002 ] [ xy001 ]谷歌brain刚刚发布了Robotics Transformer-1。在最初的版本中，它可能只是执行简单任务的手臂但是，很明显，在典型的生成环境中，可能会使用更多的标记操作进行迭代。由于世界经济以货运为主，与目前世界上约6000艘集装箱船相比，最终在此类设施上建造100艘以上的“零排放”集装箱船，是正常的。这也是住房危机中巨大潮流的变化，分区条例允许它完全生效。

还必须提到艾伯塔计划，12个合理的AGI能力发展步骤。

“路线图”一词意味着绘制直线路径也就是说，是按顺序执行并通过的一系列步骤。这并不是完全错误，但我们没有认识到研究的不确定性和机遇。此处概述的步骤具有多个相互依赖性，而不是从头到尾的步骤。路线图推荐自然的顺序但是，在实践中通常会偏离这个顺序。有用的研究可以进入任何步骤，也可以添加。例如，我们许多人最近在统一架构方面取得了有趣的进展，但这些进展只出现在排序的最后一步。

首先试着全面理解路线图及其基本原理吧。总共有十二个步骤。标题如下。

1.表示I :具有给定特征的持续监督学习。 2 .标识:监督特征发现。 3 )预测1 )连续广义价值函数(GVF )预测学习。 4 .控制I :持续演员-评论家控制。 5 .预测2 :平均鼓励GVF学习。 6 .控制:持续控制问题。 7 .计划I :计划平均报酬。 8 .原型-AI I :具有连续函数逼近的基于模型的进一步强化学习。 9 .计划2 :搜索控制和探索。 10 .原型-AI II:STOMP过程。 11 .原型-AI III:Oak。 12 .原型-IA :智力拓展。

这些步骤将组合这些算法，以开发用于表示、预测、规划和控制的核心能力的新算法，从而为持久的基于模型的AI提供完整的提示

简单来说，从ANI到AGI，再到ASI的方法和技术的转折点是显而易见的。

“指数进步”

上述虚拟形象计划是理想的情况。人已经很复杂了作为个人使用稀疏神经网络工具的团体，具有自组织、社会学习、环境工程的特性。在密码学和方差(抵抗性)计算的最新发展中，人类自治的程度只能保持图灵完全的全球状态(历史)。也有被称为机械土耳其人的现象。重要的是，AI产品在任意时间范围内的下降，具有通过协作执行超越现有水平，并通过同步AI工具和可验证工作得到增强的成熟开发者生态系统。

这促进了现在的思想实验：我们有必要在The Singularity之前实现所有预测的拐点吗？关于商业化模式培训中的所有独特改进，可能有在公共领域可以实现的方法。。 StableDiffusion已经引起了围绕这个概念的对话。众包在过去的10年里已经足够快了。 (正如Twitch Plays Pokemon、社交网络、DAO所证明的)奇点已经是转移注意力的问题。尝试实施轻量级解决方案，以使以太网扩展解决方案使用密码学(如zk-SNARKs )减少网络基础设施需求，减少现有大企业暴力破解AI货币化的需求。

实际上，反驳OpenAI模型的最好方法之一是金融市场和社交网络上类似的社会资本系统在某种程度上是可预测的行为。 Twitter之所以总结新闻，是因为用户可以在全世界通过合法人物进行播放和放大。随着COVID封锁和央行货币政策等全球趋势，成长型股票可能大幅上涨和下跌。不需要太多想象力，就能在短时间内想象出第一家能将人工智能这样的PMF表现为自我调节、自我组织的社区的公司。数千亿美元的运营成本可能会因现有技术和进一步的业务发展而在很多部门释放。在

电视剧《西部世界》中，名为Rehoboam的人工智能系统通过分析大规模数据集来操作和预测未来，从而使人类事务有序工业革命以来，颠覆性创新反复出现在官僚机构之外；今天他们正在以越来越快的速度发生。近几十年来，公共领域的深度和范围不断扩大，许多技术无论商业化程度如何都被迫开源。

AIGC进化：奇异轨迹与超智能(ASI ) )。

推荐阅读