大模型时代下的八个思考：算力、数据、应用与未来

大模型时代下的八个思考：算力、数据、应用与未来在2024外滩大会上，香港科技大学校董会主席、美国国家工程院外籍院士沈向洋分享了他对大模型时代机遇与挑战的八项思考，为我们揭示了这个充满机遇与挑战的新时代。思考一：算力是门槛沈向洋指出，算力是大模型发展的基石，其重要性不言而喻

大模型时代下的八个思考：算力、数据、应用与未来

在2024外滩大会上，香港科技大学校董会主席、美国国家工程院外籍院士沈向洋分享了他对大模型时代机遇与挑战的八项思考，为我们揭示了这个充满机遇与挑战的新时代。

思考一：算力是门槛

沈向洋指出，算力是大模型发展的基石，其重要性不言而喻。从2010年开始，算力需求以每年6-7倍的速度增长，近年来虽有所稳定，但仍保持着每年4倍的增长速度。这一增长趋势主要归因于大模型规模的不断扩大，参数数量的提升直接带动了算力的需求。沈向洋幽默地表示，如今如果没有1万张卡，很难称得上是做大模型的公司。他还以摩尔定律和黄氏定律为例，解释了算力增长的速度和难度，突显了算力门槛的现实意义。

思考二：关于数据的思考

沈向洋深入探讨了大模型训练数据的来源与未来趋势。他指出，从GPT3的2T数据到GPT4的12T数据，再到预计GPT5的200T数据，数据量的增长速度惊人。然而，互联网数据已经接近挖掘极限，未来需要寻求新的数据来源。沈向洋认为，互联网40年的积累或许正是为了迎接AI时代的到来。

思考三：大模型的下一章：走向具身智能

沈向洋认为，大模型的未来发展方向是多模态和具身智能。他指出，尽管目前的Sora模型在多模态领域取得了显著进展，但其物理性质并非完全可靠，无法构建一个完整的“世界模型”。未来，大模型需要进一步发展，走向具身智能，并以机器人作为其主要形态之一，自动驾驶就是一个典型的例子。他认为，生成和理解的结合将是通往AGI的关键路径。

思考四：大模型横扫千行百业

沈向洋强调，大模型将在各个行业掀起一场深刻的变革，带来前所未有的机会。他分析了不同类型的大模型所需的算力资源：通用大模型需要上万张卡，行业大模型需要千卡级别，企业大模型需要百卡训练，而未来将出现个人大模型。他以联想、微软、苹果等公司的例子，说明了PersonalIntelligence的发展趋势。沈向洋还分享了目前中国备案的大模型数据，其中70%为行业大模型，未来这一比例将进一步上升。

思考五：AIAgent--从愿景到落地

沈向洋将AIAgent视为人工智能时代真正意义上的超级应用，并强调其重要性。他指出，尽管ChatGPT功能强大，但距离真正意义上的Agent还有很长的路要走。Agent的出现将极大地提升人类的生产力，而目前的GPT还仅能实现单点突破。他认为，未来需要将工作流程、行业分析、大模型应用框架、平台、知识技能、任务、对话等方面有机结合起来，才能真正实现AIAgent的落地。

思考六：重视AI的治理

沈向洋强调AI治理的重要性，并指出不同国家对于AI治理的态度存在差异。他谈到AI对于民众、公司、政府和社会发展带来的冲击，包括人工智能可能影响美国大选结果的担忧。他认为，未来的AI发展需要从全球角度出发，建设主权人工智能，并以主权云作为其发展基础。

思考七：重新思考人机关系

沈向洋引发了我们对人机关系的思考，GPT带来的冲击到底是人机交互的震撼，还是机器智能的进步？他引用JohnMarkoff的《Machines of Loving Grace》一书，指出过去50年计算机科学发展有两条主线：AI和IA（Intelligent Augmentation）。他认为，过去几十年的主要进展是人机交互的突破，人工智能在相当长的时间里还是一个工具。他将Windows、搜索、推荐等技术的发展与人机交互的本质联系起来，并指出ChatGPT与微软的结合有可能成为AI时代最伟大的公司。

思考八：智能的本质，神经网络与符号系统的世纪之争

沈向洋指出，尽管GPT已如火如荼，但我们对智能的理解仍然十分有限。他将深度学习与物理学进行类比，指出深度学习存在很多无法解释的问题，也缺乏鲁棒性。他谈到GPT3涌现的智能，但其背后的数学原理尚未得到清晰解释。他强调了去年在香港科技大学召集海内外计算机科学家共同探讨涌现智能背后数学原理的意义。