买股票用杠杆
今年，是AI大模型落地应用元年。企业对AI大模型寄予厚望，落地场景越来越多样、纵深，并正在以结构性的力量对产业进行重塑。
9月6日，2024腾讯全球数字生态大会互联网AI应用专场在深圳举行。科创南方来到活动现场，并在会后参与对话腾讯云副总裁许华彬。
在这前一天，腾讯正式发布新一代大模型“混元Turbo”，效果在多个基准测试上对标GPT-4o，推理效率提升100%，推理成本降低50%，第三方测评居国内第一。据了解，目前腾讯内部近700个业务及场景已接入，包含腾讯元宝、腾讯云、QQ、微信读书、腾讯新闻、腾讯客服等。
据了解，目前腾讯云AI产品已覆盖超过400家互联网头部企业，累计服务超过12万家互联网客户。
以混元为代表的AI大模型驱动着产业创新发展，在业务高效创新上展现出了更强势的产品力，并且不断给用户带来全新的体验。现场介绍，值得买科技、燧原科技、趣丸、猎聘、腾讯新闻等，都在混元大模型、腾讯云的基础上，开展了一系列互联网AI应用实践，要么用以提升业务效率，要么用以创造用户新体验。
当生成式AI成为大热门，云有什么变化？在许华彬看来，生成式AI带来更大规模的数据交互，更高的能耗以及不同的运维体系。
同时，面对大模型浪潮到来下企业需求的变化，许华彬告诉科创南方，AI很可能成为未来的第二增长曲线，云行业客户需求从早期的视觉领域拓展到数字人的应用等方面，而在这一过程中，腾讯云在AI基础设施上的能力也变得越来越成熟，以适应行业的发展需求。
AI搜索，可以说是离我们生活最近的AI应用之一了。我们每天都离不开搜索，那如果AI和搜索结合起来，会如何重塑我们的搜索使用习惯？在值得买科技首席技术官王云峰看来，人与搜索工具的使用过程，其实就是一个相关驯化的过程。早期，我们用傻瓜式提问期待搜索引擎做出全面回答，但是当时技术并不支持；如今，当AI搜索出现后，我们却反而是用关键词去向AI进行提问。
在和腾讯云副总裁许华彬、值得买科技首席技术官王云峰的对话中，我们对云+AI的发展、生成式AI在泛互联网行业的落地趋势等方面有了更深入的了解。
▲腾讯云副总裁 许华彬
▲值得买科技首席技术官 王云峰
以下为部分整理后的部分采访实录：
问题：现在Chat GPT发布一年多了，大型的云厂商也逐渐构建起了比较完善的AI产品服务体系，并且每个运营厂商有自己的特点，有的主打开放生态，有的是闭源生态，也有专注于工具层的。腾讯云走的是什么路线？为什么要走这种路线？
许华彬：作为云厂商我们侧重两个方面，第一是我们做好基础的设施，大家知道算力是最基本的要素，包括训练数据的存储、网络，这是一个基本点。第二是站在运营商的角度看，对每家模型我们本身还是比较开放的，大家看到我们的平台，其实结合了多家的模型，除了腾讯自己的混元大模型，也有国内的各个厂商的大模型。
问题：在大模型兴起之前的、传统的云，和现在生成式AI的云，它的需求以及需要的能力有什么不同？
许华彬：传统云业务的数据流量相对较小，而生成式AI的云业务，尤其是训练集群，涉及多台机器间的大规模数据交互，流量通常达到T级别以上。因此，这两者在数据需求上存在显著差异。此外，功耗需求也不同，生成式AI所需的H级机柜可能需要几千瓦甚至更高的电力支持。同时，运维体系也存在区别。
其实腾讯早已在AI领域展开了实践，在OpenAI发布ChatGPT之前，腾讯已经开发了自己的模型，虽然当时的模型可能与现在的大模型有所不同，但这一领域的探索已经持续多年。
问题：AI搜索是现在比较热的话题，都说有搜索框的地方就有AI搜索，您怎么看待AI搜索的？
王云峰：我最初的工作是在搜狗，负责搜索相关的业务。我有特别深的一个感触——当年用户向搜索引擎提出的问题，正是我们现在希望他们向AI提出的问题。
AI对话刚推出时，很多用户使用它的方式其实和他们使用搜索引擎的方式很相似。如果用户像20年前那样使用搜索引擎——明确提出自己的问题并期待答案——我们反而会更高兴。那时候，用户会直接表达他们的问题，并希望从搜索引擎得到解答。然而，现在人们更多地依赖关键词搜索。
这种变化体现了搜索引擎和用户之间的一种“互相驯化”。早期，人们期望通过简单提问从搜索引擎获取答案，但技术水平有限，无法完全满足需求。而现在，AI具备了更强的理解能力，但用户的习惯已经被关键词搜索固化了。
在我看来，云计算和AI的发展规律类似，是一个使用者和工具相互适应的过程。工具的能力会影响用户的使用方式，反过来，用户也会学会如何更好地使用这些工具。
AI对搜索引擎的影响尤其明显。过去，人们通过提问寻找答案，而如今，AI不仅可以提供答案，还能结合新的检索技术，进一步提升准确性。当然，AI在某些方面仍然存在局限性，比如数据时效性的问题，但搜索引擎的检索技术可以很好地弥补这一点。所以，我认为，AI和搜索的结合，将为用户带来更加优质的体验。
问题：现在很多公司都在做AI搜索，你们觉得可能哪些特质的公司最后跑出来成为AI时代做AI搜索的赢家？
王云峰：我认为，目前AI搜索还处于早期阶段，这个阶段很像当年搜索引擎刚起步的时候。回想Google的早期版本，很多人觉得它的搜索效果并不好，每次更新后结果都会有所不同，规律难以把握。但随着不断优化，它逐渐变得越来越好。AI搜索也处在类似的发展阶段。虽然搜索本身在信息获取上有局限性，但并非所有问题都能通过信息获取解决。
能够在AI搜索领域脱颖而出的公司应该具备两方面的特质。首先，这家公司需要对产品有极强的追求。就像当年搜索引擎经历了多年的调优过程，AI搜索同样需要不断调整和改进。只有在产品上持续追求卓越，才能在这个领域取得成功。
其次，成功的公司必须在信息检索方面有一定的积累。我特别强调信息检索，因为这不仅仅是搜索技术本身的积累，还包括整体搜索体验的积累。比如，在一些通用领域，可能传统的搜索方式已经能够满足需求，但在更为专业的垂直领域，公司需要对这些领域有深入的理解，才能为用户提供真正有用的答案。
正因为如此，我认为积累深厚的公司更容易找到合适的合作伙伴，并在AI搜索领域取得成功。毕竟，覆盖所有领域是不现实的，但对某些领域的深刻认知和积累可以帮助他们走得更远。
问题：因为您之前一直就是负责云业务，在这一波大模型浪潮来了之后，感觉客户需求跟之前有什么改变，遇到的最大的挑战是什么？
许华彬：随着大模型浪潮的来临，客户需求相较以前有了显著的变化。AI很可能成为未来的第二增长曲线，我所负责的云行业客户围绕AI的需求明显增多。过去，AI需求主要集中在视觉领域，比如OCR、图片识别、图文识别以及语音识别和合成等应用。近年来，随着大模型的发展，数字人的应用也变得更加广泛和成熟，需求也从原来的脚本编写扩展到利用语言模型驱动的应用。
腾讯云不仅在模型开发上发力，还提供了覆盖整个数据处理链条的服务，包括数据清洗、数据存储、数据库能力、数据湖能力等工具。同时，云服务的底座基于多种异构化选择，使得腾讯云在AIGC时代有较强的准备能力。此外，云服务在上线过程中，内容风控也是至关重要的一环。腾讯云能够提供从前端到后端的全面云场景能力输出，满足客户的多样化需求。
数据中心时代，云服务的一个显著优势在于“开箱即用”。无论是整体解决方案、局部服务还是插件，客户都可以按需下单使用，享受云服务带来的弹性伸缩、研发便利性以及资源规模化效应。
虽然AI的应用前景广阔，但仍然面临许多挑战。尤其是从去年开始，业界对大模型的预期非常高，但在实现过程中，存在不少技术上的困难。过去，大家已经关注文本和语言模型技术多年，但由于参数受限，进展相对缓慢。然而，随着OpenAI推出ChatGPT后，市场的需求和期望变得更加复杂。
我还想起来，在2022年底或2023年初时，很多公司都在构建训练集群，而算力设备容易发生故障，导致训练中断。为了应对这个问题，腾讯云花费时间优化了故障恢复的效率，从最初的30分钟缩短到20分钟，直到如今可以在10分钟甚至几分钟内恢复训练进度。这些持续的优化让腾讯云在AI基础设施上的能力变得越来越成熟，适应行业的发展需求。
问题：关于混元大模型，腾讯云最近上线了多模态的MOE模型，想问下为什么选MOE这个架构，出于什么考虑？
选择MOE架构并不是最近才做出的决定，早在2022年甚至更早，腾讯混元团队就已经在使用MOE模型，并在此基础上不断升级。选择MOE架构是基于多方面的考虑。
一方面，很多场景中希望模型的参数越大越好，MOE模型能够很好地平衡参数规模与不同专家领域的知识储备需求。其次，MOE模型在成本控制方面表现优异，特别是在全推理场景中，计算成本通常非常高，而MOE模型能够在提供大规模参数的同时，降低推理成本。
另一方面，是在成本上。关于大模型和小模型的各种争议一直存在，但总体来说，模型参数越大，结果往往会更好。然而，在实际应用中买股票用杠杆，还需根据不同场景灵活调整。例如，在腾讯会议中，AI总结和会议纪要等功能的使用量非常大，因此需要在效果、成本和可持续发展之间找到平衡。有时候，会通过蒸馏技术将大模型压缩为较小的模型，以应对高成本压力。所以我们要既考虑效果，又要考虑成本，也要考虑持续性健康的发展，最终选择了MOE架构。