云天励飞发布边缘设备“深目”AI模盒让每个企业都拥有专属大模型[淘股吧]
2024-03-29 17:18

在成功登陆科创板后的第一年，云天励飞再次证明了其在人工智能领域的创新实力。

在人工智能领域，大模型的应用场景落地一直面临着众多挑战，尤其是在边缘场景中的实际应用。

3月28日，云天励飞举办AI大模型产品发布会，正式发布边缘设备“深目”AI模盒，以其独特的算法芯片化技术和成本优势，打通人工智能大模型技术在场景落地的“最后一公里”。

“深目”AI模盒的问世，是云天励飞围绕其底层算法芯片化技术能力，特别是大模型技术快速迭代的成果。该模盒搭载了云飞励天自研的大模型推理芯片DeepEdge10以及自研多模态大模型“云天天书”，具备算法边缘侧在线学能力，从而实现大模型普惠化。

据了解，“深目”AI模盒能够实现“3个90%”——覆盖场景超过90%，算法精度超过90%，使用成本下降90%，帮助更多中小企业客户轻松使用大模型。

在发布会上，云天励飞与鹏城实验室、之江实验室、中国电子、华为、华润数科等单位成立“深目2.0”生态联盟，共同探索更多大模型落地应用路径。

值得一提的是，云天励飞还宣布“云天天书-2.0-68B”版本免费向合作伙伴开放；即日起预订“深目”AI模盒，即有机会获得邀约测试的机会。

十年磨一剑，从“深目”人工智能产品到“深目”AI模盒

云天励飞董事长兼CEO陈宁博士在发布会上表示，AI商业化将经历AI方案化、AI运营化、AI产品化三个阶段，而云天励飞的业务布局也对应了AI商业化的三个阶段，涵盖了AI方案、AI运营和AI产品三大板块。

在AI方案层面，云天励飞已经形成了成熟的城市级行业解决方案，包括安防、交通、城市治理和人居生活等领域，并在AI教育和低空经济等新兴领域取得了突破。AI运营层面，云天励飞正致力于智能算力运营、数据运营和新能源运营，以推动其业务的多元化发展。

而在AI产品层面，标准化智能硬件产品是云天励飞的战略重点。云天励飞正在通过端、边、云三个不同的计算节点和产品形态，推动AI从方案化走向运营化，最终实现标准化智能硬件化。在这一过程中，“深目”AI模盒的发布，不仅是云天励飞在边缘设备领域的一次重大突破，更是把云天励飞大模型通过算法芯片化能力平台“硬件化”的一次重要尝试。

事实上，云天励飞的第一款产品也叫“深目”，是一款基于CV小模型的人工智能产品，是全球首个城市级动态人像识别系统，开启了“AI+安防”新纪元。

陈宁博士表示，“在成功登陆科创板后，我们希望抓住IPO和GPT的双重机遇，于是选择了多模态大模型与国产工艺的边缘推理芯片的技术融合作为二次创业的方向，这是云天励飞十年来始终坚持的‘算法芯片化’演进路线，也是我们以‘深目’命名该产品的原因。希望深目2.0可以真正给人工智能行业带来全新的体验，助力人工智能行业解决长尾场景的碎片化问题，解决在线自学的问题，能够真正让AI在更多的场景、更多的行业实现价值的闭环。”

把大模型“装”进小盒子，千元成本拥有专属大模型

虽然名字未变，但无论是在技术底座还是场景应用层面，“深目”AI模盒都有全新升级和全面拓展。

事实上，在人工智能领域，大模型的训练和应用一直是一个重要的话题。然而，传统的训练方法往往需要大量的计算资源和时间，而且训练出的模型在新的应用场景中可能需要进行大量的调整和优化。这种模式不仅成本高昂，而且效率低下。为了解决这个问题，边缘计算和大模型的结合成为一种新的解决方案。

边缘计算是一种分布式计算的架构，它将数据处理的任务从中心服务器转移到网络的边缘，即数据产生的源头。这样可以减少数据传输的延迟，提高数据处理的效率。而大模型可以在边缘设备上进行快速的推理和应用。

云天励飞副总裁罗忆表示，边缘大模型+边缘微调的模式可以解决两个核心问题：一是对于大部分的场景而言都有一个“起步的算法”，可以避免从零开始训练模型，节省了时间和资源。二是针对新的应用场景不再需要将数据传回中心服务器进行训练，而是在边缘设备上进行微调，提高应用效率的同时，还可以降低应用成本。

区别于主流的训推一体机百万级的售价，“深目”AI模盒售价仅千元，用单手就能托起，搭载了云飞励天自研的大模型推理芯片DeepEdge10以及自研多模态大模型“云天天书”，具备算法边缘侧在线学能力，可实现算法覆盖场景超过90%，算法精度超过90%，使用成本下降90%，让人人都能根据自身场景需求，利用大模型能力，训练出可实战应用的算法，让大模型唾手可得。

“深目”AI模盒的核心优势在于其能够以更低的成本和统一的技术平台，解决多类细分场景中精度不足、成本过高、训练周期长和数据需求量大等问题。这是因为“深目”盒子的算力基础源于云天励飞去年推出的大模型推理芯片DeepEdge10，该芯片采用了14纳米国产工艺Chiplet技术，专为大模型推理计算而设计。这为AI在更多场景、更多行业的应用提供了可能，使人工智能技术能够在各行各业实现价值闭环，真正落地。

通过大模型和芯片能力“装”进小盒子，用户可以通过零学成本，快速训练出自己需要的算法。“深目”AI模盒不仅优化了面向边缘的推理算力，支持大模型的多模态处理和微调，实现了在边缘端的自学、自进化，还支持少量数据的在线微调和训练，使得客户在极简用户交互前提下能够实现微调训练的“越用越聪明”。

会上，云天励飞发布了“云天天书”3.5版本多模态大模型。据了解，“云天天书”自2023年初正式推出，至今已完成3个版本的迭代，预计今年6月将迭代4.0 V版本。

具体而言，用户可以基于“深目”盒子的预训练长尾算法，根据自身场景需求，在边缘端完成算法微调。基于“云天天书”大模型的泛化和学的能力，客户部署算法后，大模型能够根据现实应用场景情况，在线学、优化算法，不断提升算法精度，实现“场景算法，秒速训练”的效果。

坚持算法芯片化，建设生态推动人工智能技术的实际落地和价值闭环

在3月24日，亿欧发布的《2024中国“百模大战”竞争格局分析报告》中提到，在当前“百模大战”中，众多厂商开始探索应用场景落地并取得初步成效，作为典型案例，云天励飞自研大模型“云天天书”包含语言大模型、多模态大模型等不同系列，在C-Eval、CMMLU等权威测试中多次获得第一，具备业界领先的图文数据理解和问答等基础能力，针对行业场景可快速构建出高效、智能的解决方案及系统应用，目前已在政务、交通、警务、企业办公等领域探索落地。

云天励飞大模型技术和AI技术中心的负责人肖嵘博士分享了云天励飞在获取高质量数据方面的努力和策略。他指出，随着互联网数据的趋同和吃干榨尽，高质量的行业数据成为关键资源。云天励飞正与行业合作伙伴共同探索和共创行业大模型，以提供更精准的行业解决方案。

在本次发布会上，云天励飞还邀请了全国百余家头部渠道和代理商合作伙伴，以及众多高校、国家实验室、科研院所、运营商和大型央企参与。这些合作伙伴将围绕一系列技术路线和产品，共同探索和开发更多的应用，以实现长时间、大规模的使用和技术贡献。

陈宁博士表示，在AI行业，单一的产品或技术往往难以解决复杂的问题。因此，构建一个涵盖不同领域专业知识和技术的生态系统至关重要。这个生态系统不仅能够促进技术的快速迭代和创新，还能够为行业提供定制化的解决方案，从而赋能更多的企业和用户。

多模态大模型在边缘计算中的训练和推理一体化，尤其是算法与芯片的深度融合，被认为是实现AGI的关键技术方向。随着AI技术的深入发展，越来越多的场景被论证为适合应用多模态大模型。然而，仍有许多场景尚未触及，这一方向不仅需要技术的不断突破，还需要面对商业模式、市场等多方面的挑战。这需要整个生态系统的共同努力。通过广泛的合作，可以更快地发现和解决问题，加速AI技术在各行各业的应用。

在本次发布会上，云天励飞与鹏城实验室、之江实验室、上海交通大学城市治理研究院、哈工大深圳研究生院、中科院深圳先进研究院、中国电子、华为、深圳移动、深圳电信、深圳联通、华润数科、神州数码、中国铁塔深圳分公司、有人物联网、云赛智联等单位共同成立“深目2.0”生态联盟，共同探索更多大模型落地应用路径。

为助力每一位AI探索者，云天励飞宣布“云天天书-2.0-68B”版本免费向合作伙伴开放。合作伙伴可免费获取“云天天书-2.0-68B”部署包及6个月推理服务授权，免费使用天书平台自带的管理、支撑、应用及API等服务，快速构建场景应用。同时，即日起预订“深目”AI模盒，即有机会获得邀约测试的机会。

此外，云天励飞正在落地人工智能产业基金，通过投资并购在可穿戴设备、在交通、在智能的硬件、在机器人等领域构建更丰富的生态。

3月22日，云天励飞宣布收购智能穿戴方案设计头部公司岍丞技术，探索“大模型+智能可穿戴”深度融合。除了收购岍丞技术外，云天励飞还投资了智慧互通、臻识科技、神州云海等在动态停车、静态停车、全息路口及清洁机器人等方向的龙头企业，并作为创始股东成员之一参股深圳国创具身智能机器人有限公司，提供AI芯片、大模型领域的技术支持。

陈宁博士表示，“我们将继续依托算法芯片化，围绕多模态大模型和AI芯片技术，通过商业创新、市场合作、投资并购等方式逐步构建各项业务生态，推动人工智能技术在千行百业的实际落地和价值闭环。”