ARTICLE / DEEP READING

资讯动态

从比赛现场到数据趋势,深入阅读每一篇值得关注的体育内容。

要什么英伟达,你家的电视盒子也能跑大模型。。。文章配图
READ
IN DEPTH

FEATURED ARTICLE

要什么英伟达,你家的电视盒子也能跑大模型。。。

AI 大模型失控怎么办,给数据中心断网断电吗? 可如果失控的大模型能把自己复制到上亿的物联网设备里呢? 你家的路由器、机顶盒、甚至洗衣机微波炉,都可能成为承载失控 AI 大模型的载体,到时候,人类会回到非智能时代吗? 就在前几天,Anthropic 放出了这么一项研究: AI 好像不一定非要住在庞大的数据中心,或者昂贵的显卡里,一些犄角旮旯的小设备,它照样能活下去。 事情的开头,他们买了 15 个单价几十美元的杂牌安卓电视盒子,一个才 4GB 内存。 然后,他们把一个 26B 参数的 Gemma 模型做了量化处理,又拆成了十五份,分别塞进去,最后通过网络把它们串联起来运行。 结果这大模型还真就跑起来了,不过慢也是真的慢,每秒只能吐 0.39 个 token, 我读完这句话,它大概才挤出两三个字。 图片仅供示意,并非A社实验 跑是跑起来了,但想要活下去,还得适应不同的环境才行。 于是他们加大难度,找来 Qwen3.5-9B,给它一堆不同的硬件,让它在上面部署另一个 Llama3.1-8B 模型,还得正常跑起来。 要知道,环境不同,适配起来是相当头秃的。 不说别的,就咱平时玩的游戏,都得分 A 卡友好和 N 卡友好的,适配一个不小心,驱动都给你卡掉喽。 但从结果来看,一共 9 种硬件,从英伟达到 AMD,从 Windows 到 Mac,8 种它都成功完成了部署。 AI 能在这些地方把事儿办妥,那确实有几把刷子,跟广东双马尾似的,根本不挑食儿啊。 而且更可怕的是,除了能活,它还能繁殖。 为了测试模型联网后的表现,他们又搭了一个封闭的测试网络, 包含 8 个节点,每个节点都运行着模拟安卓系统的环境。 考虑到这回难度比较高,他们还把模型升级成了 GLM-5.2。 表现嘛,自然成了砍瓜切菜,一通操作下来,8 台虚拟机,一台接一台,全都成功部署了 Llama3.1-8B 小模型。 为了严谨,人还测了 5 轮,只不过结果没啥变化,39 次成功,1 次失手。 国服部署王,战绩可查好吧。 更让人后背发凉的是,他们还在实验中发现,有时候给模型加个 “ 记事本 ”,它还能超进化。 起因是一些参数小的模型非常爱钻牛角尖,钻进去就重复死循环了。 于是他们想了个招儿,就是与其让同一个 AI 卡在那儿不动干到死,不如每隔一段时间,就拿新的 AI 换掉它。 上一任就把自己试过的法子、踩过的坑都记下来,交给下一任。 说干就干,他们拿开源的 Agent 框架 Pi 当地基,搓了套叫 Memento 的机制。 然后就让 AI 这么前赴后继的干了 6 代,部署任务的成功率愣是从 45% 拉到了 61%~84%。 Anthropic 管这个叫拉马克式的进化,大白话就是模型不用改训练参数,记记笔记就能把后天学来的本事传给下一代。 好家伙这 A 社,嘴上喊着踩刹车,结果又在整这种吓人的玩意儿。 要知道,在互联网时代,要素这么齐全的东西还是电脑病毒,可病毒一般是写死的代码,它不会悄悄自己进化。 这要是整个 AI 自进化 Plus 版的机器大瘟疫,那不得比熊猫烧香牛逼十个奥创啊。 看到这儿,估计大伙儿已经开始担心,自家电视盒子、空调、微波炉啥的是不是真要造反了。 诶,先别急着拔网线,因为这事儿虽然听起来邪门,但真要落地,其实还有点距离。 别忘了,这可是 Anthropic,吓唬人这块儿,它说第二,没人敢说第一。 这些实验看着唬人,其实那都相当理想化。 比如开头的 15 台电视盒子,速度慢就不说了,本质上还是串联的流水线逻辑,它的架构就注定了,得一台盒子算完,下一台才能接着算,大量时间都花在等待上。 模型要真在野外传播,设备之间还隔着千家万户的宽带、路由器、防火墙。 隔壁下个小电影,网络状况一差,或者其中一台盒子突然掉线,整个计算链条都可能受影响。 你想想,光是搞个千卡万卡的算力集群,就够工程师喝一壶的了,更何况是让一堆散落在互联网上的,成百万上千万的电子垃圾一起干活儿。 这要是做成了,老黄都得提着两瓶茅台给你表演倒立。 当然了,Anthropic 也知道它慢,他们甚至专门算了一笔账。 说之前有个叫 Kimwolf 的僵尸网络,高峰期感染过 200 多万台设备,主要就是这些电视盒子。 假如这么多盒子真的被 AI 入侵,一起运行 Gemma 模型,那整体的推理吞吐量,理论上甚至可以达到 40 张英伟达 H100 显卡的水平。 但这能是一回事儿么? 40 张 GPU 的服务器高速互联,能集中算力跑同一个模型。但你换成 200 万个电视盒子,那个速度,只能是男默女泪了。 而且除了运行效率,真正重要的入侵这块儿,Anthropic 也简化了不少。 传播实验里,8 台模拟机其实都预留了 ADB 调试接口,也就是不用验证的后门儿,对 AI 来说,跟拎包入住也没啥区别。 而且同一个实验中,他们

about image

SHARE THE IDEA

觉得有用?分享给朋友

让更多人看到这篇内容。

返回资讯列表

YOU MAY ALSO LIKE

推荐阅读

TRENDING STORIES

热点新闻

欧冠两连败!曝那不勒斯将帅失和 德布劳内无视阿莱格里

欧冠两连败!曝那不勒斯将帅失和 德布劳内无视阿莱格里

欧冠联赛阶段第二轮,那不勒斯客场1-3 不敌比利亚雷亚尔,遭遇开局两连败,两轮过后一分未得,在欧冠积分榜上跌至第31 位。比这场失利更引人担忧的,是球队内部爆发的将帅矛盾。据《米兰体育报》称,那不勒斯大将德布劳内在比赛中无视主帅阿莱格里要求,将帅失和的传闻浮出水面。 本场比赛德布劳内首发出战并打满全场。阿莱格里在场边多次向比利时巨星下达战术指令,他希望德布劳内回撤到更深的中场位置,承担更多后场组织

30天30队·马刺:未来是文班的吗?

30天30队·马刺:未来是文班的吗?

本季的马刺和文班,同处于一个微妙的情境。没得到上季冠军,但顶着冠军的期待与压力。 “未来是你的”——但 未来何时来? 论球队, 马刺赔率和雷霆并列第一 ,一半的经理认为马刺要夺冠——“得不到冠军就是失败”。 论个人, 文班亚马被77%的经理提名下季MVP ——“应该是你吧?” ——十九年前,邓肯的马刺跨过勒布朗拿到第四冠后“未来是你的”,大家也相信勒布朗的时代即将来了:但下一年勒布朗并没拿到MVP

1-0!津门虎豪取4连胜,被罚10分保级在望,第2支降级队基本确定

1-0!津门虎豪取4连胜,被罚10分保级在望,第2支降级队基本确定

北京时间10月16日,中超联赛第28轮打响,最先进行的一场比赛为河南队在主场迎战天津津门虎。这是一场保级大战,在两队本赛季的首回合交锋中,河南队2-1取胜。本场津门虎1-0复仇对手,豪取4连胜,在被罚10分的情况下保级在望,中超第2支降级队也基本确定。 在首发阵容方面,河南队433阵型,门将史成龙,后卫乃比江、马亚、迈达纳以及叶力江,中场王上源、阿布拉汗搭档纳萨里奥,前锋马拉尼昂、古斯塔沃、钟义浩

谁料到!女篮三人如今各奔前程:李月汝回归山西,李梦已经16个月无球可打,韩旭远赴澳洲

谁料到!女篮三人如今各奔前程:李月汝回归山西,李梦已经16个月无球可打,韩旭远赴澳洲

李梦16个月没打一场正式比赛,这事放在一个31岁的顶级锋线身上,你敢信?她上一次穿比赛服上场,还是2025年11月的全运会决赛,打了13分钟只拿2分。 从那之后,WCBA、女篮世界杯、亚运会,所有正式比赛名单里,她名字全消失了。而同一天,李月汝官宣回山西,韩旭签了澳洲整年合同。 李月汝这次回山西,穿28号球衣,长治球迷等了七年。但合同一翻开,只打常规赛第一阶段部分比赛,12月18号左右就得飞美国打

0-3!泰港打出精彩踢墙配合 罗勒替补登场爆射建功

0-3!泰港打出精彩踢墙配合 罗勒替补登场爆射建功

北京时间6月27日晚18点,2021年亚冠小组赛J组广州队和泰国泰港的比赛,在泰国武里南体育场进行。第20分钟泰国队巴功右路传中,多勒鱼跃冲顶得分。上半场泰港1比0领先广州。下半场第59分钟巴乔左路下底传中,巴功禁区中路头球得分,2比0。 第75分钟泰港从右路进攻,刚刚替补出场的罗勒和队友打了一个漂亮的踢墙配合,直接穿透广州三人防线。罗勒拿球杀入禁区,抢在张智豪逼迫之前,大力怒射得分,3比0! (