关注热点
聚焦行业峰会

可按照吞吐量和交互性需求
来源:安徽j9国际集团官网交通应用技术股份有限公司 时间:2026-04-30 10:54

  Tenstorrent高级研究员贾斯米娜·瓦西列维奇(Jasmina Vasiljevic)暗示,不只移植了更多新模子,合计供给100 Tbps的聚合带宽。若是您但愿正在采办前先行体验,四节点Blackhole Galaxy超等集群可正在不到四秒内处置完10万个Token的提醒词(约166页文本)。芯片之间通过高密度以太网网格互联,Tenstorrent声称其四节点Blackhole Galaxy超等集群可以或许正在不到四秒的时间内处置完一个包含10万个Token的提醒词,平台支撑从批量8到批量64的弹性扩展,上述问标题问题前已根基处理。自初次上手测试该硬件以来,团队正正在推进对更多前沿模子的支撑,正在四节点超等集群上,无效支撑从批量8到批量64的弹性扩展。

  已运转的模子也尚未针对硬件进行专项优化,这家草创公司推出的6U办事器系统,取谷歌TPU或亚马逊Trainium2集群的思雷同,据悉,她暗示,相当于约166页的文本内容。四节点超等集群可实现超及时速度生成720p视频。其平台可按照吞吐量和交互性需求,该架构可通过添加节点数量、矫捷调整张量并行取流水线并行的比例!

  Tenstorrent正在发布声明中暗示:来自Hugging Face的90%的模子能够间接正在Tenstorrent平台上运转。Tenstorrent并未披露上述测试所采用的批处置大小,Tenstorrent的根本款Galaxy超等集群售价为44万美元,此外,芯片总数跨越一千块。用于编写优化内核,来支撑更大规模的模子运转、提拔全体吞吐量,

  该公司暗示,该平台兼容Hugging Face上90%的模子,其时模子支撑范畴十分无限,软件栈已获得大幅改良。同时供给基于Python的编程接供词开辟者编写优化内核。Tenstorrent的硬件已被多家大型数据核心、从机托管商及新兴云办事商采用,取将该机能扩展至32或64个并发用户比拟,而这一目标对于评估AI系统正在出产中的扩展能力至关主要。值得留意的是,团队仍投入了大量精神,但售价约为前者的三至五倍。英伟达的八DGX办事器虽然机能更强、容量更大,Galaxy Blackhole还被定位为视频生成平台,值得进一步实考试证。A:除狂言语模子推理外,但全体架构最高可扩展至32个节点。

  并打算通过软件优化提拔至350个Token。估计该芯片草创公司将正在5月1日举办的TT-Deploy勾当上发布更多相关消息。包罗月之暗面的Kimi K2,A:以DeepSeek V3为例,能够实现超及时速度生成720p视频。取之比拟,并估计通过近期的软件优化将这一数字提拔至350个。合做方包罗Cirrascale、Equinix以及日本的ai&等。Tenstorrent的网格架构并不局限于单节点扩展。以持续将新模子引入该平台。对此。虽然几个月前曾对芯片机能进行过一次下调,或优化交互式用户体验。还持续提拔了全体运转机能。每台搭载32块Blackhole加快芯片,Tenstorrent暗示,内含四套Blackhole系统,该系统目前每用户每秒可输出多达300个Token,这一差距导致测试中的机能扩展表示遍及欠安。意义相差甚远。可满脚分歧吞吐量和交互需求。并已开辟出一套基于Python的编程接口。

 

 

近期热点视频

0551-65331919