大模型一體機(jī)塞進(jìn)這款游戲卡,價(jià)格砍掉一個(gè)數(shù)量級(jí)
來(lái)源:量子位 作者:金磊 夢(mèng)晨
家人們,你知道近段時(shí)間大火的各種大模型一體機(jī),里面到底是什么卡嗎?
相信很多小伙伴的第一反應(yīng),或許就是N卡。
但在我們接觸、體驗(yàn)了真實(shí)的大模型一體機(jī)之后,發(fā)現(xiàn)了一個(gè)大寫(xiě)的“萬(wàn)萬(wàn)沒(méi)想到”:
沒(méi)錯(cuò),里面也可以是英特爾的銳炫? 顯卡!
那這性能到底能不能跟上呢?
帶著這個(gè)問(wèn)題,在體驗(yàn)之余,我們還“抓”來(lái)了一個(gè)正在為這種一體機(jī)開(kāi)發(fā)方案的軟件公司進(jìn)行了一番“盤(pán)問(wèn)”。
這家公司叫飛致云,主要是把大模型一體機(jī)用在了自家的MaxKB上(一款基于大語(yǔ)言模型的知識(shí)庫(kù)問(wèn)答系統(tǒng))。
他們是把4張銳炫? A770顯卡和2張N卡放到一起,做了一下對(duì)比測(cè)試:
但是!
買(mǎi)半張N卡的錢(qián),就能輕松搞定4張銳炫? 顯卡。
由此,飛致云給出了這樣一個(gè)結(jié)論:
一個(gè)“性?xún)r(jià)比”關(guān)鍵詞,道破了為什么大模型一體機(jī)里面會(huì)出現(xiàn)英特爾游戲卡。
畢竟之前企業(yè)要私有化部署一個(gè)目前最流行的DeepSeek一體機(jī),那個(gè)價(jià)格可是動(dòng)輒便破百萬(wàn)元。
但現(xiàn)在,英特爾靠著自家的游戲卡,把這個(gè)價(jià)格直接就砍掉一個(gè)數(shù)量級(jí)。
因此,現(xiàn)在的大模型一體機(jī),有了另一種更高性?xún)r(jià)比的選擇。
而且有一說(shuō)一,除了一體機(jī)本身,若是聚焦在AI推理的任務(wù)上,現(xiàn)在可以說(shuō)是處處都有銳炫? 顯卡的影子。
##搞AI推理,請(qǐng)記住全新英特爾GPU+CPU組合
首先要說(shuō)明的一點(diǎn)是,搞大模型一體機(jī),英特爾靠的不僅僅是自家游戲卡那么簡(jiǎn)單。
它的背后其實(shí)是一記組合拳的模式:
英特爾銳炫? 顯卡 + 至強(qiáng)? W處理器。
銳炫? 顯卡在這里面的角色不用多說(shuō),主要是推理的“加速器”。
而至強(qiáng)? W處理器不僅能充當(dāng)“大腦”的角色,來(lái)負(fù)責(zé)通用計(jì)算與系統(tǒng)協(xié)調(diào),還能在一些開(kāi)源軟件平臺(tái),如KTransformer或英特爾自己開(kāi)發(fā)的工具,如FlashMOE的幫助下,與顯卡協(xié)作進(jìn)行異構(gòu)加速,例如在DeepSeek中承擔(dān)一些稀疏MOE的處理工作。
為了充分發(fā)揮銳炫? 顯卡的能力,英特爾通過(guò)優(yōu)化顯存帶寬(如A770卡間通信達(dá)20G/秒)和低時(shí)延技術(shù)(如內(nèi)存拷貝優(yōu)化),解決了多卡并行時(shí)的性能損耗問(wèn)題,提升了吞吐量(如70B模型支持12路實(shí)時(shí)聊天)。
即便對(duì)于不同規(guī)模場(chǎng)景,英特爾也能做到適配——從供AGI開(kāi)發(fā)人員使用的工作站(2卡)到裝載4卡或8卡的大尺寸一體機(jī),能滿足多樣化且差異化的需求。
例如我們剛才提到的飛致云的MaxKB,在知識(shí)問(wèn)答、智能客服、內(nèi)容生成、文檔合規(guī)檢查等場(chǎng)景中就實(shí)現(xiàn)了效率提升、成本優(yōu)化和風(fēng)險(xiǎn)控制。
同時(shí)依托高性能硬件解決了AI模型私有化部署與算力需求問(wèn)題。
除此之外,我們發(fā)現(xiàn)還有好多企業(yè)都在選擇構(gòu)建英特爾這對(duì)CPU與GPU組合的一體機(jī)系統(tǒng)、軟件或整體解決方案。
超云,便是其中之一。
超云基于英特爾的平臺(tái),打造了三種不同形態(tài)的設(shè)備。
例如適應(yīng)普通辦公環(huán)境的塔式工作站、小型液冷一體機(jī),支持包含英特爾銳炫? 顯卡在內(nèi)的2-4張GPU卡。
再如最高可配8卡的大尺寸高端一體機(jī),可運(yùn)行32B-70B參數(shù)規(guī)模的大模型。
據(jù)了解,所有這些機(jī)型都已經(jīng)投入到了實(shí)際使用當(dāng)中,主打:
· 企業(yè)內(nèi)部AI助手:超云自身使用開(kāi)源模型搭建知識(shí)庫(kù)系統(tǒng),實(shí)現(xiàn)自動(dòng)化報(bào)價(jià)、報(bào)銷(xiāo)審批;
· 金融行業(yè)智能投顧:基于32B蒸餾模型,提供實(shí)時(shí)數(shù)據(jù)分析與投資建議;
· 海量文檔處理:使用智能OCR+大模型,實(shí)現(xiàn)公文自動(dòng)歸檔與檢索。
與之類(lèi)似的還包括云尖。
它推出邊緣推理工作站,可支持4張GPU卡,適用7B-32B輕量化模型,可以滿足文檔OCR、智能質(zhì)檢等企業(yè)本地化AI應(yīng)用。
此外,已經(jīng)pick英特爾平臺(tái)的一體機(jī)解決方案還有很多,未來(lái)可能還會(huì)有更多,而如此多合作伙伴的一致選擇,也就不難從側(cè)面印證一點(diǎn):
不論是單純的AI推理應(yīng)用,亦或是融合了推理及各種可視化生產(chǎn)力應(yīng)用的復(fù)合場(chǎng)景,英特爾這套組合拳,已然成為了一種業(yè)界公認(rèn)的、高性?xún)r(jià)比的新選項(xiàng)。
##一體機(jī),為什么紛紛選擇英特爾平臺(tái)?
自春節(jié)前DeepSeek-R1驚艷亮相,經(jīng)過(guò)兩個(gè)多月的沉淀,從行業(yè)落地情況來(lái)看,明顯呈現(xiàn)出一個(gè)趨勢(shì):
越來(lái)越多的企業(yè)選擇以一體機(jī)的形式將DeepSeek融入業(yè)務(wù)。而這一趨勢(shì),也在影響其他大模型落地的“姿式”。
而部署速度快,正是這一趨勢(shì)得以率先顯現(xiàn)的原因。
一方面,得益于一體機(jī)開(kāi)箱即用且方便為各垂直行業(yè)深度定制化的特點(diǎn),預(yù)裝模型、優(yōu)化軟硬件協(xié)同,讓企業(yè)無(wú)需自行復(fù)雜調(diào)試。
另一方面,啟動(dòng)成本低的優(yōu)勢(shì)讓企業(yè)能先用一體機(jī)把大模型跑起來(lái),再慢慢迭代。
當(dāng)然,對(duì)于眾多企業(yè)而言,在選擇一體機(jī)時(shí),除了追求速度優(yōu)勢(shì)之外,實(shí)際上還有著更多深層次、全方位的考量因素,這些因素綜合起來(lái)影響著企業(yè)的決策:
·性能與成本更平衡,運(yùn)營(yíng)成本降低
一體機(jī)可實(shí)現(xiàn)性能與成本的精妙平衡,其憑借強(qiáng)大高效的硬件配置和優(yōu)化的軟件系統(tǒng),為企業(yè)提供穩(wěn)定高效算力,滿足業(yè)務(wù)需求,避免使用云算力的持續(xù)費(fèi)用,降低運(yùn)營(yíng)成本。
·運(yùn)維簡(jiǎn)化
傳統(tǒng) IT 系統(tǒng)由多種硬件設(shè)備和軟件系統(tǒng)組成,運(yùn)維管理復(fù)雜繁瑣,企業(yè)需投入大量人力、物力和時(shí)間進(jìn)行安裝、配置、維護(hù)和更新。而一體機(jī)將軟硬件深度集成為統(tǒng)一整體,簡(jiǎn)化了運(yùn)維流程,企業(yè)統(tǒng)一管理維護(hù)即可應(yīng)對(duì)業(yè)務(wù)需求和技術(shù)挑戰(zhàn),運(yùn)維效率大幅提高,而管理難度和成本都顯著降低。
·穩(wěn)定可靠
對(duì)AI業(yè)務(wù)而言,連續(xù)性和穩(wěn)定性很重要。一體機(jī)軟硬件經(jīng)嚴(yán)格集成測(cè)試與優(yōu)化,能在復(fù)雜環(huán)境長(zhǎng)時(shí)間穩(wěn)定運(yùn)行。同時(shí)可以專(zhuān)機(jī)專(zhuān)用,避免云服務(wù)在高峰期造成速度和可用性上的波動(dòng)。
英特爾所推出的銳炫? 顯卡與至強(qiáng)? W處理器的組合,正是一套滿足以上因素的極具潛力的解決方案。
像這樣的配置,不光能夠很好地支持DeepSeek R1系列,同時(shí)還與Qwen、Baichuan、Llama等多個(gè)開(kāi)源模型兼容適配。
這意味著在不同的應(yīng)用場(chǎng)景和業(yè)務(wù)需求下,這個(gè)組合都能靈活應(yīng)對(duì),為企業(yè)帶來(lái)多樣化的選擇和更豐富的功能體驗(yàn)。
這些選擇,這些體驗(yàn),目標(biāo)都只有一個(gè),那就是AI普惠或者說(shuō)AI無(wú)處不在!
站在歷史的角度,一體機(jī)要承擔(dān)的使命,正是要將強(qiáng)大的AI模型引入各行各業(yè),這與計(jì)算機(jī)從大型機(jī)時(shí)代發(fā)展至個(gè)人計(jì)算機(jī)(PC)時(shí)代的進(jìn)程類(lèi)似。
包括DeepSeek在內(nèi)的大模型前沿創(chuàng)新企業(yè)選擇開(kāi)源,是激發(fā)這一進(jìn)程的起點(diǎn),而整個(gè)進(jìn)程能否迅速演進(jìn),就要靠全行業(yè)的共同參與了。
英特爾在此時(shí),就像穿越回了上世紀(jì)80年代,那時(shí)它曾憑借開(kāi)放架構(gòu)和高性?xún)r(jià)比方案重新定義了PC,并拉著全球的合作伙伴們一手促成了PC真正意義上的“個(gè)人化”普及,而今,到了在AI世界復(fù)刻這一成功經(jīng)驗(yàn)的時(shí)候了。

提交
美的威靈汽車(chē)部件北美制造新基地啟動(dòng)
深耕十二載 興泰達(dá)開(kāi)啟高質(zhì)量發(fā)展新篇章
從元器件到測(cè)試系統(tǒng):Pickering品英集團(tuán)55年為用戶(hù)構(gòu)建自動(dòng)測(cè)試全生命周期降本增效生態(tài)
專(zhuān)為智能制造與邊緣計(jì)算而生!研華AIMB-292高性能工業(yè)主板助力行業(yè)新突破
奇點(diǎn)創(chuàng)新公司宣布成立:聚焦工業(yè)自動(dòng)化和數(shù)字化,已與世界 500 強(qiáng)客戶(hù)成功合作