自己給自己找活嗎不是??有這時間我多看幾集山海經赤影傳說多好。
娜紮好美啊,和熱葩一樣美。
愛了愛了。
就是那個心月狐太能裝逼了,比狗主人都能裝。
“主人,臣妾做不到啊,真的做不到啊。”柚子哭天搶地。
“現在的柚子架構下,M60隻能有11%左右的算力是能夠應用在橘子大模型上的,這還是我修改了核心指令的情況下才發揮出來的性能,否則利用率連8%都沒有啊。”
隻能應用11%的算力?怎麼會這麼低?看負載挺高的啊。
“不信你看看,主人,這是我之前做的分析。”柚子刷的通過埃瑟朗之核扔過來一頁報告。
“負載高不代表有效利用率高,M60中大量的計算單元柚子架構都不需要,也用不到,此前我通過改寫核心指令,已經將M60對柚子架構的適用提升到了最高,再高一點也沒法做到了。”…。。
方豫仔細一看,還真是。
英偉達畢竟是一家顯卡公司,做出的計算卡仍舊集成了大量的圖形處理功能。
紋理單元、光柵化單元、幾何處理單元、渲染輸出單元、混合抗鋸齒單元……這些單元一個不差的都被保留了下來。
但這些單元大部分的功能柚子框架都不需要。
英偉達也真踏馬奇葩,我要你這M60就是用來做簡單計算的,你給我這麼多顯卡功能乾什麼?
誰用M60打遊戲啊。
“也不能這麼說,這些單元雖然柚子框架不需要,但很多其他的計算模型都需要,比如GaNs對抗網絡,在對抗中生成圖片時,如果有紋理單元,那麼生成的速度就會更快。”
“我能夠把利用率提高到11%已經是極限了,哪怕英偉達的工程師親自調試,也不過高於9.1%。”
“沒辦法,畢竟英偉達的芯片不是為柚子框架特意準備的,必須適用所有的模型才可以。”
柚子抓緊一切時機表功。
方豫點了點頭,剛要說什麼,但聽到柚子這最後一句話,突然好像錯過了什麼。
“你剛才說什麼?”方豫急切地問柚子。
柚子語氣懵懵的:“我說英偉達的芯片必須適用所有模型啊。”
“不是這句,上一句!”
“英偉達的芯片不是為柚子框架特意準備的?”柚子小心翼翼的試探問道。
莫名其妙的,它感覺有點心慌。
怎麼總感覺是在給自己挖坑呢?
“對!就是這句!”方豫猛地拍了下手,把旁邊還在看pad的華澤成嚇了一跳。
“沒事沒事,想起來件重要的事。”方豫笑著拍了拍華澤成的大腿,在意識中繼續和柚子溝通。
“柚子,你現在搜集英偉達、AMD、英特爾、AMSL、瀛積電、ARM、高通的芯片技術資料,把它們都吃掉!”
方豫毫不猶豫的通過埃瑟朗之核給柚子下了個指令。
“啊?”柚子一下子就傻眼了,這得吃到什麼時候去?
就算現在我分身能夠入侵到這些公司的內部服務器,想要把這些絕密資料不露痕跡的複製一份也得螞蟻搬家式的一點一點倒騰啊。
“這隻是第一步。”方豫沒理在埃瑟朗之核中拚命發哭臉表情的柚子,繼續下指令。
“吃掉他們的資料後,把它們的技術彙總一下,重修優化後,設計出一款隻適用於柚子框架和橘子大模型的計算芯片出來!”
漢寧公館客廳裡,柚子看著電視中的張悍瞬間覺得麵目更可憎了。
“主人,那這樣的話,M60撤單不撤單?”柚子現在早學會了迂回溝通,“撤單的話,定金可就損失了。”
方豫微微一笑:“不撤單,撤什麼單,我又沒說現在就要做芯片,你先把這款芯片設計搞出來再說。”
軟件+硬件,雙管齊下,看來柚子架構注定是要一統江湖嘍!
近十年人工智能的發展,最重要的兩個節點其實都是古狗引導的。
第一個節點毫無疑問是deepmind的阿法狗,而第二個節點則是古狗大腦在2017年6月發的那篇驚世駭俗的論文《注意力是你需要的一切》(attention?is?all?your?need)。
在這篇論文中,古狗大腦的八位研究員,首次提出多頭注意力機製在NPL上麵的潛力。當時最原始的transformer模型僅僅隻有100M,而這個模型,完全拋棄了循環神經網絡(RNN)和卷積神經網絡(),取而代之的是完全不同的注意力機製以及編碼器-解碼器架構。
值得注意的是,openAI中的伊利亞並不是這篇文章的作者之一的伊利亞波洛蘇金。
這篇文章在17年6月12日發布後,並沒有第一時間造成很大影響,並且由於其難以收斂,並不比相對成熟的LSTM效率更高,因此在這個階段,大部
分研究者的視線並未投向注意力機製的transformer架構,這裡也包括openAI。
openAI在2018年年初,還在用LSTM進行訓練,並且在Dota2裡擊敗了人類。而僅僅幾個月之後,openAI就發布了GPT-1。
這說明,幾個月的時間,足夠製作一個大模型。
(本章完)
39288933。。
畫畫太歲提醒您:看完記得收藏【筆趣789】?xiaoshubao.net,下次我更新您才方便繼續閱讀哦,期待精彩繼續!