楊子龍和杜長庚所發現的問題，粗看上去確實有點詭異，相同的數據，被AI處理過一遍，再用來訓練另一個AI，效果居然比不上質量更差的人工清洗的數據。
而再用這個訓練後的AI生成的數據繼續訓練AI，無論是訓練哪個AI，又會造成性能進一步下降。
這個問題看上去詭異，但實際上，隻要稍稍思考一下也就能明白，應該還是數據多樣性和複雜性不斷被AI簡化所造成的問題。
不用說橘子大模型，即使是柚子，生成的數據也不可能是百分之百完全正確的，雖然這些錯誤可能比人工數據要少，但錯誤的方式卻缺乏多樣性和複雜性。
說白了，就是AI聰明的千篇一律，但人類卻愚蠢的千奇百怪。
但在種族傳承的角度上來說，愚蠢的千奇百怪的人類，卻比自己創造出比人類更聰明的AI具備更強的種族傳承能力。
窩草？這麼一想，孟廣康那種傻x，對人類文明的傳承貢獻還不小？
差點把我的厭蠢症都治好了？
重複使用這種數據進行訓練，類似的錯誤會被大模型認為是真實，從而變成“思想鋼印”，繼續產出錯誤更多的內容。
再用這些內容進行訓練，就會產生“偏差-方差權衡”，也就是說，越大概率的內容被進一步強化，小概率的內容被不斷忽視。
越是下一代模型，損失的數據反而會越多。
同時，因為大模型的特性，又會產生“函數近似誤差”，大模型會把學的錯誤的東西也保留下來，一代代的積累，最終變成全部都是錯誤，從而喪失糾錯能力。
這種情況，確實和近親繁殖所導致的近交衰退非常類似。
從這個角度上看，AI大模型其實已經具備了一定的生物性。
隻不過這種生物種群過於單一，造成了近親繁殖。
這個問題目前還不算太緊迫，畢竟互聯網上可以使用的原始數據非常多，無非就是加大數據組的投入，獲取更多的原始數據，增加數據預處理人手和方式就能夠解決。
但從長遠來看，不，不用太長遠，AI的爆發一定是指數級的。可能兩到三年後，互聯網上可能超過百分之七十的數據就都是AI所生成的，而人類幾乎無法區分這究竟是AI生成的數據還是真實的人工數據。…。。
那時候，AI大模型不管參數有多龐大，可能都會麵臨由於訓練數據被AI生成數據汙染，而造成性能下降或崩潰。
“三千萬億。”方豫快速的估算出了一個數字。
？？？
幾個組長都是一臉問號。
“互聯網上現存的有效數據，大概能支撐橘子大模型到三千萬億參數的規模，在此之後，就必然會受到近親繁殖的影響。”
方豫指了指顯示器上的數據。
三千萬億，還好還好，現在目前正在訓練的橘子大模型不過一萬五千億參數，已經開始初步具備強人工智能的雛形。
三千萬億的大模型，肯定已經實現超級人工智能，那時候，AI生成數據多樣性的問題應該已經能找出解決方案了。
那就沒什麼問題了。
幾個組長都鬆了一口氣。
沒什麼問題了嗎？
方豫目光閃動。
就算是橘子大模型實現超級人工智能，隻要多樣性問題不解決，一樣也會有這個問題。
即使使用各種技術手段儘量提升AI數據的複雜性，最後不會造成模型崩潰，這個大模型也注定無法承載自己的願景。
之前參考“神之模型”所產生的一些想法，倒是正好可以解決這個問題……
不過，在此之前，還是要先把引擎這一塊吃下去。
吃掉引擎，才能擁有足夠的數據資源，支撐橘子大模型進化為超級人工智能。
隻有橘子大模型進化至超級人工智能後，參考“神之模型”所生成的第二代模型，才能真
正具備用武之地。
“舒窈，通知‘Y’項目組，五分鐘之後，我要聽“Y”項目的進度彙報。”
方豫看了看時間，已經下午四點，再有半個小時，應該海西邑相關頭頭就會帶著馬斯克來公司了，正好夠開個會的。
晚上十一點還得去趟新鎬，和大蜜蜜還有熱葩敘敘舊，最近千尋給她們施加了不少壓力，得過去幫她們解解壓。
正好明天上午在新鎬把外公介紹人見一下，外公介紹的應該靠譜，但還是要先見一下再說。
明天中午還得去趟洛聖都，斯嘉麗去了中土國拍攻殼機動隊，肯豆倒是挺矜持，隻是iMessage騷擾，她那個閨蜜吉吉哈迪德反倒是一個勁兒的發snapchat挑釁。
必須去教訓一下！——
“這次“擊劍門”醜聞對兩派都是一次打擊，不過對川寶的打擊更大，卡爾羅夫甚至認為恭賀派應該召開全國委員會，取消川寶的參選資格。”
馬斯克一邊打電話，一邊給spacex各個員工發郵件，而電話那邊，則是他的幕僚長薩姆泰勒在和他說目前邁國國內的情況。
對於他這種級彆的商人來說，無論是否討厭鄭智，也必須要關心鄭智。
“很難，至少需要三分之二的委員投票同意，這幾乎是不可能的，看來這次希拉蕊贏定了。”馬斯克手指在電腦上敲得飛快。…。。
“‘擊劍門’爆發的太晚，印第安納州初選醜聞第二天就已經計票結束了，雖然還沒有召開全國大會獲得黨派提名，但川寶已經提前鎖定了提名票數。”
“如果這時候逼迫川寶退出選舉，恭賀派極有可能會造成派係分裂，無論是保羅瑞安還是米奇麥康奈爾，即使他們不支持川寶，也不會冒著派係分裂的風險推動更換提名。當然，前提是川寶一家需要立刻與賈瑞德庫斯納切割，但這樣一來，裘德財團必然會全力支持希拉蕊。”
“你說的對，埃隆。目前普遍都在猜測，伊凡卡可能會在這幾天宣布與賈瑞德庫斯納離婚，進行切割，擺出受害者姿態。不過那個視頻中賈瑞德說川寶一家就是暴發戶，伊凡卡和他結婚就是為了獲取裘德財團支持，對川寶仍舊會造成非常大的打擊。”
“老板，已經開始降落了，還有五分鐘進入三千米以下高度，飛機上的wifi就要關閉了。”
馬斯克的機長在機艙中使用揚聲器通知馬斯克。
“你聽到了，薩姆，我先斷線了，保持聯係。”
“好吧，埃隆，其實這一次我去也是一樣的，沒必要你親自跑一趟。”
“不，這一次我一定要親眼看一下這家柚子科技。”埃隆馬斯克搖搖頭，“這一個月裡，至少已經誕生了一萬款AI應用，百分之五十都是調用了橘子大模型的API接口，其他的用的也是開源的橘子大模型，而且這個數字還在繼續上漲。”
“我可以確信，現在已經開始正式運營的三千億參數Juzi2.5並不是全部，他們現在內部即有可能已經有了一萬億甚至更多參數的大模型。”
“我必須親眼看一下，他們的到底已經達到了什麼樣的進度。”
馬斯克切斷通話，透過舷窗向下望去。
雲層很厚，什麼都看不見。
(本章完)
39288903。。
畫畫太歲提醒您：看完記得收藏【筆趣789】?xiaoshubao.net，下次我更新您才方便繼續閱讀哦，期待精彩繼續！