【現在的GPU運算是偏向於量化分析的,如果能夠引入“模擬質性思考”,讓機器學習更接近於人類獲取知識的方式和手段,而非是大力飛磚堆積算力?】
【關鍵位決策?自我否定替代外部反饋?簇式模型卷積網絡?……】
一個個想法如泉湧般冒了出來,無論有用沒用,都被紀弘飛速的記錄了下來——這都是不可多得的靈感。
【簇式模型卷積網絡,用微參數模型決策簇作為神經網絡模型的簇式節點,可以讓簇式節點本身具有“類質性思考”能力……】
紀弘不斷的思考著,整個方案在基本完整的基礎上不斷完善,星星點點的模塊在他的大腦裡迅速形成了千絲萬縷的一張大網,如漫天星辰迅速交織,直至牢不可破。
“如果按照這樣來搞,模型不會很大,但是會很強。”
紀弘一邊點頭一邊感慨:“類思考式的模型,這是一種微模型,而且訓練的模式和理念也全都變了,更加接近人類幼童牙牙學語時的狀態。
“因此,訓練所需要的數據量大幅減少,“質性思考”在訓練中所占的地位會越來越大,所需算力會越來越小。
“如果把這種微模型跟大模型再結合在一起呢?搞到極致那會是一個怎樣的效果?相當於人的智力再加上人工智能的數據規模?啊這……”
紀弘思維越想越發散,甚至有一點兒止不住的趨勢,他沒有刻意停止,不管可不可行,記錄下來回頭試試總是沒有什麼錯的。
發散性的思維停下的時候已經好兩個小時過去了,紀弘也記錄下了非常多不知道有用沒用的資料。
“驗證一下吧。”思路很清晰,紀弘也是決定找個樣板先驗證驗證,樣板都是現成的,正是之前的《我的賽博女友生氣了》。
大模型就用萬舸平台提供的文心大模型接口,而類思考微模型是需要他自己搞定的部分。
微模型理念複雜,但規模確實較小,算力需求並不高。
但是,現有的硬件確實存在不太兼容的問題,不管是圖形卡還是推理卡訓練卡,其本質都是運算核心GPU,都是不太滿足需求的。
“現在去搞硬件不現實,還是模擬一下吧,”紀弘腦筋轉了轉:“性能損失確實不小,但不是完全不能用,現在隻能暫時湊合。”
紀弘搗鼓了好幾個小時,都接近淩晨了才終於把所需要的環境搭建好、訓練材料配置。
“老婆,睡得太晚了,早上不用叫我吃飯,點喊我起來就行。”紀弘拿出手機,給程薈的微信發了一條留言消息,然後很快沉沉睡去了。
……
一覺睡得很香甜,直到紀弘感覺到整個臉上被吹著熱氣,一睜眼,程薈就緊貼著他正在眼前。
“起床啦,都已經快一點了,趕緊起來吃點兒東西。”程薈起身一邊把衣服扔來床上,一邊說道:“以後也彆熬那麼晚了,對身體不好。
“買房子我們其實不急,我爸媽說什麼其實不用管,是我嫁給你,生活是過給自己的,不是給彆人看的,咱們自己覺得好就行了。
“再說了,你看現在,房子價格其實也在陰跌,買了說不定還會虧呢,租房子不是一樣住嗎?
“老公你放心,現在我爸媽拚命的阻止不讓結婚,過幾年要真不結,急的就是他們了你信不信……”
紀弘沒有再聽程薈“嘮叨”,迅速的從背後抱住她:“遇到你是我人生最大的幸運。”
“嘿嘿,我也是。趕緊去吃飯吧,我熬了稀粥、燉了烏雞排骨湯,養養胃,再補補身體,你最近太辛苦了。”