315中文网 通过搜索各大小说站为您自动抓取各类小说的最快更新供您阅读!

在自然语言处理这个机器学习的典型方向引入预训练。

无疑等同于将部分优秀学生在学习中会用到的一种特殊的技巧“移植”过来。

这种思路无疑很是很巧妙。

思路固然很巧妙。

但正如路边李苦的道理一样。

为什么这种很巧妙的思路以前却没人尝试过呢?

尹芙·卡莉觉得未必是没人想过这方面。

但别人却无一例外的失败了。

涉及到知识的汲取,或许绝大多数人也知道先将80%有共性的知识搞定再搞定另外的20%可以省力。

但从过往的学业上看,尹芙·卡莉觉得她身边能够做到先将知识80%的共性找出来再去攻克疑难处的人少之又少。

甚至于除了尹芙·卡莉眼中的学霸之外根本没啥人能做到这一点。

尹芙·卡莉眼中的学霸又能有多少人呢?可以说是寥寥无几了。

也就是说这种先将80%有共性的知识搞定再搞定另外的20%这种很明智的做法实际很少有人应用。

明明是看起来更加容易的方式。

什么没多少人这么做?

尹芙·卡莉觉得主要原因是:

——大部分人并不善于找到知识的共性。

在不善于找到知识共性的情况下,一部分人虽然会尝试着找知识共性。

但实际上操作的时候找到80%知识的共性完全是奢望。

可能只能找到30%、20%甚至更少知识的共性。

如此一来这些人非但没有能够找到主体知识的共性。

反而在找共性的时候不知不觉将其余一些原本是普通的内容给异化成了这些人眼中的“非共性知识”。

而非共性知识在这些人心中又被这些尝试找共性的人心理暗示成了比较麻烦的知识。

这些原本并不是特别难的知识,在心理暗示的debuff下。

效率甚至比不找共性时的效率还要低。

如此,未找到共性的人反而有可能成为这些尝试寻找共性的人的所需要耗费大量时间去攻克的内容。<.

这种情况下,找知识的共性非但没对他们造成帮助。

反而成为了他们学习时候的拖累。

就很苦逼了。

与其出现这种情况,这些人干脆放弃了找知识的共性。

直接一视同仁,至少不会聪明反被聪明误。

类似于学习上这些人面对的窘境。

或许机器学习方面的学者也是因为同样的境遇才放弃了对训练数据共性的寻找。

至少在尹芙·卡莉这是因为这个原因。

纵然是现在知道了林灰在模型训练中引入了预训练方式。

尹芙·卡莉现在也不知道林灰究竟是如何做的。

按照林灰在论文中补充内容进行的阐述。

传统的训练机制下,文本摘要模型的产生思路是:

语料训练→模型

而按照林灰的思路引入预训练机制后。

文本摘要模型的产生思路是:

语料预训练→预训练模型→微调→模型

这个思路的本身是没问题的。

但尹芙·卡莉面对着这个全新的模型产生思路却满脑子全是问题。

具体应用的时候究竟引入何种的预训练方式才能够起到事半功倍的训练效率?

什么样的预训练模型才是预训练的目标?

对于预训练模型的“微调”究竟应该如何理解呢?

前两个问题是就林灰鼓捣的理论而产生的疑问。

第三个问题是因为语言方面的阐述而产生的一些疑问。

尽管尹芙·卡莉最近在向米娜·卡莉努力地学习汉语了。

但汉语显然并不是短时期内能够速成的。

对于预训练模型林灰所谓的“微调”的“微”究竟应该如何理解呢?

只是一点点小小的调整么?

还是说所谓的“微”只是因为林灰本人对这一事情难度的蔑视。

尹芙·卡莉觉得应该是后者。

不太可能是微小的调整。

为什么尹芙·卡莉这样想呢?

尹芙·卡莉觉得涉及到文本摘要方面的模型往往都是极其复杂的。

一个正式模型所涉及到的参数都是极其繁多的。

更何况是预训练产生的预训练模型呢?

这种先于正式模型产生的粗模型可能参数要更加复杂。

当然,这只是尹芙·卡莉的一点猜测。

涉及到这些问题只有林灰本人才可能有真正的答桉。

自从来到林灰的身边之后。

原本尹芙·卡莉以为自己的问题会逐渐变少。

但实际却是问题愈发变得多了起来。

至少刚才的那几个问题在美国的时候尹芙·卡莉就从来没疑惑过。

但对此尹芙·卡莉并没有灰心丧气。

科研方面从来都是提出问题比解决问题更重要。

尹芙·卡莉很清楚,虽然此时她的疑惑比在美国时候的疑惑还要多。

但这无关紧要,至少她现在提出的问题相比于以往那些问题现在才更接近技术的本质了。

而这就是学术方面的成长。

尹芙·卡莉也不是一无所获。

原本她一向是比较好奇林灰这个此前几乎在文本摘要方面及及无名的人究竟是怎样在短时间做到弯道超车的。

毕竟涉及到语言模型的构建往往需要大量的时间。

但现在知道林灰搞的这个预处理之后。

尹芙·卡莉则感觉这个问题似乎不是太大问题。

按照林灰在论文补充内容提出的预训练机制的这个思路进行操作。

虽然引入预训练机制后仍然需要进行训练。

甚至看起来步骤要更繁琐了一些。

但尹芙·卡莉估计同等规模语料库下的训练

引入预训练机制的训练要比常规的至少能够节省50%的时间。

模型的训练引入预训练的处理方式会带来效率的提升。

这里面的道理通过学习方面的例子做类比很容易明白。

通常情况下,通过掌握知识的共性之后再攻克疑难显然效率上是比按部就班进行学习要高的。

同样的道理,机器学习的时候让机器掌握数据的共性之后再搞剩下的标注数据也会带来效率的提升。

林灰一度就是尹芙·卡莉眼中绝对意义上的天才。

在尹芙·卡莉看来天才的重点不在于“才能”,而在于“天分”

所有人似乎都知道的走出房间要找到门,却各种找不到门路。

而天才就是那个在众人茫然眼光之下信步走到门前并轻轻推开门的那个人。

315中文网推荐阅读:我老姐实在太有钱了一不小心嫁冤家重生学神有系统娇妻凶猛重生之我真没想当大佬啊特级诡兵焚烟散古代的温馨小日子镇国战神我被男神克死后赘婿出山豪门大少的私宠妻穿越之喜当红娘老婆你说实话,孩子到底是谁的?后海有家酒吧悍夫难驯之相公管的有点宽重生八零:战神老公,生娃吧!妙贞不可言四合院:离谱!我竟然有无限肉吃花开春暖我的26岁总裁妻子柯南之我真不是东京怪谈蚀骨赔心,首席深爱如归暖婚蜜恋在八零假少爷被赶回农村,开启逆袭人生!传奇垂钓:开局钓起十斤大鱼开局获得剪纸术情痒女施主请留步带着仙葫开农场人在海贼,召唤美漫天神诀金玉良缘之肖少霸爱无极异界游相宝2:秘物侯爷淡定点顶级强者都市之神帝驾到田园小当家重生异界觉醒灌江口二郎真君杨戬死人经来自亿万光年的男人都市最强神龙扮乖天庭典狱长巨星夫妻都市之至尊狂少窥春情影帝总是贪恋我的美貌重生九零全能学霸
315中文网搜藏榜:都市之归去修仙稼穑人生最强小村医重生八零之军少小萌妻同路人,平凡十年御灵:天使女仆总想把我养成废人被暴君强宠的金丝雀翅膀硬了四合院:我何雨柱,送贾张氏坐牢穿到八零后我成了锦鲤末日?宅舞冒险出道即是巅峰1979全民:开局觉醒sss级召唤天赋我为猎手重生八零:肥妞翻身记逆习大老婆不负荣光,不负你盛婚甜宠:先生,早上好变身:武道女帝惯着他治愈他娇妻得宠:盛少别乱来柳条兄弟之兄弟故事会王妃又又又去除妖了恋爱后,学霸她成了撒娇精随机职业体验,满级人类震惊网友重生之我是神君万亿打赏金,我在抖音称王!豪门权少密爱成瘾绝色总裁的贴身高手返穿你与流年皆不在重回1998当富翁奉旨抢亲,纨绔太子喜当娘多子多福,我打造三千校花女团!团宠大佬你马甲掉了超品战兵红颜三千特种兵王在都市极品透视妖孽狱神归来对首席大人的攻略争夺战浅浅系统:至高无上话语权重回八零小辣妻法庭索赔1400万,你疯了?长路漫漫只为你刚穿越的我被直播开棺写日记也能无敌四合院:重生火红年代四番队的三席都市之逆天大反派
315中文网最新小说:重回八零:谁说女儿都是赔钱货?神医归来:十个女囚为我杀疯了!年代:重生1958神级选择:我的奖励不对劲!被分手后,我反手契约白虎校花!全喵界都在等我破产我!系统!懂?!娱乐:心动爆词条,姐你太主动了高武:替兄从军后,功劳全归他?改命来财医宝双修之我是大魔王锈色的时光乱世,在尘埃中崛起列克星敦号舰队指挥官孤鹰惊世契约老婆竟是冰山神医重生悍匪之快意恩仇前女友母亲怀上双胞胎,她急哭了枕中二十一克夏风微微,一个让人改变的夏天亮剑:背靠未来,打造最强中械师进部的人混娱乐圈是选手也是裁判剑逆乾坤重回2010,从拒绝白月光开始重生七零,我要帮父亲鸣冤昭雪让你出狱娶妻,你跑去沾花惹草?F1:开局车王教我开赛车活在民国当顺民特种兵王:我的核弹级保镖日常都市异能之凌霄传奇权力巅峰:从中医开始问鼎青云重生97:还当舔狗?世界首富不香吗!矿泉水换黄金:红五星助我暴富!校花绯闻不断,直到我也成了渣男全家被灭门,八年后王者归来重生1988:逆袭人生从宠妻开始星域巨变,全民开荒,先容我发育修真大佬的都市生活F级天赋弱?我一级一个神级技能!开局女神拉我领证,激活奖励系统文娱:霸榜多年无人知,我出道即顶流你个笨蛋!我等了你十九年啊亿亿身家,从复制海鲜开始人在工地,开局发明常温超导体!全球高武,我一个F级异能杀疯了高武:替弟从军,归来问我要军职?天才邪医都市全能霸主死党变身后,我练刀的手抖了三千年情缘