【釘科技訊】近日,百度硅谷人工智能實(shí)驗(yàn)室發(fā)布了一項(xiàng)新的研究成果技術(shù),該技術(shù)可以加快深層遞歸神經(jīng)網(wǎng)絡(luò)(RNNs)的訓(xùn)練速度。
該項(xiàng)技術(shù)于由百度硅谷 AI 實(shí)驗(yàn)室的科學(xué)家 Jesse Engel 在 github 上發(fā)布,Jesse Engel 表示,此前已經(jīng)發(fā)表過(guò)這項(xiàng)技術(shù)的第一階段研發(fā)成果,關(guān)注的是 Minibatch 和存儲(chǔ)配置在遞歸通用矩陣乘法 (GEMM) 的性能上所發(fā)揮的作用。本次發(fā)布的第二階段將重點(diǎn)關(guān)注對(duì)算法本身的優(yōu)化。
Jesse 在文章中提到,Differentiable Graphs(可微圖形)對(duì)于計(jì)算復(fù)雜的衍生工具是一個(gè)簡(jiǎn)單、實(shí)用又可視化的工具,同時(shí)也可以激發(fā)算法的優(yōu)化。對(duì)于需要使用具有明確梯度計(jì)算功能框架的研究人員、開發(fā)新的迭代算法的研究人員以及開發(fā)應(yīng)用自動(dòng)分化深度學(xué)習(xí)框架的研究人員,這項(xiàng)新的技術(shù)將更好地提升研發(fā)能力。
未來(lái),該技術(shù)被應(yīng)用在更多的百度產(chǎn)品上,促進(jìn)百度深度學(xué)習(xí)技術(shù)的研發(fā)及在百度各項(xiàng)應(yīng)用服務(wù)中的應(yīng)用。例如把人工神經(jīng)網(wǎng)絡(luò)應(yīng)用在殺毒軟件,通過(guò)神經(jīng)網(wǎng)絡(luò)提供的大量已知在案的惡意軟件訓(xùn)練,百度的殺毒系統(tǒng)就能學(xué)會(huì)識(shí)別全新的病毒,即便系統(tǒng)從未見過(guò)這類病毒。此前,百度還推出過(guò)一款名為“慧眼”的 4.0 殺毒系統(tǒng),除了百度殺毒,該軟件還內(nèi)置了百度深度學(xué)習(xí)研究院 (IDL) 的深度學(xué)習(xí)智能引擎。
公開資料顯示,百度于 2013 年正式成立了深度學(xué)習(xí)研究院(IDL),2014 年 5 月挖角谷歌大腦之父吳恩達(dá),出任首席科學(xué)家并領(lǐng)導(dǎo)百度硅谷研究院工作,負(fù)責(zé)語(yǔ)音識(shí)別和無(wú)人車技術(shù)研發(fā)。百度硅谷研究院目前正在圍繞用 GPU 提升計(jì)算效率,處理海量訓(xùn)練數(shù)據(jù),語(yǔ)音識(shí)別,OCR 識(shí)別,人臉識(shí)別,圖像搜索水平等方面進(jìn)行研究。
此前,該實(shí)驗(yàn)室還開源了其核心的人工智能系統(tǒng):Warp-CTC,該系統(tǒng)是一種在 CPU 和 GPU 上快速的 CTC 的并行實(shí)現(xiàn)。這項(xiàng)舉動(dòng)舉動(dòng)對(duì)于促進(jìn)機(jī)器學(xué)習(xí)、人工智能領(lǐng)域的技術(shù)研究與發(fā)展與有重要意義。Warp-CTC 可用于解決比如語(yǔ)音識(shí)別這樣的,將輸入序列映射到輸出序列的監(jiān)督問(wèn)題。
(來(lái)源:動(dòng)點(diǎn)科技 劉晨)
- QQ:61149512