臨床試驗(yàn)等專業(yè)場(chǎng)景中的問(wèn)答能力,為生物醫(yī)藥大模型發(fā)展提供技術(shù)支撐和保障,助力通過(guò)AI大模型的可靠應(yīng)用,加速新藥研發(fā)和臨床試驗(yàn)進(jìn)程,打破醫(yī)藥研發(fā)的“三十魔咒”。此前,智慧芽也已推出自研的“生物醫(yī)藥大模型”。
智慧芽表示,當(dāng)前,市場(chǎng)上已涌現(xiàn)出許多專注于生物醫(yī)藥領(lǐng)域的大模型。然而,現(xiàn)有的評(píng)測(cè)方法主要關(guān)注醫(yī)藥知識(shí)問(wèn)答和對(duì)話生成任務(wù)的性能,忽視了關(guān)系提取、信息檢索等關(guān)鍵能力的評(píng)估。這不僅影響了開(kāi)發(fā)人員對(duì)大模型性能的準(zhǔn)確評(píng)估,也限制了大模型在藥物研發(fā)關(guān)鍵環(huán)節(jié)中的實(shí)際應(yīng)用。
為此,智慧芽推出“生物醫(yī)藥大模型評(píng)測(cè)數(shù)據(jù)集”,不僅考察大模型對(duì)生物醫(yī)藥知識(shí)的掌握程度,更注重其在實(shí)際業(yè)務(wù)場(chǎng)景中的應(yīng)用能力。
據(jù)介紹,該“生物醫(yī)藥大模型評(píng)測(cè)數(shù)據(jù)集”基于通用評(píng)估標(biāo)準(zhǔn),并結(jié)合醫(yī)藥領(lǐng)域中生物醫(yī)藥研發(fā)、臨床試驗(yàn)與循證醫(yī)學(xué)、藥政與準(zhǔn)入、生物序列與化學(xué)結(jié)構(gòu)等真實(shí)業(yè)務(wù)場(chǎng)景,以及綜合能力考試,構(gòu)建了3500個(gè)高質(zhì)量問(wèn)答對(duì),全面考察大模型應(yīng)對(duì)前沿知識(shí)和解決實(shí)際難題的能力。生物醫(yī)藥領(lǐng)域大模型的開(kāi)發(fā)人員可借助該數(shù)據(jù)集,對(duì)其模型在專業(yè)場(chǎng)景中的問(wèn)答能力進(jìn)行綜合評(píng)估,了解其在不同任務(wù)中的表現(xiàn),并以此為依據(jù)不斷改進(jìn)模型,提升性能。
注:文章來(lái)源于網(wǎng)絡(luò),如有侵權(quán),請(qǐng)聯(lián)系刪除