"Hiki i ka mīkini ke hoʻomanaʻo nui, akā ʻaʻole hiki iā ia ke noʻonoʻo - ke ʻole mākou e aʻo." – ʻO Alan Turing. Hoʻokumu ʻia nā hiʻohiʻona AI hou e like me GPT-4 a i ʻole Llama i nā pūʻulu ʻikepili nui a me nā hale makemakika paʻakikī. Akā, he aha ka mea ma hope? Ma kēia ʻatikala, nānā mākou i nā ʻāpana koʻikoʻi e pono ai ke kūkulu ʻana i kahi hoʻohālike ʻōlelo mai ka wā kahiko.
ʻO Large Language Models (LLMs) nā pūnaewele neural i aʻo ʻia me ka nui o nā kikokikona. Aia ko lākou ikaika i ka hiki ke hana i nā kikokikona e like me ke kanaka, e hōʻuluʻulu i ka ʻike a kākau i nā code. ʻO ke kumu o kēia mau hiʻohiʻona ʻo ka Transformer architecture , e hiki ai iā lākou ke hopu i nā hilinaʻi i loko o nā kikokikona a hana i nā wānana pili.
ʻO nā paona i helu ʻia e ʻae i ke kumu hoʻohālike e hoʻopili ʻia me ka liʻiliʻi, me ka lanakila ʻana i nā pilikia ʻoihana. ʻO ka hoʻomaʻamaʻa ʻike ʻana hoʻi e hōʻemi i ka nui o ke kumu hoʻohālike: hoʻololi ke kumu hoʻohālike nui i kona ʻike i kahi ʻano paʻakikī. Hoʻopau ka ʻoki ʻana i nā ʻāpana ʻē aʻe, e loaʻa ana i kahi hoʻolālā wīwī a maikaʻi ʻole me ka ʻole o ka pono.
Hiki i kekahi ke hoʻohana i ka Masked Language Modeling e hoʻonui i ka hohonu semantic. Hoʻokumu hou ke kumu hoʻohālike i nā kikokikona piha ʻole a no laila hoʻomaopopo i nā ʻōlelo kikoʻī o ka ʻoihana. Pela no hoi, Hiki ke hoʻohana ʻia ʻo Next Word Prediction no ka ʻōlelo ʻenehana kikoʻī o ka ʻoihana. Ma mua o ka hoʻomaʻamaʻa ʻana i ke kumu hoʻohālike, pono e hoʻololi ʻia ka kikokikona i ʻano e hiki ai i nā ʻupena neural ke hoʻomaopopo ma o ka tokenization , embeddings , a me ka hoʻopili paʻa paʻa .
No ka hoʻopaʻi ʻana i ka nele o ka ʻikepili hoʻomaʻamaʻa ʻoihana, hoʻohana ʻia ke aʻo ʻana a me ka hoʻonui ʻana i ka ʻikepili artificial . Hoʻololi ʻia nā modula lean feedforward a me ka hoʻopili ʻana iā lākou i ka ʻikepili kikoʻī o ka ʻoihana. ʻO kahi mea koʻikoʻi o nā hoʻohālike transformer ʻo ia ka mīkini nānā ponoʻī . Kaumaha ʻia kēlā me kēia hōʻailona e pili ana i nā hōʻailona ʻē aʻe a pau i loko o ka ʻōlelo, e hoʻomaʻamaʻa i ka pōʻaiapili o kahi huaʻōlelo.
No ka laʻana, ʻo ka huaʻōlelo e like me "Ua lele ka pōpoki ma luna o ka pākaukau no ka pōloli" hiki ke manaʻo ʻo "ʻo ia" ka pōpoki. Hoʻomaopopo ke kŘkohu i ia mau pilina ma ka hāʻawi ʻana i kahi mea nui i kēlā me kēia huaʻōlelo. Kōkua kēia iā ia e hoʻomaopopo maikaʻi i ka pōʻaiapili. Hāʻawi ka mīkini i ke kumu hoʻohālike e aʻo i nā hilinaʻi paʻakikī a me nā manaʻo semantic i loko o kahi kikokikona.
Hoʻohui nā kumu hoʻohālike mua i ka ʻike kūloko. Hoʻonui kēia hui ʻana i ka ʻokoʻa ʻikepili a hiki i ka maikaʻi o nā kumu hoʻohālike kiʻekiʻe me ka palena o nā pūʻulu ʻikepili kūloko. Hoʻohālikelike ʻia ka hana o nā ʻano AI me ka hoʻohana ʻana i nā metric kikoʻī: Weighted-F1 a me Perplexity e ana i ka maikaʻi o nā hana hoʻoponopono kikokikona, ʻoiai ʻo ka manawa pane a me ka helu hapa e hōʻike maopopo ana i ke kūpono kūpono.
Loaʻa ka hoʻololi mau ʻana i nā ʻōnaehana hoʻoponopono ikaika ma o ka hoʻopaʻa ʻana i ke aʻo ʻana , ka mea, no ka laʻana, hoʻohui pololei i nā alakaʻi palekana data i loko o ke kumu hoʻohālike AI me ka hoʻohana ʻana i ka pilikino ʻokoʻa . ʻO kahi hoʻonohonoho pono o nā lula a me nā kaʻina hana hoʻoponopono kikoʻī kikoʻī e hiki ai iā mākou ke pane i nā lula hou me ka maʻalahi a me ka wikiwiki.
ʻO ka hana mua ma ke kaʻina hana hoʻomaʻamaʻa ʻōlelo ʻo ka hoʻomaʻamaʻa mua ʻana . Hāʻawi ʻia ke kumu hoʻohālike me ka nui o nā kikokikona i hoʻonohonoho ʻole ʻia i mea e aʻo ai i nā ʻano ʻōlelo maʻamau, nā kūkulu ʻōlelo a me nā manaʻo huaʻōlelo. I loko o kēia kaʻina hana, hoʻāʻo ke kumu hoʻohālike e wānana i nā huaʻōlelo aʻe i loko o kahi ʻōlelo me ka nānā ʻole ʻana i kahi hana kikoʻī. Hoʻokumu kēia i ke ʻano o ka ʻike ākea o ka ʻōlelo.
ʻO ka hoʻoponopono maikaʻi ka lua o ka hana i hoʻokaʻawale ʻia ke kumu hoʻohālike i hoʻomaʻamaʻa mua ʻia no kahi hana kikoʻī. Hoʻomaʻamaʻa ʻia me nā pūʻulu ʻikepili liʻiliʻi a ʻoi aku ka kikoʻī, no ka laʻana e pane i nā nīnau a ka mea kūʻai aku, hoʻokaʻawale i nā kikokikona a i ʻole hana i nā hōʻuluʻulu manaʻo. ʻO ka hoʻoponopono maikaʻi ʻana e hōʻoia i ka hāʻawi ʻana o ke kumu hoʻohālike i nā pane e pili ana i ka pōʻaiapili no kahi wahi noi i wehewehe ʻia.
Pono ke aʻo ʻana i kahi LLM i ka mana helu kiʻekiʻe. No ka hana ʻoi aku ka maikaʻi o ke kaʻina hana, hiki ke hoʻohana ʻia nā ʻano hana loiloi like ʻole. Hāʻawi kēia iā ʻoe e mālama i nā kaupaona hoʻohālike a hoʻouka iā lākou ma hope a i ʻole e hoʻoiho i nā ʻāpana i hoʻomaʻamaʻa mua ʻia, i paʻi ʻia. Hoʻohana pū ʻia ʻo LoRA (Low-Rank Adaptation) no ka hoʻoponopono maikaʻi ʻana me ka liʻiliʻi o ka hoʻoikaika helu.
Hoʻohana ʻia kahi loop aʻo pūnaewele no ka hoʻomohala mau a me ka hoʻololi ʻana i nā ʻike hou a me nā koi. Ke nānā mau nei kēia i ka hana hoʻohālike, kānana i ka ʻikepili hou a me ka manaʻo o ka mea hoʻohana, a hoʻoponopono ʻakomi i ke kumu hoʻohālike inā pono. Mālama ʻia ka pale ʻikepili a me ka pono ma o nā ʻenehana pilikino ʻokoʻa a me ka wehe ʻana i nā pilina pono ʻole .
Hiki i kahi palapala Python i hoʻolālā kūikawā ke hoʻomaʻamaʻa maikaʻi i kahi ʻano ʻōlelo. Hiki iā ia ke hoʻouka i nā paona waho mai kahi kumu hoʻohālike i hoʻomaʻamaʻa mua ʻia. Hoʻoponopono ʻia ke kumu hoʻohālike no kahi hana kikoʻī ma o ka hoʻololi ʻana iā ia i ka ʻikepili kikoʻī. Ma hope o ka pau ʻana o ka hoʻomaʻamaʻa ʻana, mālama ka palapala i nā paona hou i hiki ke hoʻohana ʻia no ka wā e hiki mai ana.
a0aa20559d62cebe2e1991af1d9d15e0
Ua hoʻololi hou nā kumu hoʻohālike ʻōlelo i nā ʻoihana he nui, mai ka lawelawe mea kūʻai aku a hiki i ka hana ʻana i nā ʻike. Ma o ka hoʻomaʻamaʻa mua ʻana a me ka hoʻoponopono maikaʻi ʻana, hiki ke hoʻololi ʻia nā hiʻohiʻona no nā ʻano hana like ʻole. Hiki i ka poʻe e hoʻomohala i ka ʻike hohonu o kēia mau kaʻina hana i kā lākou mau hoʻonā AI maʻamau a hana ikaika i ka holomua ʻenehana.