<span style=" display: block; font-size: 0.8em; font-weight: 100; color: #A5A3A3;">精華文章</span>AI自然語言處理技術應用:意藍DeepNLP革新

精華文章AI自然語言處理技術應用:意藍DeepNLP革新

AI自然語言處理技術應用:
意藍DeepNLP革新

自然語言處理(Natural Language Processing,NLP)是AI技術的一種,目的在讓電腦能「理解」並「說出」人類的語言,而意藍DeepNLP深度語意分析模組則是商業化運用最成熟的NLP技術產品之一。本文除了說明自然語言處理技術的原理與優勢外,也將同步介紹意藍DeepNLP技術與AI應用的結合。

意藍的自然語言處理商業化應用

什麼是自然語言處理?

自然語言處理(Natural Language Processing,NLP)是AI人工智慧的一個分支領域,旨在讓電腦能夠「聽得懂」和「說得出」人類語言。

在自然語言處理的領域中,包含以下幾種常見的技術:

  1. 語意分析:理解文句中的意圖、情感,例如意藍自主研發的DeepNLP深度語意分析模組所提供的情緒分析、文本摘要、屬性詞分析等功能。
  2. 語音辨識:將語音轉換成對應的文字內容,例如Google的語音輸入功能。
  3. 文本生成:生成自然且合乎語法的文字內容,例如ChatGPT的文本識別、輸出功能。
  4. 機器翻譯:將文本從一種語言轉換成另一種語言,例如Google翻譯。

意藍DeepNLP技術服務內容
意藍的DeepNLP語意分析模組是國內最早投入,也是商業化應用最成熟的自然語言處理技術產品,能透過深度學習擷取非結構化資料的文本內容、判讀語意情緒、自動摘要文本重點、分析特徵詞與斷詞,將質化文本用於量化統計。
而DeepNLP技術也被應用在意藍的產品當中,其中OpView雲端資料分析服務會針對大量的輿情資料進行情緒分析,來理解文本中的情感,辨別出文本表達的情感是正面、負面或是中立,幫助企業了解輿情對產品、品牌或事件的態度,有助於調整行銷策略和危機應對。除此之外,透過DeppNLP技術還可以抓取文本中的重點資訊,進而掌握公眾關注的重點面向或事件,以制定相應的決策和宣傳方案。透過自動摘要則可以從文本中提取出重要的句子或段落,生成簡潔的摘要,有助於企業迅速理解和分析大量的文本資訊。

大語言模型的興起與優勢

大語言模型的核心特點
大語言模型(Large Language Models,LLM) 是基於自然語言處理所發展的技術,能夠進一步理解自然語言文本,並生成各式各樣的內容,目前國際上較為知名的大語言模型包含OpenAI的GPT系列、Meta的LLaMa系列、Google的Gemini與Gemma系列等。為讓大語言模型能夠更加在地化,國內也積極研發本土大語言模型,如意藍所發展之eLAND GOAT。而大語言模型則主要有以下幾個核心特點:
  1. 大量的數據訓練:透過讓模型從大量文本數據中訓練來學會語言知識。
  2. 上下文理解:能夠理解和生成上下文相關的文本,提供流暢的回覆。
  3. 應用場景廣:有別於過往的模型多只在特定領域表現良好,大語言模型可以用於多種自然語言處理任務上,包括文本生成、翻譯、摘要、問答等。
大語言模型對自然語言處理的強化

大語言模型的發展推動了自然語言處理技術的進步,透過持續的訓練模型,可以更強化自然語言處理的效果,包含:

  1. 語意理解能力更佳:能夠更準確地理解文本中的語意,從而提高自然語言處理系統的性能。
  2. 文本生成能力更強:能夠生成更自然、連貫甚至更貼合使用者需求的文本,在聊天機器人和文本生成工具等方面都有很大的應用潛力。
  3. 多語言處理能力更好:具備多語言處理能力,可以在多種語言之間,進行翻譯和語意的理解。
 

意藍結合搜尋技術、自然語言處理與大語言模型,提升產品效果與體驗

隨著近年生成式AI技術的竄起,意藍也跟上這波技術革新的潮流,基於原有的搜尋技術與DeepNLP技術,再結合生成式AI技術如大語言模型來優化產品服務與體驗,包括:

  1. OpView:意藍運用大語言模型在生成文本上的能力,提供輿情摘要功能,讓使用者在進行輿情觀測與分析時,可以跳脫過往繁瑣的工作流程(例如:在框定議題範圍後,還需人工一篇一篇檢視、吸收消化再整理成重點等耗費時間的作業模式),更快速有效率的取得議題、貼文的討論重點。  此外,OpView也結合大語言模型推出新功能「AI輿情應變顧問」及「AI智能廣告投手」,讓使用者不僅可以在平台上進行輿情觀測與分析,更能進一步地根據輿情資訊,了解關注受眾的樣貌,進而作為精準行銷及廣告投放之參考依據。其中,在AI輿情應變顧問中,意藍結合自身的搜尋引擎技術與檢索增強生成(Retrieval-Augmented Generation, RAG) 技術,讓使用者可以在短時間內,便獲得由AI從數以萬計的輿情資料中萃取、彙整並消化重點後所進行的問題回覆。
  2. AI Search for KM:意藍結合DeepNLP技術、大語言模型以及搜尋引擎技術,提供知識搜尋與問答的服務,可以作為企業的AI知識助理或AI學習教練,能快速的從大量的檔案文件中找出所需內容,並附上參考內容出處供驗證。本產品透過自然語言處理技術結合語意向量搜尋,可以進一步從相關檔案文件中,找出與使用者問題最相關的資訊,再由意藍發展的eLAND GOAT大語言模型加以彙整、內化後,以自然語言的形式回覆給使用者,協助使用者可以快速地取得精準且易懂的問題回覆,解答自身問題、減輕知識內化的時間成本與負擔。

意藍將DeepNLP技術與大語言模型結合,提升產品服務多樣性,藉由AI協助企業客戶簡化輿情分析、知識檢索的繁瑣流程與成本,實現更全面的商業應用服務。 

想進一步了解更多意藍AI技術嗎?

<span style=" display: block; font-size: 0.8em; font-weight: 100; color: #A5A3A3;">精華文章</span>AI驅動的城市未來:意藍資訊AI智能搜尋解決方案

精華文章AI驅動的城市未來:意藍資訊AI智能搜尋解決方案

AI驅動的城市未來:
意藍資訊AI智能搜尋解決方案

意藍資訊 (6925) 是國內首家公開掛牌的AI智能數據代表廠商, 憑藉自有核心技術 Search搜尋、NLP語意分析、ETL數據處理,更進一步結合生成式AI,為企業/組織提供多元的新一代AI智能解決方案。

本期 AI 知識庫亮點

意藍資訊核心技術

意藍資訊的核心技術包含Search搜尋、NLP語意分析、ETL數據處理
  1. Search搜尋
    以工業級C++技術打造自有核心,並透過獨家的P2P點對點分散式部署架構,讓系統可以乘載巨量數據處理規模,並保有遠勝於開源項目的處理效能、同時具備良好的多國語言搜尋能力。
  2. NLP語意分析
    意藍在自然語言處理上專研多年,以深度學習(Deep Learning)技術為基礎打造出新一代的語意分析核心技術(Deep NLP),提供包含斷詞、情緒分析、屬性詞擷取、自動摘要等成熟技術,兼具準確度及處理效能,可連續處理巨量數據,並從數據中學習。
  3. ETL數據處理
    透過分散式平行化自動擷取架構,讓意藍在資料爬取與清理方面,可以適應多種數據,處理量大、變動快的非結構化資料,讓各使用單位可以即時快速、有系統地運用所需資料。
而乘著AI熱潮,意藍更進一步結合生成式AI,開發出eLAND GOAT大語言模型及檢索增強生成RAG(Retrieval-Augmented Generation)技術,推出各式AI智能搜尋解決方案,滿足企業在不同場域的應用需求;而以下將自「智慧城市災防應變」、「智慧政府民意陳情資料分析」兩大應用情境為例,向大家介紹意藍如何為合作夥伴實現AI落地應用。

意藍AI Search智能搜尋解決方案

協助智慧城市災防應變數據分析
面對嚴峻的自然災害挑戰,災害防救單位需快速且準確地掌握災情資訊,提升災害應變效率。而意藍透過先進的AI技術,結合社群輿情資料和專屬的歷史數據庫,為災害防救單位提供高效的解決方案,解決資訊來源分散、數據處理繁複等痛點,協助單位提升資訊處理效率,並提供數據支持決策判斷,以便更好地應對和管理災害風險。分項說明如下:
[AI結合社群輿情資料,協助城市災防治理 – 分析儀表板]

為即時蒐集社群輿情中的災情資訊,意藍擷取分析眾多公開網站頻道的資料源,涵蓋各大公開媒體、Facebook粉絲團、Dcard、巴哈姆特各地區版、Mobile01地區版及PPT地區版等等,將巨量資料結構化並過濾之後,透過意藍的搜尋引擎,便可針對大量資料做搜尋。

接著,透過語意分析技術,讓AI自動判別每一篇災情文章內容中提及的地理資訊、災害事件以及災情程度等,將這些重要詞彙辨識出來並自動標記。

最後,將這些社群輿情中的災情內容與AI自動標記之結果,展示在分析儀表板上,讓災害防救應變相關單位可以利用搜尋快速找到相關內容,並從儀表板了解與統計各個地方民意反映的災情狀況、發生頻率等等,以利後續分析和災防治理。

[AI結合歷史數據,協助應對自然災害 – 歷史災害事件問答]

配合災害防救單位之需求,意藍利用生成式AI與自然語言模型,整合歷史災害防救數據,結合eLAND的AI Search For KM服務,建立災害防救事件問答系統,幫助災害管理或救援人員應對自然災害的挑戰。

災害防救單位可針對歷年災害事件做問答,AI Search for KM系統會依據提問找到多個參考段落,再由大語言模型綜合歸納出完整的答覆。以下為幾個問答情境:
  1. 山竹颱風在哪些地區有較大雨勢?
    AI Search for KM 回覆:根據提供的文章資料,我們可以得知山竹颱風在【文章A】、【文章B】和【文章C】中提到了有較大雨勢的地區。在這些文章中,指出受颱風外圍環流影響,花蓮、台東、屏東縣(山區、恆春半島)將有較大雨勢發生。此外,【文章C】也提到了台灣東部、屏東縣(山區、恆春半島)及南投縣、高雄市山區也將有較大雨勢發生。因此,根據這些文章的資訊,山竹颱風預計會在花蓮、台東、屏東、南投和高雄等地區帶來較大的雨勢。
  2. 梅姬颱風對台東造成什麼災情?
    AI Search for KM 回覆:梅姬颱風對台東造成了顯著的災情,包括淹水、道路坍方和農業損失。根據【文章F】,台東縣知本溪流域溫泉橋上游左岸堤防溢堤,導致溫泉村40戶民宅淹水,而右岸山坡則有雨水夾帶土石沖入富野飯店,民宅內土砂淤積達50公分以上。此外,梅姬颱風也對台東及屏東部分地區造成淹水和道路坍方,農業損失約1.9億元,並造成12人受傷。這些災情反映了梅姬颱風對台東地區的嚴重影響,包括對居民生活、基礎設施和農業的破壞。
  3. 梅姬颱風會對哪些地區影響較劇烈?
    AI Search for KM 回覆: 梅姬颱風對臺灣的影響最劇烈的地區包括臺北市、新北市、桃園市、新竹縣市、基隆市、花蓮縣、臺東縣、屏東縣、高雄市、臺南市、嘉義縣市、雲林縣、彰化縣及澎湖縣。這些資訊來自於【文章G】,其中明確指出這些縣市為梅姬颱風風災高風險區。此外,【文章H】 也提到梅姬颱風10級風暴風圈主要通過的縣市包括花蓮縣、臺東縣、屏東縣、高雄市、臺南市、嘉義縣市、雲林縣、彰化縣、南投縣、及澎湖縣,這進一步確認了上述地區將受到較劇烈的影響。這些資料綜合顯示,梅姬颱風將對臺灣南部、東部以及部分中部和北部地區帶來顯著的風災和降雨影響。
智慧政府民意及民眾陳情資訊分析
地方政府經年累月從派工系統、話務系統、人民陳情與市長信箱等來源接獲的民眾陳情資料相當龐雜,無論是市府人員後續欲整理民眾陳情資料進行分析,或是借鑒過往民眾陳情案件的回覆用於新案件回覆,皆費時費力;因此,意藍運用AI技術,提供市府陳情儀表板與陳情問答輔助解決方案,協助地方政府得以更有效分析資料及輔助陳情回覆 。分項說明如下:
[AI結合歷史數據,協助應對自然災害 – 歷史災害事件問答]
整合各來源資料,並透過意藍DeepNLP技術,分析民眾陳情情緒、擷取陳情內容特徵資訊等,整理成結構化資訊。接著,採用意藍搜尋引擎技術,讓使用者可以藉由彈性的檢索條件快速查詢到想了解的特定陳情案件。最後則進一步將結構化後的陳情資料整合成儀表板,提供視覺化圖表供使用者可以快速、清晰的了解案件概況與量化數值,並應用於後續分析。
[AI智能問答 – 陳情客服輔助]

在此項解決方案中,政府單位人員可直接輸入收到的民眾陳情內容,陳情問答輔助服務會先去除其中的個資及敏感資訊,嚴格控管資安不外洩,再將陳情內容清整後與過往陳情案件進行比對,獲取與本次陳情相關、過往曾經處理過的案件資訊,並透過生成式AI整合後產出AI自動回覆模板,輔助政府單位人員更有效率的回覆陳情案件,提升客服效率並減輕人力負擔。

此外,意藍的陳情客服輔助服務也具備以下特點:
  1. 回覆模板有依據
    服務會自動參考過去相關案件的回覆,以過往的回覆格式與內容為參考,產出適合的回覆內容提供給使用者
  2. 自訂聯絡資訊
    在產出的回覆模板中,使用者可以自己彈性設定應在回覆中顯示何種聯絡資訊
  3. 自訂單位名稱
    在產出的回覆模板中,使用者也可以自行設定在回覆中欲呈現的單位名稱資訊

意藍 (6925)將生成式AI與自身核心技術結合,提供多元的AI Search智能搜尋解決方案,賦能合作夥伴,實現了AI技術在智慧城市災防應變,以及智慧政府民意及民眾陳情資訊分析的落地應用,為AI未來城市發展注入新的動能。

想進一步了解更多意藍AI技術嗎?

<span style=" display: block; font-size: 0.8em; font-weight: 100; color: #A5A3A3;">精華文章</span>掌握檢索增強生成技術,強化企業應用AI的價值:意藍在RAG的應用與展望

精華文章掌握檢索增強生成技術,強化企業應用AI的價值:意藍在RAG的應用與展望

掌握檢索增強生成技術,強化企業應用AI的價值:
意藍在RAG的應用與展望

AI技術發展飛速,而檢索增強生成技術 (Retrieval-Augmented Generation, RAG) 則成了讓大型語言模型 (LLM) 更加高效、智能的關鍵技術。RAG檢索增強生成結合了搜尋引擎與大語言模型,也就是檢索與生成的特點,能有效地先找出精準且相關的內容後,再讓大語言模型依據相關的內容做參考,理解後再生成回答,可以有效解決大語言模型幻想 (hallucination) 的問題,並且能夠提供相關內容的參考出處,增加了可解釋性 (Explainability) 和可驗證性 (Verifiability),並且能夠透過搜尋引擎來快速變換參考的相關資料,不需要對大語言模型進行再訓練,具備了速度和成本效益優勢,其企業應用範圍與情境更是廣泛。本文將深入探討RAG檢索增強生成的原理、優勢與應用場景,並說明意藍在此技術下的應用實踐。

認識檢索增強生成 (RAG)

什麼是檢索增強生成?

檢索增強生成 (Retrieval-Augmented Generation, RAG) 是一種結合了檢索 (Retrieval) 和生成 (Generation) 兩種方法的人工智慧技術,從大量的文本資料中搜尋相關的資訊,並基於檢索到的資訊生成更具體、更可信的答案。

檢索增強生成的優勢與挑戰

生成式AI在生成內容時,可能會出現杜撰答案或是答非所問等AI幻覺 (hallucination) 之情況。而檢索增強生成能解決此問題,增加其可解釋性和可信度,整體而言可歸納為以下優勢:

  1. 依照相關的參考資訊來生成內容,可以提高生成內容的準確性和品質,避免生成虛假、不切實際的誤導性資訊
  2. 增加可信度與可驗證性,確保生成的內容具有可靠的參考依據,而非僅根據過去的學習經驗推測,且生成的內容可被檢查驗證。
  3. 節省訓練成本,更快速地更新知識。由於訓練 (或微調再訓練) 語言模型新知識都需要大量的時間和金錢成本,但RAG檢索增強生成能利用現有模型,只要透過搜尋引擎快速更新相關的參考資料,就可以反應生成結果上,不必進行新一輪的訓練,更新速度快、成本也低。

除了具備以上優勢外,一個好的RAG檢索增強生成技術需在實際應用中克服以下挑戰,以發揮其潛力並有效提升效能:

  1. 無檢索結果時的回覆

    當檢索增強生成沒有檢索到得以回答使用者問題的知識時,需判斷並回覆無相關參考資料,不要硬答,避免大語言模型杜撰答案,才不會出現AI幻覺問題。

  2. 生成回覆內容的實用性

    隨著知識庫不斷擴大,RAG檢索增強生成需維持檢索和生成過程的效率與精準度,這通常需要強大的搜尋引擎技術支持才做得到。

  3. 效率和擴展性

    整合了生成式AI、搜尋引擎,和NLP (自然語言處理) 技術,讓企業員工只要上傳知識文件後,就可以輕鬆地檢索和提問,且AI Search for KM專注於企業自身所建構的知識庫,確保回答乃基於實際數據和企業內部知識,並提供地端運算方案,避免內部資料外洩風險。

  4. 實際應用彈性

    應用檢索增強生成時須考慮到不同領域的需求,有些領域的知識點敘述較長、有些領域知識較分散,需能彈性調整段落長短、段落數多寡等,真正能夠完整地找出相關的內容,以符合不同的應用場景,這將是關鍵重點。

RAG檢索增強生成的應用場景

RAG檢索增強生成適用於需要透過相關的參考資料來輔助回答的問答系統、智能對話系統以及其他自然語言處理應用,來滿足客戶在不同場域的各種需求,如:

  1. 問答系統

    用於需要透過相關的參考資料來輔助回答的問答系統,例如客服人員使用的常見問答集 (Frequently-Asked Questions, FAQ) 或標準作業程序 (Standard Operation Procedures, SOP),特別是在回答專業知識問題時,RAG檢索增強生成能提供更精準及可靠的解答。

  2. 智能對話系統

    對話系統通常需結合大量知識來回答使用者的問題,RAG檢索增強生成可協助系統更好地理解用戶的問題並提供具有明確出處和連貫性的回應。

  3. 知識檢索及擴充

    企業或組織通常擁有大量的內部知識資源,包括文件、報告、手冊等。RAG檢索增強生成可協助使用者快速檢索到所需的知識資訊,同時也可不斷擴充相關知識,提供更全面、深入的內容。

  4. 知識管理

    RAG檢索增強生成可協助組織更有效地管理和利用大量的知識資源,以提高知識的可用性及共享性,促進團隊合作和創新。

RAG檢索增強生成的應用實例
而RAG檢索增強生成又能應用在哪些場域呢?接著我們進一步說明應用實例如下:
  1. 輿情分析
    針對特定事件、議題,蒐集並觀測社會大眾的意見進行輿情分析,檢索增強生成可透過檢索大量相關的社群網站貼文、討論區評論、新聞文章等資料,找出特定內容做為參考,讓與搜尋引擎高度整合的大語言模型來生成對應的摘要或分析結果。此方式能從大量的資料源找出可用資訊,對輿情進行全面準確的分析,同時也保持生成內容的靈活性和即時性。
  2. 財經分析
    在金融領域,RAG檢索增強生成可透過檢索過去至今完整相關的重大訊息、公開說明書、市場數據、公司報告、專家評論等資料,生成對於當前市場概況的歸納或未來趨勢的預測推論。此方式可充分利用豐富的歷史資料,同時了解即時的市場資訊,有助於提高分析預測的準確性和可信度。
總結而言,因大語言模型進行預先訓練或微調需要耗費大量時間和資源,無法即時應對快速變動的環境,而 RAG檢索增強生成能藉由結合檢索 (搜尋引擎) 和生成 (大語言模型) 的方法,即時地分析大量的資訊,有效協助使用者更佳理解及應對快速變動的情況。

意藍資訊於檢索增強生成的應用

意藍結合RAG檢索增強生成的發展優勢

RAG檢索增強生成的概念是高度整合搜尋引擎與大語言模型,先透過檢索功能找出完整相關的參考資料,再基於大語言模型的理解和生成能力,讓該模型進行摘要,進而生成即時、精確的答案,因此搜尋引擎的好壞便成為RAG檢索增強生成出色與否的重要因素。

而意藍資訊在數據處理及分析領域深耕多年,也 將搜尋技術 (Search) 與自然語言 (NLP) 經驗結合,不僅能兼顧傳統關鍵字檢索的精準快速搜尋,以及向量搜尋可支援自然語言提問的特點,提供使用者更佳的檢索功能與卓越的RAG檢索增強生成服務體驗。

此外,擁有RAG檢索增強生成的系統就有如口袋中放了百科全書,使得在生成內容時不再受限於過往訓練的資料,而能即時瀏覽大量的專業知識文件,以解決特定領域的複雜問題,進一步提升問題解決的效率。且面對資訊爆炸的今日,新資料推陳出新,有了RAG檢索增強生成技術,可讓我們的產品與技術持續從新數據學習及擴展知識庫,使產品在任何情境下都能保持訊息的即時性。

意藍於檢索增強生成的應用

而意藍資訊在RAG檢索增強生成主要有以下應用:

  1. 訓練大語言模型

    意藍自行研發並訓練了大語言模型eLAND GOAT,能夠與搜尋引擎高度整合並進行優化,用以加強RAG檢索增強生成中對於參考相關資訊的摘要及回答的能力。

  2. AI Search for KM新一代生成式AI知識管理系統

    我們將RAG檢索增強生成應用在知識管理領域,透過結合搜尋、NLP與大語言模型打造出新一代生成式AI知識管理解決方案,提供使用者更高效、智能的知識搜尋與問答服務體驗。

  3. AI輿情應變顧問

    將RAG檢索增強生成結合最完整、最即時的網路聲量資料,提供以自然語言口語文字查詢,就可以彙整、生成輿情重點,依照真實內容來提供AI應變建議,可以應用在市場研究、行銷趨勢、公關應變,任何需要快速掌握輿情重點的企業場景中。

意藍 AI 技術的未來展望
我們相信, 整合了搜尋引擎與大型語言模型 (LLM) 的RAG檢索增強生成技術,能夠轉化為企業的知識和營運數據中心。這意味著企業中的多個重要系統,如知識管理 (KM)、企業資源規劃 (ERP)、客戶關係管理 (CRM) 以及人力資源 (HR) 等,都可透過RAG檢索增強生成技術進行整合,不僅能提高數據的利用效率,也能加強企業的資料治理能力,讓企業更加依循正確的資料做出有效決策。展望未來,我們會持續致力於透過AI技術讓數據增值,並進一步賦能合作夥伴,協助提升企業營運效能。

想進一步了解更多意藍AI技術嗎?

<span style=" display: block; font-size: 0.8em; font-weight: 100; color: #A5A3A3;">精華文章</span> 生成式AI的商業機會與挑戰:意藍資訊在 AI 技術上的應用

精華文章 生成式AI的商業機會與挑戰:意藍資訊在 AI 技術上的應用

生成式AI的商業機會與挑戰:
意藍資訊在 AI 技術上的應用

生成式AI是一種人工智慧技術,主要特點是能夠生成新的內容,例如文字、圖像或音訊,來解決問題。而意藍資訊除了有自行研發的大語言模型eLAND GOAT外,也推出了許多的AI智能數據解決方案。

本期 AI 知識庫亮點

認識生成式AI

生成式AI的原理是什麼?
生成式AI是 基於深度學習,透過擁有大參數量的神經網絡來記憶學習大量的資料,並且在沒有明確標籤或指導之下,自行學習資料的分佈,來生成更多類似的資料。工作邏輯就好比文字接龍遊戲,使用者在輸入詞句後,生成式AI便會根據過往學習時曾看過的訓練資料,來評估該詞句接下來在高機率的情況下會產生的字詞為何,並進行相對應的文字生成。

目前的生成式AI通常會配合兩種建立模型的技術,第一個是預訓練 (pre-train),也就是先在沒有特定任務目標的情況下先進行模型的訓練,之後再將該訓練好的模型投入到實際應用中。打一個比方,就像預先訓練AI的基本語文能力,之後在克漏字測驗、改錯、造句、摘要、閱讀理解等任務上都會用到這些能力;另一個是大模型 (large model),包括不斷推升神經網路模型的參數量規模,以及給予更多的訓練資料,都是希望讓生成式AI的能力及適用狀況可以更加地擴大。

生成式AI的應用場域與未來發展

生成式AI的應用實例
生成式AI可以在文書生成、摘要、提供方法推論、回答知識題等方面提供協助,並且也能在行銷、廣告、政治社會等領域,甚至是學術研究、政府單位當中扮演探索或發想性質的角色。不過需要注意的是,若是要針對如計算題這種有標準答案的內容時,生成式AI有時可能無法完全正確的回應,這時就會需要仰賴使用者再多留意與求證。
生成式AI的挑戰與未來趨勢
2023年劍橋字典選出的年度代表字:Hallucination (幻想),其便反應了人工智慧的可信賴性會是一大挑戰,尤其生成式AI有杜撰、編造消息來源的不可控性。因為生成式AI的能力一大部分是仰賴過往曾經看過的訓練資料再經過類似機率選擇的過程來生成內容,因此存在不確定性,以及拼湊內容、無中生有的可能。另外,生成式AI還有資安風險的隱憂,例如提供的資訊被模型業者拿去做為訓練模型之用,而近來也有許多例子都能證實,即使在訓練模型時設了重重關卡,訓練出來的模型還是可能會在無意之間把公司內的機敏資料洩漏出去。

而要克服這些問題,首先我們要能讓AI產出的答案變成是載明參考資料出處且可驗證的。在未來,生成式AI模型一定會不斷推陳出新,成為繼30年前圖形化界面 (Graphical User Interface) 之後,最大的一個人機界面革命,可以理解使用者的口語表達並完成各項任務的自然介面 (Natural User Interface)。目前已有利用生成式AI的自動化框架,能夠將一個任務的所有工作流程進行拆解的案例,使得生成式AI可以去完成每一個環節相應的步驟,成為生成式AI發展的趨勢方向。

意藍資訊的AI服務應用

意藍大語言模型eLAND GOAT 與 OpenAI的差異
而為了解決生成式AI在應用上的幻想杜撰、資安等問題,以及台灣本土大語言模型缺乏繁體 (正體) 中文語料等情況,意藍資訊也在AI領域持續追求成長與卓越。相較於OpenAI的GPT模型,由意藍所自行研發出的大語言模型eLAND GOAT,即是以大量台灣社群網站、網路媒體的繁體中文語料進行訓練,具備了更好的繁體中文理解、生成能力,在使用上能夠提供更為在地化的體驗。此外,相較於OpenAI僅提供放在公有雲上的模型,eLAND GOAT能夠提供企業小型化、特式化 (specialized) 的地端模型,可以運行在企業內部環境中,依循企業組織的權限設定,滿足企業對於資安上的需求。
意藍AI智能數據解決方案

除了大語言模型eLAND GOAT,意藍資訊也致力於發展各式AI智能數據解決方案,來滿足客戶在不同場域的各種需求,如:

  1. 輿情GPT

    結合全台最大的社群口碑資料庫OpView,讓使用者能夠在輸入簡單的關鍵詞後,快速找出最相關的資料,並藉由生成式AI來生成口語化、條列重點的輿情精華摘要,解決過去在解讀社群輿情時,需要人工對話題逐篇檢視、理解的時間。

  2. AI Search for EC 新一代智能貼標與搜尋推薦系統

    以AI語意分析技術,自動解析商品中所帶有的各式資訊文本,生成能代表商品的重點標籤,再綜合評估聲量、搜量、銷量等多元指標,能有效解決電商品牌在商品曝光、推薦、搜尋引擎優化上的各項痛點,讓消費者可以更精準的找所需的商品。

  3. AI Search for KM 新一代生成式AI知識管理系統

    整合了生成式AI、搜尋引擎,和NLP(自然語言處理)技術,讓企業員工只要上傳知識文件後,就可以輕鬆地檢索和提問,且AI Search for KM專注於企業自身所建構的知識庫,確保回答乃基於實際數據和企業內部知識,並提供地端運算方案,避免內部資料外洩風險。

想進一步了解更多意藍AI技術嗎?
<span style=" display: block; font-size: 0.8em; font-weight: 100; color: #A5A3A3;">精華文章</span>本土生成式AI大語言模型的發展與優勢:意藍輿情GPT的技術與應用

精華文章本土生成式AI大語言模型的發展與優勢:意藍輿情GPT的技術與應用

本土生成式AI大語言模型的發展與優勢:
意藍輿情GPT的技術與應用

大語言模型的優勢在於使用了先進的自然語言處理技術,由大參數量的深度學習架構,加上大規模的學習語料,來達到自行理解詞句間關係的能力,進而依照提示來生成各種內容,可以廣泛應用在多種場景,例如理解文章、生成摘要、依提示寫作及問答等。而由於目前繁體 (正體) 中文語料相對較少的緣故,台灣各界都開始投入蒐集與標註繁體中文語料,並以建置本土大語言模型為目標。

本期 AI 知識庫亮點

生成式AI大語言模型的核心特點
本土生成式AI大語言模型的可能性
意藍資訊的生成式AI應用內容

AI大語言模型的核心特點

什麼是大語言模型?
大語言模型 (Large Language Model,LLM) 是一種基於大量資料訓練而成的深度學習模型,其特色在於模型參數量大、學習訓練資料量大。而模型的核心特點在於訓練過程中,可以自行學習、理解大量資料中每個詞句間的關係與背後的意義,成為基礎的預訓練 (pre-train) 模型,隨後再依照不同的任務類別進行微調 (fine-tune),例如成為可以根據指令來提供符合邏輯的自然語言回應。 大語言模型的工作邏輯就好比文字接龍遊戲、或是猜測下一字詞的智慧型輸入法,使用者在輸入詞句後,大語言模型便會根據過學習、訓練的資料,來評估詞句背後高機率會產生的字詞為何,並進行相對應的文字生成。
大語言模型的優勢為何?

大型語言模型的優勢在於使用更先進的NLP (Natural Language Processing),也就是自然語言處理技術。相較於傳統的自然語言處理技術,大型語言模型的優勢包含:

(1)上下文理解:不是只針對字詞本身來解釋,而是透過分析上下文來更好地理解和處理文意,可以解決單一字詞依上下情境會有不同解釋的問題,所生成的回應也會更有連貫性且有邏輯。

(2)多任務適用:經過預訓練的大語言模型,就像有了基本語文能力的AI,對處理各種自然語言處理的任務都會大有幫助,例如有了基本語文能力,則學測中的克漏字測驗、改錯、造句、摘要、閱讀理解等分數都會上升,不需要單獨為每種任務來設計特定的模型,讓模型的應用更多元、廣泛。

(3)大規模資料訓練:透過數十億字符 (token)、甚至到上兆等級 (tera-) 的語料進行大規模的學習,讓模型能夠掌握更豐富的知識,從書籍、百科、論文、資料庫、網頁內容、社群貼文等,進而做出更好的理解與回覆。

本土生成式AI大語言模型的可能性

台灣大語言模型的發展

由於目前主流的大語言模型,如OpenAI的GPT系列,或是Meta的LLaMa系列,在訓練時所使用的語料都以英文為大宗,而中文語料佔比都非常低,其中大部分資料又為簡體中文,和繁體、台灣地區所慣用之用字遣詞有一定差距,因此台灣的產、官、學界也都持續致力於台灣本土大語言模型的發展,如國科會的TAIDE模型、台智雲公司的FFM(Formosa Foundation Model)、聯發科公司下聯發創新基地的breeze模型,以及作為國內自然語言處理的先導廠商 – 意藍資訊所發展之eLAND GOAT模型,目標均是讓大型語言模型能夠更加在地化。

意藍資訊在生成式AI大語言模型的發展
大語言模型的訓練是依靠大量高品質的數據資料來執行,而意藍資訊累積超過十年、規模最大的台灣公開社群與網路輿情資料,包含國人常用的各大社群平台、問答網站、評論網站、討論區、公開內容等,這些繁體中文語料就是生成式AI最好的學習教材。除此之外,意藍也發展了自己的自然語言處理演算法與模型,且經過第三方機構的驗證,語意判斷的準確度高達九成。此外,在相關性檢索、情緒判別、與AI對話等競賽中都名列前茅。故在台灣大語言模型的發展中,意藍資訊具備生成式AI領域中最核心的資料、演算法與應用,擁有如輿情分析、數位人群分析、電商搜尋推薦引擎、知識檢索與問答等不同的商業應用方向。

意藍資訊的AI應用內容

輿情GPT的特色與優勢
在研發大語言模型上,由於意藍資訊擁有全台最大、最完整的OpView社群口碑資料庫,再結合意藍訓練研發的自然語言處理技術DeepNLP,成功打造出領先全台的「輿情GPT」服務,讓輿情GPT在面對巨量的語料能夠更有效地處理並加以運用。只需要在輿情GPT中輸入簡單的關鍵詞,便可以在最短時間找出相關的資料,並藉由大型語言模型來生成口語化、條列重點的輿情精華摘要,解決過去在解讀輿情話題時,需要逐篇話題一一進行檢視、理解的大量時間。除此之外,輿情GPT強大的質化分析能力,能讓企業即時掌握突發公關事件的輿情走向,或精準抓住行銷上的流行爆紅元素。
生成式AI技術未來展望
隨著大型語言模型的能力越來越強,大眾對於資訊安全和資料保密議題的重視也日漸增加。企業在大語言模型應用上,常會受限於服務供應商多為公有雲的緣故,不放心將企業重要資訊上傳外露,使得無法讓模型在具備企業內部知識的情況下,提供更精確的產出結果。因此,意藍資訊持續發展企業專屬的地端 (on-premise) 模型,提供企業小型化、客製化的模型選項,並且不斷的探索大型語言模型的應用場景,嘗試、解決企業遇到的商業問題。
想進一步了解更多意藍AI技術嗎?

Copyright eLAND Information Co., Ltd.