AI Search 電子報 | vol.02 導入不是目的，企業該如何部署大語言模型？

AI Search 電子報｜AI 企業應用焦點

AI Search 電子報：洞悉台灣企業 AI 落地真實力

在 AI 浪潮席捲全球的今日，資訊焦慮已成為企業共同的課題。國外最新的模型、最炫的應用，雖令人目不暇給，卻往往與台灣企業的日常營運有著一段不小的距離。我們真正需要的，不只是追逐國際 AI 快訊，而是在地實踐的洞見與智慧。

意藍資訊身為台灣第一家 AI 智能數據上櫃公司，站在產業第一線，深刻理解台灣企業導入 AI 時所面臨的真實挑戰，包括了各種產業應用，例如金融、製造、零售、服務、連鎖、乃至政府及公部門等，提出如何導入生成式 AI，真正滿足企業需求、解決企業問題、符合企業效益的解方。

這份《AI Search 電子報》因此而生。意藍資訊將以 AI 及數據的專業視角，分享生成式 AI 在台灣各行各業的導入故事，透過務實的策略與案例，旨在協助您找到最適合自身企業的 AI 路徑。誠摯邀請您，與意藍資訊一同探索 AI 在台灣企業的各種應用及可能。

意藍資訊總經理 楊立偉 博士

Vol.02 本期 AI 企業應用焦點報亮點

企業導入大語言模型，該從任務、流程還是模型本身開始？

大語言模型（Large Language Model，LLM）是生成式AI領域中十分重要的一項技術與應用，它通過大規模文本數據的訓練，學習語言文字中的上下文結構和語意關係，並能生成自然流暢的回應，與使用者的提問做互動。本文將帶您了解大語言模型的原理與特點，探討企業如何有效運用大語言模型、使其在工作場域中發揮價值，並介紹意藍自行研發之大語言模型 eLAND GOAT 的具體應用。

認識大語言模型

什麼是大語言模型？
大語言模型（Large Language Model，LLM） 是一種基於大量資料訓練而成的深度學習模型，其特色在於模型參數量大、學習訓練資料廣泛，且在模型的訓練過程中，能夠識別及理解大量資料中每個詞句間的上下文關係，以及在語意空間中背後的意義，再根據使用者的提問或指令（Prompt），提供符合邏輯的自然語言回應。大語言模型的運作邏輯就好比文字接龍遊戲──根據使用者所輸入的詞句，模型會基於已學習、訓練過的資料與上下文，來評估哪些字詞最有可能出現在使用者的輸入之後，並生成相對應的文字回應。  
大語言模型的核心特點？

綜前所述，大型語言模型的核心特點包含以下幾點：

  1. 上下文理解：大型語言模型能更好地理解和處理文意，生成連貫、有邏輯的流暢回應。
  2. 多任務適用：大型語言模型能夠應付多種自然語言處理任務，無需單獨為每種任務設計特定模型，也因此能夠廣泛應用於多種不同場景。
  3. 大數據訓練：大型語言模型通常基於數千萬、甚至數億的文本資料進行訓練，龐大的數據量使得模型掌握了豐富的知識，從而能夠做出更準確的判斷與回覆。

不過也需要注意的是，大語言模型是根據過往數據資料訓練而成的，若遇到訓練資料中缺乏、無法回應的提問、或參考資料本身有所偏誤，可能就會出現AI 杜撰、AI 幻覺 (Hallucination) 等現象，生成出錯誤甚至不存在的回應。

大語言模型的商業應用可能性

企業的大語言模型應用場域

而基於大語言模型具有的核心特點，可以被運用在以下幾個商業場域當中，來協助企業提升營運效率，輔助企業達成不同的目標：

  1. 市場行銷：大語言模型可以生成文案、分析市場趨勢以及顧客偏好，甚至優化廣告投放策略。它可以幫助撰寫社群媒體文章、電子郵件行銷內容，並根據市場數據預測消費者需求。
  2. 內部管理：大語言模型也可以成為內部知識管理的助力，幫助員工快速找到需要的資料，或者自動生成報告、會議記錄。此外，在客戶服務方面，也可以24小時即時回應客戶問題，減少人工客服負擔，並提供可驗證的參考內容出處。
  3. 輔助決策：透過分析企業數據，大語言模型還可以協助管理層做出更準確的市場預測，從而提升整體營運決策的效率和準確性。
企業如何善用大語言模型提升營運效率？
那企業究竟又該如何將大語言模型的優勢發揮出來？關鍵在於企業如何對模型下達準確的指令（Prompt）。對大語言模型提問時，語句及用詞要盡可能地具體、包含上下文訊息，才能讓大語言模型提供有效的回應，例如當想了解有關國內知名金融業者新光金控的相關資訊時，應避免簡化問句為「總資產？」，而是「請問新光金在今年第二季結束時的資產總額是多少？」，通過更精確的提問，大語言模型能提供更完整的回應。 除了應避免模糊不清的提問內容，提問的技巧也同樣重要，使用者應逐步引導模型進行推理，如欲詢問「新光金在大陸投資有賺錢嗎？」，可先調整提問為「請問新光金在大陸的投資項目為何？」，根據模型的回應，再進一步提問「投資損益為多少？」；藉由調整指令，讓模型能夠不斷學習並一次性回答多個相關問題，從而提升營運效率。  
企業導入大語言模型的關鍵要素​

隨著大語言模型的發展愈發成熟，企業導入大語言模型已是時下趨勢。而企業在導入大語言模型時則需考量多個關鍵要素：

  1. 數據隱私與資安控管：對於許多企業來說，使用大語言模型等相關服務時，除了須確保符合相關法律規範外，還需要對數據採取必要的保護，避免數據外洩或資安方面的風險。
  2. 模型與系統的相容性：在導入大語言模型時，需注意模型本身與企業現有系統的相容性，這涉及了技術、成本等多方面的考量，若企業缺乏相關經驗，便會使導入時的成本與難度增加。
  3. 企業基礎部署條件：不同企業在選擇大語言模型時，需根據自身具備的基礎條件，選擇雲端、地端或是混合部署。另外也須有足夠的計算資源與維運人力，確保模型運行並在必要時針對模型進行微調 (fine-tune)。 

意藍於大語言模型的應用

意藍深知大語言模型對企業營運的重要性與無限可能性，然而因目前主流的大語言模型多是使用英文語料進行訓練，中文語料的佔比相對較低，大部分資料又都是以簡體中文為主，與繁體、台灣所慣用的用字遣詞有一定差距。意藍挑選出台灣常用的語料，在兼顧適法性及合理使用的條件下，整理出AI的學習材料，開發出台灣本土的大語言模型 eLAND GOAT，目標讓大語言模型可以更加在地化，並兼顧效能及成本之考量，符合企業特定目的用途。 而意藍在發展出的台灣本土在地化大語言模型 eLAND GOAT 後，也將其運用在企業知識管理領域中，推出新一代 GenAI 知識管理工作平台－AI Search for KM，不僅提供使用者可以以自然語言的形式進行問答，還結合檢索增強生成（Retrieval-Augmented Generation, RAG）技術，能夠有效地找出精準且相關的內容，藉此提高大語言模型在生成內容的準確性和可靠性，並能夠在每次回應時附上參考內容出處以供驗證，有效避免 AI 幻覺的可能性。 除此之外，AI Search for KM 還可以串接企業知識庫，不需要大量的人力和機器資源重新訓練或微調模型，並且可選擇在雲端、地端或混合部署大語言模型，免除機敏資訊外洩的疑慮的同時，也能快速的從大量的檔案文件中找出所需內容，大幅縮減企業在知識內化的時間成本與負擔，使其能夠更有效地管理和運用知識資源、提升營運效率。
點擊了解大語言模型應用

政府單位想提升行政效率？AI 可以這樣發揮效用

隨著數位化時代的加速發展，政府組織與各行各業都同樣面臨著數位轉型的重要轉折點；對於公部門而言，AI 的導入與應用不僅能夠提升作業效率，更能有效加強公共服務品質、協助應對日益複雜的科技挑戰。而隨著政府內部資料量急劇增加，其對於升級知識管理應用的需求也日益增強，如何引入合適的管理工具、創造知識的最大價值，已成為提升行政效能、實現循證治理智慧化的核心課題。

知識管理對政府單位的重要性

為什麼政府單位需要知識管理？
政府單位肩負服務民眾和執行公共政策的重責，其運作效率將直接關係到社會的發展與民眾福祉，而知識管理可透過以下多個面向提升政府效能：
  1. 提升行政效率
    透過知識的有效整合與共享，縮短資訊傳遞與行政處理的時間，實現更快速、精準的資源調度。
  2. 改善決策品質
    面對公共政策的制定或緊急事件的處理時，能掌握更即時且全面的資訊基礎，協助決策者迅速做出高品質的判斷與應對。
  3. 增強政府公信力
    透過知識管理，政府單位能更有效地整合分散於各部門的資訊，從而妥善梳理並清晰呈現政策內容，促進資訊的公開性與透明度；同時，針對民眾需求或突發事件的回應也能更及時且有力，進一步提升公眾對政府的信任。
政府單位的知識管理需求
相較於一般企業，政府單位在知識管理方面具備以下獨特需求──
  1. 提升資料透明度的同時，兼顧公眾隱私與敏感資料保護
    政府部門需要在推動資訊公開與透明的同時，妥善保護公民的隱私及敏感資料，防止未經授權的資料洩漏或濫用，因此用以輔助之知識管理工具不僅需能有效整合資訊，還需具備完善的存取控制機制，以確保資料安全。
  2. 長時間保存文件和數據，滿足稽核和法律合規需求
    政府部門的文件和數據保存期通常較企業更長，因涉及的資料需滿足各種法律、稽核及合規要求，如政策文件、預算報告或公共安全數據等資料，需長期保存並於必要時進行查閱、追溯。
  3. 業務範疇廣泛，資料量龐大且多樣性高
    政府內部通常由多個部門組成，且各單位的業務範疇不同，涵蓋政策規劃、業務執行、管理督導、勾稽核實等多元領域；各部門間的數據格式、常用檔案形式與管理流程可能存在差異，多樣的需求使得統一管理的難度也有所提升。

政府單位知識管理升級解方 ── 新一代 GenAI 知識管理工作平台

針對以上政府單位對於知識管理的需求，意藍的新一代 GenAI 知識管理工作平台便是理想的解方，其亮點特色如下：

  1. 支援多種常用檔案格式

    包含 Office、PDF 、CSV 等等，不需額外花費太多心力進行轉檔處理，可應對政府內部多樣化數據格式的需求，有效解決跨部門整合困難。

  2. 具備檔案權限劃分機制

    確保只有授權人員能夠存取、檢視特定檔案，降低機密資料洩露風險，滿足政府單位對敏感資料保護的嚴苛要求，並為跨部門合作提供安全的知識共享環境。

  3. 提供彈性的部署方式

    政府單位可根據自身需求，選擇雲端平台服務或導入地端服務，也可以針對不同的任務，自由切換 OpenAI GPT 系列、Meta Llama 系列、 國科會TAIDE 模型、或者意藍經由大量本地語料調校而成的 eLAND GOAT 等多種大語言模型，滿足政府對多樣化應用場景的處理需求，同時提升系統效能，符合成本效益。

  4. 支援語意全文檢索

    無需進行額外的資訊建立、分類或關鍵字標記，系統便能對檔案進行全範圍檢索，包含標題、內文、作者、建檔時間等資訊皆在搜尋範圍內，解決了龐大資料量下的搜尋困難。

  5. 支援易於使用的對話問答

    使用者可以自然語言對文件知識點提問，系統會根據問題與相關參考資料，回傳彙整後的口語化回覆，讓非技術人員與高層主管能以直覺方式獲取知識，提升整體操作便利性與工作效率。

導入生成式 AI 知識管理系統的長遠影響

生成式 AI 知識管理系統的導入，不僅能有效為政府單位解決跨部門協作與資料整合的挑戰、提升行政效率與決策品質，更能助力其持續優化知識的流通與應用模式，逐步實踐智能化治理與決策，為數位政府與智慧城市的長遠發展奠定堅實基礎。

點擊了解更多 AI Search for KM
WAVE_BN_2
亞洲指標 AI 造浪展
「WAVE 2025（World AI Vision Exhibition）」

意藍將於7/31(四)-8/2(六)參展，攤位編號 B1709
現場將分享我們在 AI 應用上的實務經驗，歡迎有興趣的你一起來交流！

螢幕擷取畫面 2025-01-07 141922
AI Search for KM 免費試用申請！
立即訂閱 AI Search 電子報

Copyright eLAND Information Co., Ltd.