《離語》轉載請注明來源：思兔閱讀sto.ist
本章介紹了研究所選文獻數據的獲取來源和途徑。通過
python
爬取的方式獲取大部分文獻數
據與元數據，對元數據進行基本處理，為後續分析提供幫助，豐富向量知識庫的數據儲備。隨後為
了最大程度提高向量知識庫的可信程度，對文獻數據進行篩選，選出帶有流程圖，數據，輸入輸出
的英文文獻，作為最後使用的數據。精細篩選後，使用
unstructured
庫進行數據預處理使其轉化
為結構化數據。
4.2
向量知識庫的構建
向量知識庫構建是一個將處理過的數據嵌入向量知識庫的過程，主要用於將不同類型的數據轉
化為向量，並進行存儲和檢索。其流程如圖
4.1
所示。
圖
4.1
向量知識庫構建流程
對收集到的數據進行清洗、去重、分類，提取分割文本，以確保數據的質量和有效性。消除噪
聲數據，提高數據的一致性和準確性。將預處理後的數據轉化為向量，將向量化後的數據存儲到向
量知識庫中，並利用向量數據庫進行高效的存儲和檢索。向量數據庫是一種專門用於存儲和檢索向
量數據的數據庫係統，可以根據語義或上下文含義查找最相似或相關的數據。
測試流程包括以下幾個步驟：
測試設計：根據目標領域定義測試用例，包括典型問題、邊緣情況和錯誤輸入。
環境搭建：搭建測試環境，包括聊天界麵和後端模型處理係統。
執行測試：記錄模型的回應。
評估結果：根據預設的標準（如準確性、響應時間、用戶滿意度）評估模型表現。
優化模型：根據測試結果對模型進行調整和優化。
5.2
智能交互組件
chatbot
chatbot
是一種人工智能程序，它設計用於模擬人類對話，並且能夠基於事先編程或機器學習
技術來進行智能對話交流。chatbot
通常被用於客戶服務、信息查詢、娛樂等各種場景，可以通過
文本或語音與用戶進行交互。
chatbot
的一些特點和作用包括：
1自動化交互：chatbot
可以自動回答用戶提出的問題，執行指定的任務，無需人工乾，減少
人力成本和時間消耗。
2實時響應：chatbot
能夠在任何時間、任何地點提供服務，隨時響應用戶的問題和需求。
3個性化服務：chatbot
可以根據用戶的需求和曆史數據提供個性化的服務和建議，提高用戶
體驗。
4多渠道支持：chatbot
可以在多種通信渠道上運行，如網頁、應用程序、社交媒體平台等，
為用戶提供多樣化的對話途徑。
本項目選擇
openai
的
gpt
模型作為
chatbot
的大語言模型基座，gpt
模型基於
transformer
架構，相較於其他模型，這種架構允許模型在處理長文本時保持較好的性能，同時具有良好的並行
化能力，使得模型的訓練和推理速度得到提升。
5.2.1
chatbot
後端
基於先前構建的針對電力
lca
領域的向量知識庫構建
chatbot
測試模型性能，主要設計思路是
為了實現檢索功能，大致可分為知識庫檢索功能和在線搜索。
chatbot
功能流程圖如圖
5.1
所示。
用戶通過
chatbot