隨著計算能力的提升和大規模文本數據的積累，研究者發現模型規模和預訓練數據量對于模型性能具有至關重要的作用。大語言模型通常包含數十億甚至上千億的參數，其訓練數據涵蓋了來自不同領域的大量語料，如書籍、新聞、社交媒體等。這使得大語言模型不僅具備較強的語言理解能力，還能夠在許多任務中展現出強大的生成能力。以ChatGPT為代表的大語言模型不僅可以進行對話，還能夠寫作、編程、回答專業問題，在不同任務中展現了強大的靈活性和高效性，為自然語言處理領域帶來了革命性的突破。

大語言模型的主要模型架構為Transformer ，通過自回歸語言模型的方式進行訓練。訓練過程通常包括兩部分：預訓練和對齊訓練。預訓練是大語言模型的基礎，旨在讓模型從無標注的大規模語料庫中學習語言內在規律與世界知識。對齊訓練使大語言模型生成的輸出更符合人類的期望，避免出現道德倫理問題，主要包括監督微調和基于人類反饋的強化學習兩個階段。

然而大語言模型的廣泛應用也引發了一系列安全問題，主要體現在內容生成的準確性、倫理問題、隱私泄露以及模型濫用等方面。因此，還需要進行特定的安全對齊訓練，防止模型在處理敏感話題時生成有害內容，并增強其在倫理方面的可靠性。

仁文伏羲是由研發團隊實驗室自主研制的，與中國人文倫理價值對齊的中文大模型。目前1.0版本模型擁有67億參數，進行了海量中文數據的“自監督學習” (預訓練)及大規模指令數據的“模仿學習”(微調)，展現了強大的問答、生成、對話、意圖捕獲、價值對齊等能力。

模型采用自主研制路線，在數據、基座模型、對齊訓練、大模型評測等方面進行了探索和深入研究，取得了多個創新突破：

(1)建設了TB級大規模中文數據庫，研制算法對互聯網中文數據進行了深度治理，取其精華，去其糟粕；

(2)從零開始預訓練中文ChatGPT類大模型基座，自研了高效的分布式訓練算法和通信機制，提出了結構化的混合專家系統模型；

(3)研制了面向中國人文倫理價值的對齊訓練數據集及相關算法；

(4)構建了多個中文大模型能力評測及價值對齊評測基準數據集。