云从企业申请针对目标场景的大模型预训练专利提高大模型在目标场景下的语义能力金融界2024年10月31日消息，国家知识产权局信息显示，上海云从企业发展有限公司申请一项名为“针对目标场景的大模型预训练方法、装置、设备及介质”的专利，公开号CN 118840643 A，申请日期为2024年7月。

　　专利摘要显示，本申请涉及大模型预训练技术领域，具体提供一种针对目标场景的大模型预训练方法、装置、设备及介质，旨在解决大模型预训练方法无法较好地满足特定场景需求的技术问题。为此目的，本申请获取通用训练数据以及目标场景训练数据，基于通用训练数据对大模型进行监督训练，学习通用特征；基于目标场景训练数据对监督训练后的大模型进行自监督训练，提高模型在目标场景下的偏向性；基于目标场景训练数据对自监督训练后的大模型进行弱监督训练，进一步提高大模型在目标场景下的语义能力星空体育官方平台。本申请解决了现有大模型预训练方法无法较好地满足特定场景需求的问题，通过结合多种训练方法，充分利用了不同方法的优势，达到了相互补充、相互促进的作用。