#官方文档链接 https://dcnsxxvm4zeq.feishu.cn/wiki/XOnXwC2btiw8YDkyFQsctFAEnHf?fromScene=spaceOverview —————————– ————————————————– ————————————————- # 介绍：该工作流程是通过加载本地的大语言模型，优先实现工具调用功能。 —————————————— ————————————————– ————————- #详细参数解: ·model_name：填写需要加载的模型名称（也可以不填写，如果模型文件夹路径没有填写，会根据模型名称从huggingface上下载并加载模型，目前只支持safetensors格式或者bin格式加载） – 填写示例：Qwen/Qwen2-7B-Instruct – 注：必须与huggingface上的模型名称一致且包含·model_type：目前已经兼容：GLM、llama、Qwen ·model_path：上传本地大语言模型的模型文件夹路径，优先本地路径加载模型 – 填写示例：/hy-tmp/AI_files/models/LLM_Models/qwen7b ； – 注：该路径是Linux系统文件路径，Windows需要将“/”改为“\”。例如：D:\AI\mychat\model\qwen7b ·tokenizer_path:填写路径同上。 ·device：默认一般状态为[auto]，自动选择你的cuda/mps/cpu设备，可根据实际情况进行调整。 ·dtype：量化方式，可以让模型以更小的加载。在MacOS系统下，int8/int4量化不可用。 ·**is_locked**: – 默认是[true]状态，在该状态下，模型不会自动切换，并且意味着不需要重复加载模型，但是模型运行的显存不会被清空。（推荐！当不需要关闭关闭模型时，将[is_locked]选择为[true]，然后将工作流中的卸载模型节点删除） –
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。
