#官方文档链接

https://dcnsxxvm4zeq.feishu.cn/wiki/XOnXwC2btiw8YDkyFQsctFAEnHf?fromScene=spaceOverview

--------------------------------------------------------------------------------------------------------------------

#介绍：

该工作流是通过加载本地的大语言模型，模块化实现工具调用功能。

--------------------------------------------------------------------------------------------------------------------

#参数详解:

·model_name：填写需要加载的模型名称（也可以不填写，如果模型文件夹路径没有填写，会根据模型名称从hugging face上下载并加载模型，目前只支持safetensors格式或者bin格式加载）

- 填写示例：Qwen/Qwen2-7B-Instruct

- 注：必须与hugging face上的模型名称一致且包含仓库名。

·model_type：目前已经兼容：GLM、llama、Qwen

·model_path：上传本地大语言模型的模型文件夹路径，优先本地路径加载模型

- 填写示例：/hy-tmp/AI_files/models/LLM_Models/qwen7b；

- 注：该路径是Linux系统文件路径，Windows需要将“/”改为“\”。例如：D:\AI\mychat\model\qwen7b

·tokenizer_path:填写路径同上。

·device：一般默认状态为[auto]，自动选择你的cuda/mps/cpu设备，可根据实际情况进行调整。

·dtype：量化方式，可以让模型以更小的方式加载。在MacOS系统下，int8/int4量化不可用。

·**is_locked**:

- 默认是[true]状态，在该状态下，模型不会自动切换，也就意味着不需要重复加载模型，但是模型运行的显存不会被清空。（推荐！当你不需要频繁切换模型时，将[is_locked]选择为[true]，然后将工作流中的卸载模型节点删除）

- 如果是[false]状态，也即关闭状态，它就会一直加新的模型。所以在这种情形下，需要在连接【Clear Model/清空模型】节点，来清理缓存。这样做的好处是，可以在任意位置将你的模型卸载，保证后续的模型可以使用显存。

--------------------------------------------------------------------------------------------------------------------

##注：

·【本地LLM加载器】和【本地大语言模型】节点下的[model_type]需要根据本地的大语言模型调整至相同的类型。

--------------------------------------------------------------------------------------------------------------------

本地LLM资源链接：

·百度网盘：

https://pan.baidu.com/s/1T4aEB4HumdJ7iVbvsv1vzA?pwd=qyhu 提取码: qyhu

--------------------------------------------------------------------------------------------------------------------

#写在最后：

- LLM_Party正在用心经营一片AI时代的后花园，我们希望能够在AI时代下成为众多参与者的一员，我们从开源社区中走来，也希望回到社区中去。

- 欢迎大家来到我们用心经营的后花园。如果我们的项目能够帮助到大家，麻烦大家在Github上帮我点一下Star：

- github项目地址：https://github.com/heshengtao/comfyui_LLM_party

- openart：https://openart.ai/workflows/profile/comfyui_llm_party?tab=workflows&sort=latest

- LibLib：https://www.liblib.art/userpage/4378612c5b3341c79c0deab3101aeabb/publish/workflow

- 哔哩哔哩：https://space.bilibili.com/26978344?spm_id_from=333.337.0.0

- YouTube：https://www.youtube.com/@comfyui-LLM-party

- discord：https://discord.com/invite/gxrQAYy6

- QQ交流群：931057213

- 微信交流群：Choo-Yong（添加小助理微信，统一通过后会添加至交流群）