Hugging Face 推理模型节点#
使用 Hugging Face 推理模型节点来调用 Hugging Face 的模型。
本页将介绍 Hugging Face 推理模型节点的参数配置,并提供更多资源链接。
该节点不支持工具功能,因此无法与 AI 代理节点配合使用。请将其连接至 基础 LLM 链节点。
凭证配置
您可以在此处查看该节点的认证信息。
/// 注意 | 子节点中的参数解析 子节点在使用表达式处理多个项目时的行为与其他节点不同。
大多数节点(包括根节点)会接收任意数量的输入项,处理这些项目,然后输出结果。您可以使用表达式来引用输入项,节点会依次为每个项目解析表达式。例如,给定五个 name
值作为输入,表达式 {{ $json.name }}
会依次解析为每个名称。
而在子节点中,表达式总是解析为第一个项目。例如,给定五个 name
值作为输入,表达式 {{ $json.name }}
总是解析为第一个名称。
///
节点参数#
- 模型:选择用于生成补全内容的模型。
节点选项#
- 自定义推理端点:输入自定义推理端点 URL。
- 频率惩罚:控制模型重复内容的概率。数值越高,模型重复的可能性越低。
- 最大令牌数:设置使用的最大令牌数,用于控制补全内容的长度。
- 存在惩罚:控制模型讨论新话题的概率。数值越高,模型引入新话题的可能性越大。
- 采样温度:控制采样过程的随机性。较高的温度值会产生更多样化的采样结果,但会增加幻觉风险。
- Top K:设置模型生成下一个令牌时考虑的候选令牌数量。
- Top P:设置补全内容应使用的概率阈值。较低的值会忽略概率较低的选项。
模板与示例#
相关资源#
有关该服务的更多信息,请参考 LangChain 的 Hugging Face 推理模型文档。
查看 n8n 的高级 AI 文档。
AI glossary#
- completion: Completions are the responses generated by a model like GPT.
- hallucinations: Hallucination in AI is when an LLM (large language model) mistakenly perceives patterns or objects that don't exist.
- vector database: A vector database stores mathematical representations of information. Use with embeddings and retrievers to create a database that your AI can access when answering questions.
- vector store: A vector store, or vector database, stores mathematical representations of information. Use with embeddings and retrievers to create a database that your AI can access when answering questions.