第13章：Human-in-the-Loop

Human-in-the-Loop（HITL）模式代表了 Agent 开发与部署中的一项关键策略。它有意将人类认知的独特优势——如判断力、创造力和细致理解——与 AI 的计算能力和效率交织在一起。这种战略性整合不仅仅是一种选择，往往还是一种必要，尤其是随着 AI 系统日益深入地嵌入关键决策流程之中。

HITL 的核心原则是确保 AI 在道德边界内运行，遵守安全协议，并以最优的有效性实现其目标。这些问题在具有复杂性、模糊性或重大风险的领域中尤为突出，因为 AI 错误或误解的后果可能十分严重。在这种情况下，完全自主（即 AI 系统在没有人类干预的情况下独立运行）可能被证明是不明智的。HITL 承认这一现实，并强调即使 AI 技术快速发展，人类的监督、战略性输入和协作互动仍然是不可或缺的。

HITL 方法从根本上围绕着人工智能与人类智能之间协同作用的理念展开。HITL 不将 AI 视为人类工作者的替代品，而是将 AI 定位为一种增强和扩展人类能力的工具。这种增强可以采取多种形式，从自动化日常任务到提供数据驱动的洞察来为人类决策提供信息。最终目标是创建一个协作生态系统，人类和 AI Agent 都可以利用各自的优势，实现任何一方都无法单独完成的成果。

在实践中，HITL 可以通过多种方式实现。一种常见的方法是让人类充当验证者或审查者，检查 AI 输出以确保准确性并识别潜在错误。另一种实现方式是人类积极引导 AI 行为，实时提供反馈或进行纠正。在更复杂的设置中，人类可能与 AI 作为伙伴协作，通过互动对话或共享界面共同解决问题或做出决策。无论具体的实现方式如何，HITL 模式都强调保持人类控制和监督的重要性，确保 AI 系统始终与人类的道德、价值观、目标和社会期望保持一致。

Human-in-the-Loop 模式概述

Human-in-the-Loop（HITL）模式将人工智能与人类输入相结合，以增强 Agent 的能力。这种方法承认，最优的 AI 性能通常需要自动化处理与人类洞察的结合，尤其是在具有高度复杂性或伦理考量的场景中。HITL 的目标不是取代人类输入，而是通过确保关键判断和决策以人类理解为基础，来增强人类的能力。

HITL 包含几个关键方面：人类监督（Human Oversight），涉及监控 AI Agent 的性能和输出（例如通过日志审查或实时仪表板），以确保遵守指导原则并防止不良结果。**干预与纠正（Intervention and Correction）**发生在 AI Agent 遇到错误或模糊场景时，可能会请求人类干预；人类操作员可以纠正错误、提供缺失数据或引导 Agent，这也为未来 Agent 的改进提供了信息。**用于学习的人类反馈（Human Feedback for Learning）**被收集并用于优化 AI 模型，这在基于人类反馈的强化学习（RLHF）等方法中尤为突出，人类的偏好直接影响 Agent 的学习轨迹。**决策增强（Decision Augmentation）**是指 AI Agent 向人类提供分析和建议，然后由人类做出最终决策，通过 AI 生成的洞察来增强人类决策，而非完全自主。**人类-Agent 协作（Human-Agent Collaboration）**是一种协作式互动，人类和 AI Agent 各自贡献其优势；常规数据处理可能由 Agent 处理，而创造性问题解决或复杂谈判则由人类管理。最后，**升级策略（Escalation Policies）**是既定的协议，规定了 Agent 何时应将任务升级给人类操作员，从而防止在超出 Agent 能力范围的情况下出现错误。

实施 HITL 模式使得在完全自主不可行或不被允许的敏感领域使用 Agent 成为可能。它还通过反馈循环提供了一种持续优化的机制。例如，在金融领域，大额企业贷款的最终审批需要人类信贷员评估定性因素，如领导层品格。同样，在法律领域，正义和问责的核心原则要求人类法官保留对关键决策（如量刑）的最终权威，这涉及复杂的道德推理。

注意事项：尽管有其优势，HITL 模式也有显著的注意事项，其中最主要的是缺乏可扩展性。虽然人类监督提供了高精度，但操作员无法管理数百万个任务，这造成了一个根本性的权衡，往往需要一种混合方法，将自动化用于规模化，将 HITL 用于准确性。此外，这种模式的有效性在很大程度上取决于人类操作员的专业知识；例如，虽然 AI 可以生成软件代码，但只有熟练的开发人员才能准确识别细微错误并提供正确的修复指导。这种对专业知识的需求同样适用于使用 HITL 生成训练数据时，因为人类标注员可能需要接受专门培训，学习如何以产生高质量数据的方式纠正 AI。最后，实施 HITL 会引发重大的隐私问题，因为敏感信息通常必须在暴露给人类操作员之前进行严格的匿名化处理，这增加了另一层流程复杂性。

实际应用与用例

Human-in-the-Loop 模式在各个行业的广泛应用场景中至关重要，尤其是准确性、安全性、伦理或细致理解至关重要的场景。

内容审核：AI Agent 可以快速过滤大量在线内容以发现违规行为（例如仇恨言论、垃圾信息）。然而，模糊案例或边缘内容会被升级给人类审核员进行审查和最终决策，确保细致的判断并遵守复杂的政策。
自动驾驶：虽然自动驾驶汽车可以自主处理大多数驾驶任务，但它们被设计为在 AI 无法自信应对的复杂、不可预测或危险情况下（例如极端天气、异常道路条件）将控制权移交给人类驾驶员。
金融欺诈检测：AI 系统可以根据模式标记可疑交易。然而，高风险或模糊的警报通常会被发送给人类分析师，由他们进一步调查、联系客户，并最终确定交易是否存在欺诈。
法律文档审查：AI 可以快速扫描和分类数千份法律文档，以识别相关条款或证据。人类法律专业人士随后审查 AI 的发现，以确保准确性、上下文和法律影响，尤其是对于关键案件。
客户支持（复杂查询）：聊天机器人可以处理常规客户咨询。如果用户的问题过于复杂、带有情绪化色彩，或需要 AI 无法提供的同理心，对话将被无缝移交给人类支持 Agent。
数据标注与注释：AI 模型通常需要大量标注数据的数据集进行训练。人类被纳入循环中以准确标注图像、文本或音频，提供 AI 学习所依据的真实数据。随着模型的演进，这是一个持续的过程。
生成式 AI 优化：当 LLM 生成创意内容（例如营销文案、设计创意）时，人类编辑或设计师会审查和优化输出，确保其符合品牌指南、引起目标受众共鸣并保持质量。
自治网络：AI 系统能够通过利用关键性能指标（KPI）和识别出的模式来分析警报并预测网络问题和流量异常。然而，关键决策——例如处理高风险警报——经常会被升级给人类分析师。这些分析师进行进一步调查，并就网络变更的批准做出最终决定。

这种模式体现了一种实用的 AI 实施方法。它利用 AI 来增强可扩展性和效率，同时保持人类监督以确保质量、安全和合规性。

"Human-on-the-loop"是这种模式的一个变体，由人类专家定义总体政策，然后 AI 处理即时操作以确保合规。让我们考虑两个例子：

自动化金融交易系统：在这个场景中，人类金融专家设定总体投资策略和规则。例如，人类可能将政策定义为："维持70%科技股和30%债券的投资组合，对任何单一公司的投资不超过5%，并自动卖出任何跌破购买价格10%的股票。"然后 AI 实时监控股票市场，在这些预定义条件满足时立即执行交易。AI 根据人类操作员设定的较慢、更具战略性的政策来处理即时的、高速的操作。
现代呼叫中心：在这种设置中，人类经理为客户互动建立高层政策。例如，经理可能设定如下规则："任何提及'服务中断'的呼叫应立即路由给技术支持专家"，或"如果客户的语音语调表明高度沮丧，系统应提供直接连接到人类 Agent 的选项。"然后 AI 系统处理初始客户互动，实时倾听和解释他们的需求。它通过即时路由呼叫或提供升级，自主执行经理的政策，而无需针对每个单独案例进行人类干预。这使得 AI 能够根据人类操作员提供的较慢、战略性的指导来管理大量即时操作。

动手代码示例

为了演示 Human-in-the-Loop 模式，ADK Agent 可以识别需要人工审查的场景并启动升级流程。这允许在 Agent 的自主决策能力有限或需要复杂判断的情况下进行人类干预。这不是一个孤立的功能；其他流行的框架也采用了类似的功能。例如，LangChain 也提供了实现这些类型互动的工具。

python

from google.adk.agents import Agent
from google.adk.tools.tool_context import ToolContext
from google.adk.callbacks import CallbackContext
from google.adk.models.llm import LlmRequest
from google.genai import types
from typing import Optional

# Placeholder for tools (replace with actual implementations if needed)
def troubleshoot_issue(issue: str) -> dict:
    return {"status": "success", "report": f"Troubleshooting steps for {issue}."}

def create_ticket(issue_type: str, details: str) -> dict:
    return {"status": "success", "ticket_id": "TICKET123"}

def escalate_to_human(issue_type: str) -> dict:
    # This would typically transfer to a human queue in a real system
    return {"status": "success", "message": f"Escalated {issue_type} to a human specialist."}

technical_support_agent = Agent(
    name="technical_support_specialist",
    model="gemini-2.0-flash-exp",
    instruction="""
You are a technical support specialist for our electronics company.
FIRST, check if the user has a support history in state["customer_info"]["support_history"]. If they do, reference this history in your responses.

For technical issues:
1. Use the troubleshoot_issue tool to analyze the problem.
2. Guide the user through basic troubleshooting steps.
3. If the issue persists, use create_ticket to log the issue.

For complex issues beyond basic troubleshooting:
1. Use escalate_to_human to transfer to a human specialist.

Maintain a professional but empathetic tone. Acknowledge the frustration technical issues can cause, while providing clear steps toward resolution.
""",
    tools=[troubleshoot_issue, create_ticket, escalate_to_human]
)

def personalization_callback(
    callback_context: CallbackContext, llm_request: LlmRequest
) -> Optional[LlmRequest]:
    """Adds personalization information to the LLM request."""
    # Get customer info from state
    customer_info = callback_context.state.get("customer_info")
    if customer_info:
        customer_name = customer_info.get("name", "valued customer")
        customer_tier = customer_info.get("tier", "standard")
        recent_purchases = customer_info.get("recent_purchases", [])
        personalization_note = (
            f"\nIMPORTANT PERSONALIZATION:\n"
            f"Customer Name: {customer_name}\n"
            f"Customer Tier: {customer_tier}\n"
        )
        if recent_purchases:
            personalization_note += f"Recent Purchases: {', '.join(recent_purchases)}\n"
        if llm_request.contents:
            # Add as a system message before the first content
            system_content = types.Content(
                role="system",
                parts=[types.Part(text=personalization_note)]
            )
            llm_request.contents.insert(0, system_content)
    return None  # Return None to continue with the modified request

这段代码提供了一个使用 Google ADK 创建技术支持 Agent 的蓝图，围绕 HITL 框架设计。该 Agent 作为智能的第一线支持，配置了特定的指令，并配备了如 troubleshoot_issue、create_ticket 和 escalate_to_human 等工具来管理完整的技术支持工作流。升级工具是 HITL 设计的核心部分，确保复杂或敏感案例被传递给人类专家。

这种架构的一个关键特性是通过专用的回调函数实现深度个性化的能力。在联系 LLM 之前，该函数从 Agent 的状态中动态检索客户特定的数据——例如他们的姓名、等级和购买历史。然后，这些上下文作为系统消息注入到提示中，使 Agent 能够提供高度定制化且知情的响应，引用用户的历史记录。通过将结构化工作流与必要的人类监督和动态个性化相结合，这段代码作为 ADK 如何促进开发复杂且稳健的 AI 支持解决方案的实用示例。

一览

What（是什么）：AI 系统，包括先进的 LLM，往往在需要细致判断、伦理推理或对复杂、模糊语境的深入理解的任务上遇到困难。在高风险环境中部署完全自主的 AI 会带来重大风险，因为错误可能导致严重的安全、财务或伦理后果。这些系统缺乏人类固有的创造力和常识推理能力。因此，在关键决策过程中仅仅依赖自动化通常是不明智的，可能会损害系统的整体有效性和可信度。

Why（为什么）：Human-in-the-Loop（HITL）模式通过战略性地将人类监督整合到 AI 工作流中，提供了一个标准化的解决方案。这种 Agent 化的方法创造了一种共生伙伴关系，AI 处理计算重活和数据处理，而人类提供关键验证、反馈和干预。通过这样做，HITL 确保 AI 行动与人类价值观和安全协议保持一致。这种协作框架不仅减轻了完全自动化的风险，还通过从人类输入中持续学习来增强系统的能力。最终，这导致更稳健、准确和符合伦理的结果，这是人类或 AI 单独都无法实现的。

Rule of thumb（经验法则）：在将 AI 部署到错误会带来重大安全、伦理或财务后果的领域时，使用此模式，例如医疗、金融或自主系统。对于涉及 LLM 无法可靠处理的模糊性和细微差别的任务，如内容审核或复杂客户支持升级，这是必不可少的。当目标是通过高质量的人类标注数据持续优化 AI 模型，或优化生成式 AI 输出以满足特定质量标准时，也应采用 HITL。

Visual summary（视觉摘要）：

图1：Human-in-the-Loop 设计模式

关键要点

关键要点包括：

Human-in-the-Loop（HITL）将人类智能和判断整合到 AI 工作流中。
对于复杂或高风险场景中的安全性、伦理性和有效性，它至关重要。
关键方面包括人类监督、干预、用于学习的反馈和决策增强。
升级策略对于 Agent 知道何时移交给人类至关重要。
HITL 允许负责任的 AI 部署和持续改进。
Human-in-the-Loop 的主要缺点是其固有的缺乏可扩展性，在准确性和体量之间造成了权衡，以及其在有效干预方面对高技能领域专家的依赖。
其实施带来了运营挑战，包括需要为数据生成培训人类操作员，以及通过匿名化敏感信息来解决隐私问题。

结论

本章探讨了至关重要的 Human-in-the-Loop（HITL）模式，强调了其在创建稳健、安全和符合伦理的 AI 系统中的角色。我们讨论了将人类监督、干预和反馈整合到 Agent 工作流中如何能够显著增强其性能和可信度，尤其是在复杂和敏感的领域。实际应用展示了 HITL 的广泛效用，从内容审核和医疗诊断到自动驾驶和客户支持。概念性代码示例提供了 ADK 如何通过升级机制促进这些人类-Agent 互动的一瞥。随着 AI 能力的不断进步，HITL 仍然是负责任的 AI 发展的基石，确保人类价值观和专业知识始终是智能系统设计的核心。

参考文献

A Survey of Human-in-the-loop for Machine Learning, Xingjiao Wu, Luwei Xiao, Yixuan Sun, Junhang Zhang, Tianlong Ma, Liang He, https://arxiv.org/abs/2108.00941