我们AI智能获客系统有一个评论监控的功能，其功能是监控某个视频下的新增评论并对其进行高意向分析，再将数据入库。

因为有些赛道对于评论用户的时效性比较高，如果能够快速地发现这类用户并及时联系他，（发送评论的30分钟内）那么他成为客户购买产品的概率则会大大增加，反之如果你不能及时发现这类用户，很可能被同行抢先联系他，另外时间久了之后他的购买意愿也可能会下降。

这个接口有一个cron的参数，即cron表达式，正常来说我们应该每一轮执行结束之后发起一个回调，但是当时一方面还是自己经验太少了，另一方面是没有认真思考，没有认真设计，当时在周末，想着快速把需求做完。设计回调的时候没有针对每一轮结束之后发起回调，而是只设计了一个completed的回调，因此，如果不传cron的时候，则只会执行一轮，所以会在这一轮结束的时候发送回调（这也是因为我当时在本地测试的时候没有发现的原因，当时为了省事，想着这个只测一轮应该就行了，因此当时测试的时候并没有传递cron参数，所以当时并没有发现这个问题），而如果传cron参数，则会只在整个视频监控结束之后才会发送completed回调，因此这个completed回调很可能永远不会发送。因此就出现了下面的问题。

JEV是typesafe推出的一款system one模型，旨在快速做出结构化的决策。因此这个模型主要是用来做决策的（做选择），那么我们可以想到他的一些常见的应用场景：

1. rerank: 将top-n的chunk作为每个选项，用户问题作为指令/state，最后得到每个chunk和问题的相关性的概率作为rerank的结果
2. tool_search / skill search: 目前Agent领域的tool search / skill search 大多通过BM25 检索或者向量检索的方式来进行工具的搜索(亦或者二者结合起来)，而jev则相当于是用一个小的模型来进行工具的选择，既能保证一个较高的准确度，同时时间和金钱都花费较少，是一个不错的选择
3. 判断是否为危险的工具调用： 像codex / Claude code中都有使用小的分类模型来判断该操作是否为危险操作，如果为危险操作则需要人类进一步的审批，这个判断也可以使用jev来实现
4. 一些常见的分类任务：例如邮件分类，工单分类
5. 对生成的数据做质检，过滤掉低质量/不相关的数据

这个模型和我们常见的LLM不一样，他并不是一个生成模型，有点类似于bert那种，但他想对于bert，他的分类的问题不必要是预定义的，你可以给他任何的问题，并输出对应的选项的概率，而bert的话则只能输出预定义好的类别对应的概率

什么是异步回调？

在FastAPI中和现代的后端开发中，异步回调也通常被称为webhooks。简单来说，传统的API调用是:

客户端发送请求，然后服务端这边进行处理并返回结果。

而异步回调则是：

客户端发送请求的时候，附带提供一个callback_url，服务器在收到请求之后会立即响应，并在后台异步处理任务，等待任务完成后，服务器主动向客户端提供的那个URL发起请求，将结果放到请求体中。

什么是PTC

通常传统的工具调用的流程大概是：

模型-> 调用工具A、B->将工具调用的结果加入上下文->模型继续推理-> 调用工具C

而PTC（programmatic_tool_calling）则是我们可以把tool看作一个函数，即我们可以用可执行的代码来组合多个工具得出一个最终的结果。这样的话模型只需要发起一次工具调用即可，即调用run_code这个工具，输出对应的可执行代码，并将结果保存到固定的result变量中。

PTC的优点在于：

debug的一些技巧

使用时间旅行来进行debug，可以加快开发速度以及节约开发时的token调用

1. 通常我们可以把当前节点前的状态保存下来，然后我们使用fork，如下，之后会从generate_ppt_content_per_page节点的后续节点开始运行，当前的state就是你传入的state

1
2
3
4
5
6
7
8
9
10
11

fork_config = await agent.aupdate_state(
    config, origin_state, as_node="generate_ppt_content_per_page"
)
# 正常调用就是，input=None
 async for chunk in agent.astream(
        None,
        config=fork_config,
        durability="sync",
        stream_mode=["custom", "values", "tasks", "updates"],
        version="v2",
    ):

任务分解和规划（TodoListMiddleware）

原理解析

在deepagents中，使用create_deep_agent api创建agent，会默认添加一个write_todos工具，可以让agent进行规划，其实现也很简单，也是依赖于langchain的中间件机制,langchain中提供了预构建的TodoListMiddleware

基本的原理在于：

1. 系统提示词中需要提示模型使用write_todos这个工具对复杂任务进行规划
2. 以及这个write_todos工具的描述，告诉模型什么时候用这个工具，什么时候不该用

1. 为了测试，我们创建两个tool，一个是订机票的工具，一个是查询天气的工具

在创建工具的时候，我们需要编写函数的信息，如下所示,包括函数名，函数的描述，参数等信息，这些信息在调用模型时会随着message一起传给模型

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

{
    "type": "function",
    "function": {
        "name": "get_current_weather",
        "description": "获取指定城市的当前天气",
        "parameters": {
            "type": "object",
            "properties": {
                "location": {
                    "type": "string",
                    "description": "城市名称，例如：北京、上海、广州",
                }
            },
            "required": ["location"],
        },
    },
},

手动写这些信息太麻烦了，我们可以借助sdk中的pydantic_function_tool函数，将pydantic对象解析为一个function tool，解析后的格式也和上面一样

claude code使用提示词来调用skill

我使用了charles抓包工具对请求进行抓包，通过对请求体来分析其实现原理,claude code的请求的请求体有很多字段，我们主要看message字段即可

第一次请求：

我们可以看到第一个message中的第一部分将skill的一些信息（简单的描述、路径等）包含在了<system-reminder>``</system-reminder>中

后面的一些消息则不重要了，再之后我发了一个hello的消息，然后模型回复了Hello! How can I help you today?

抓取https的包以及外网的包

1. charles官网 下载charles
2. 然后菜单栏Help-> SSL proxying -> Install Charles Root Certificate 安装根证书
3. 然后菜单栏Proxy -> Proxy Settings设置成下面这样

安装

1. 从claude code 的官网下载claude code
2. npm install -g @openai/codex下载codex-cli工具

安装cc switch

cc switch是一个管理claude code、codex、gemini cli、opencode的工具，可以使用它来快速地切换不同的提供商，它是一个桌面端软件，cc-switch-cli 则是它的cli版本，适合在Linux等没有页面的系统中使用

一些推荐的中转站或者官方的使用方法

codex

1. 可以通过购买gpt team的套餐来使用，闲鱼上可以购买，通常大概8块钱左右，不过现在openai对于gpt business的封禁比较严格了，可能一周左右就封了，因此最好买那些有质保的。

有了gpt business之后，既可以使用网页上的gpt，还可以使用codex，还是比较划算的