准备工作

1. 现在电脑上安装uv
2. 创建虚拟环境，python的话使用3.12版本
3. 我们需要先确定torch的版本，尤其是unsloth和vllm，torch的版本对这二者的安装影响很大。

TIPS

前面两步vllm和unsloth的时候我们确定了torch的版本，我们可以先单独把torch安装完，然后再安装LlamaFactory，再安装unsloth、最后安装vllm，因为LlamaFactory的有些库用的版本比较老，安装unsloth的时候会覆盖掉，而LlamaFactory对一些库的版本的依赖并没有很严格，因此一些非核心的库的版本不符合LlamaFactory的要求也能使用，只需要使用**DISABLE_VERSION_CHECK=1**来跳过LlamaFactory的版本检查即可

python的内存管理

引用计数

所谓引用计数，就是该对象有多少个变量引用了它，如果其引用计数减为了0，即表示没有变量引用它了，则该对象可以被回收

1
2
3
4
5
6
7

import sys
a =[1,2]

b = [3,4]

print(sys.getrefcount(a)) # 2
print(sys.getrefcount(b)) #2 

调用getrefcount函数的时候，会产生一个临时的引用，所以结果会+1

1
2

del a
del b

执行了del a, del b之后，其引用计数为0了，这两个对象会被回收

一般方式

lunch.json文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

{
    "version": "0.2.0",
    "configurations": [
        {
            "name": "分布式调试",
            "type": "debugpy",
            "request": "launch",
            // 设置为torch.distributed.run模块
            // 这里是torchrun，调试deepspeed 和  Megatron也是类似
            "module": "torch.distributed.run",
            "console": "integratedTerminal",
            // 这里设置torchrun的参数
            "args": [
                "--nproc_per_node=4",
              // 这里是你分布式训练的入口文件
                "distributed_training.py"
            ],
            "subProcess": true,
            "justMyCode": true,
        }
    ]
}

1. 我们首先可以通过注册一个域名邮箱，不能使用gmail邮箱和outlook邮箱，可以使用这个网站注册一个域名邮箱。
2. 之后再使用注册的这个邮箱去注册chatgpt，登录之后就会弹出0元的chatgpt plus 和 chatgpt team，这里我们开通chatgpt team
3. 开通的时候主要的难点是需要绑定信用卡，这里可以去闲鱼买一张0元的虚拟验证卡，大概的6-10块钱，账单地址填写美国的地址即可，可以使用这个美国地址生成器，之后的话开通的时候可能会需要向那个卡的邮箱/手机号发送验证码，这里就向你购买卡的那个人要验证码即可，验证过后不出意外的话就开通成功了。
4. 之后可以邀请5个人加入工作区

建议不要频繁切换账号，容易降智，母号不建议使用、而是使用使用母号邀请别的账号来使用chatgpt

多模态的下游任务

1. 图文检索（Image-Text Retrieval）：图像到文本的检索，文本到图像的检索，即给定一个数据库（gallery），再给定query，找到对应的ground-truth，评价指标通常是recall，即R1、R5、R10
2. 视觉蕴含（Visual Entailment）：即给定一个前提：一句事实陈述，和一个假设：另一句待判断的话。模型需要判断这两句话之间的逻辑关系：

• 蕴含 (Entailment)：从前提可以合乎逻辑地推导出假设。
• 矛盾 (Contradiction)：假设与前提的描述相矛盾。
• 中立 (Neutral)：假设与前提没有明确的逻辑关系，既不蕴含也不矛盾。

因此这个任务通常被看成是一个3分类的任务

3. 视觉问答（Visual Question Answering）：即给定一个问题和一个图片，模型需要预测一个答案。VQA通常有两种版本：一种是闭集VQA，一种是开集VQA，闭集VQA中，通常有一个答案的集合，模型需要选出正确的答案，因此闭集VQA通常也被看作是一个分类任务。而开集VQA则是模型需要生成一个文本来回答问题，因此开集VQA也被看作是一个文本生成的任务，需要一个transformer decoder来生成答案
4. 视觉推理（Natural Language for Visual Reasoning）：该任务是取预测一个文本能否同时描述一对图片，因此这是一个二分类问题
5. 视觉定位（Visual Grounding）：给定一个文本和一张图片，模型需要根据描述文本定位到图片中的区域（框选出图片中的对应区域，类似于目标检测）

读BERT的论文

1. bert基于MLM 和 “next sentence prediction” 任务进行预训练

2. 因为注意力机制的计算是双向的，跟RNN不同，RNN是单向的，因此bert是双向地提取特征

3. bert使用的是wordPiece的分词方式，vocab_size = 30000, 每个序列的第一个token是[CLS],然后[SEP]分隔句子

4. [CLS] 最终的隐藏层状态会被用来分类任务(也叫做CLS池化)，如果是token级别的任务的话，选取对应token的输出即可，然后加一些全连接层做token的分类

所有代码均可在train_my_tokenizer.py中找到

如何使用tokenizers库训练自己的tokenizer

tokenizers 包含五个组件，分别是Normalizers，Pre-tokenizers，Models，Post-Processors，Decoders

Normalizers

normalizers.NFC: 会将基础字符和附加字符组合成一个单一的预组合字符，例如e + ´ → é

normalizers.NFD: NFC逆过来，将一些预组合字符分解为基础字符和附加字符，如：é → e + ´。

normalizers.Lowercase：转为小写

normalizers.Strip：去除左右两边的空格（可以配置只去除左边或者只去除右边），但是对于llm模型来说，通常会需要处理代码问题，这时候空格就变得比较重要了，因此大多数时候不会去除空格

normalizers.StripAccents:移除字符上的重音或变音符号。例如："déjà vu" → "deja vu"（通常先使用NFD进行分解，然后去除重音符号）

normalizers.Replace：使用正则表达式/字符串替换文本

normalizers.Replace: 在字符串开头添加前缀

normalizers.ByteLevel:将字符串转为字节序列（一般是UTF-8编码），byte—bpe会用到

手写transformer

所有代码可在study-transformer中找到

Input_Embedding

通常我们首先会构建词表，然后每个词对应一个idx，即编号，然后通过embedding层转换为词向量

需要注意的是：这里需要指定一个padding_idx,即padding字符的对应编号是多少，转换为词向量的时候，它的词向量为0

论文3.4中提到，在embedding 要乘以

1
2
3
4
5
6
7
8
9
10
11
12
13
14

class Input_Embedding(nn.Module):
    def __init__(self, vocab_size: int, embedding_dim: int, padding_idx: int):
        super().__init__()
        self.vocab_size = vocab_size
        self.embedding_dim = embedding_dim
        self.embedding = nn.Embedding(
            num_embeddings=vocab_size,
            embedding_dim=embedding_dim,
            padding_idx=padding_idx,
        )

    def forward(self, x):
        # (batch_size,seq_len) -> (batch_size,seq_len,embedding_dim)
        return self.embedding(x) * math.sqrt(self.embedding_dim)

使用传统的LSTM

1. 用的飞桨上的中文情感分类的数据集

2. 进行分词，我使用了jieba对中文分词，构建词表

   这里如果语料库比较小，可以使用jieba 的全词模式进行分词，这样可以得到更多的词，减少OOV的概率

   • 一般是先进行分词，再统计每个词的频率，若语料库比较大，可以根据情况过滤掉低频词（也可以不过滤）
   • 最后得到词表和stoi（词到索引的映射）、itos（索引到词的映射）
   • 通常我们会加入一些特殊的词，例如<unk> 表示一个词表不存在的词、<pad>在训练的时候进行填充来保证输入的向量维度相同

低秩分解

低秩分解旨在将一个高维、可能含有噪声低矩阵分解为两个/多个低秩句子的乘积。例如如果原始矩阵为M，那么我们希望找到两个低秩矩阵 A、B，使得M ≈ AB,这种近似方式在损失尽可能少的信息的同时，降低了数据的复杂性和计算量，常用于数据压缩，降维