type
status
date
slug
summary
tags
category
icon
password
😀
编辑词表,增加特殊token,并且使用相关的token进行初始化

1. preparation

  • 加载模型
  • 设置 special tokens
  • 保存 model 和 tokenizer
 

2. 更新并初始化模型的embeddings

  • 更新embedding
新token旧token在模型内部的表示(即embedding)是非常相似的,主要是因为我们通过计算旧token的embedding均值来生成新token的embedding。这使得新token能够在模型中具有与旧token相似的表示,从而保证模型能够理解并正确处理这些新token。
  • 保存模型
 

3. 全部串起来

PPO(0)强化学习基础2024北京初雪
Loading...
SimonSun
SimonSun
Internet Malou, LLM Rookie, Bug Maker🤧
最新发布
服务器从零到 personal workspace
2025-3-21
VLLM 部署常用参数解释
2025-3-18
PPO(1)算法详解
2025-3-18
相机入门记录(1)购物篇
2025-3-18
Last Day of 2024
2025-3-18
郁闷记
2025-3-18
公告
🙌README🙌
🤯There is nothing left
in my right brain,
🤯and there is nothing right
in my left brain...
⭐I wish you every success⭐