bcache使用 这篇博客使用持久内存加速SSD,主要介绍bcache使用过程中感觉缓存没有生效的原因。网上很多bcahce安装使用的介绍,这里省去,直接放命令: 12345678wipefs -a /dev/pmem0.1 /dev/sdc1make-bcache -B /dev/sdc1make-bcache -C /dev/pmem0.1echo /dev/sdc1 | sudo tee /sys/fs/bc 2025-04-23
webui与deepseek671B部署 创建可以使用gpu的容器创建容器: 1docker run -d --name deepseek-webui -p 8001:8080 --gpus all nvidia/cuda:12.1.1-base-ubuntu22.04 sleep infinity 进入容器: 1docker exec -it deepseek-webui /bin/bash 容器内安装webui与ollama下载安 2025-02-27
docker创建容器 今天使用portainer创建容器时容器启动不起来,于是使用命令行进行容器创建: 1234#拉取ubuntu镜像docker pull ubuntu:22.04#加了sleep infinity后容器能正常启动docker run -d --name ycy-node2 -p 8001:22 ubuntu:22.04 sleep infinity 如果连不上docker网站,在/etc 2025-02-26
训练过程中的模型保存,save_pretrained方法解析 检查点存储流程主要在函数save_pretrained中(/home/dell/anaconda3/envs/llama_factory/lib/python3.11/site-packages/peft/peft_model.py) 调用栈: 123456789101112131415161718 2024-11-11
deepspeed下transformers加载模型from_preprained方法解析 一、前言 from_pretrained结构由于显存不够,利用deepspeed的zero3-offload可以将模型参数存到cpu内存里。 在未使用deepspeed时,模型加载这一步就已经out of memory了,而使用了deepspeed后,模型能够成功加载。说明从加载模型,deepspeed开始起了作用。 llama_factory项目中的代码(LLaMA-Factory/s 2024-11-09
vim开发环境配置与vim使用 一、vim插件vim插件管理工具下载: 12curl -fLo ~/.vim/autoload/plug.vim --create-dirs \https://raw.githubusercontent.com/junegunn/vim-plug/master/plug.vim 修改vim配置文件: 1vim ~/.vimrc 将下面代码粘贴到vimrc文件中,代码自动补全,显示行号等功能: 2024-10-20
Hello World Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub. Quick 2024-10-19