陈显林-个人网站 Stay Hungry,Stay Foolish.

vLLM:serve常用命令

以下是针对生产环境的vLLM核心命令选项详解(共23个),涵盖显存管理、吞吐优化、量化策略等关键场景,结合企业级最佳实践做个记录 一、模型加载与初始化 --model 作用:指定HuggingFace模型路径或名称 生产级示例:--model=/models/llama3-70b-awq 关键点:推

cxl cxl Published on 2025-04-18

探索vLLM:开源跨平台大型模型工具的无限可能

在人工智能领域,每一次技术的革新都预示着新的可能性和机遇。继 ollama 之后,VLLM作为新一代开源跨平台大型模型工具,正以其独特的魅力和强大的功能,吸引着全球开发者与研究者的目光。

cxl cxl Published on 2025-04-17

Mysql之DMQL

数据操作与查询语言(DMQL, Data Manipulation&Query Language) 核心功能:对数据库中的数据进行增删改查操作。 INSERT:插入新数据 --

cxl cxl Published on 2025-04-16

Mysql之DDL

数据定义语言(DDL, Data Definition Language) 核心功能:定义和管理数据库结构,如表、索引、视图等对象的创建、修改和删除。 表操作主要命令:

cxl cxl Published on 2025-04-15

Docker Compose:从零到实战编排多容器应用

为什么需要Docker Compose 在微服务架构中,一个应用往往需要数据库、缓存服务、Web服务器等多个容器协同工作。传统方式需手动执行多条docker run命令,不仅效率低下,还容易出错。Docker Compose通过声明式YAML配置文件实现: 一键启停:单条命令管理所有容器生命周期 环

cxl cxl Published on 2025-04-14

WSL之配置文件 wsl.conf

wsl.conf 是单个 WSL 发行版 的配置文件,仅影响当前 Linux 发行版(支持 WSL1 和 WSL2) 一、主要功能包括: 文件系统挂载控制 (如自动挂载选项) 用户默认行为配置 (如默认用户、Sudo 权限) 网络与跨系统互操作性 (DNS、代理同步) 服务管理 (Systemd 支

cxl cxl Published on 2025-04-13

WSL之配置文件 wslconfig

在 Windows 系统中使用 Windows Subsystem for Linux(WSL),能让我们轻松享受 Linux 环境带来的便利。而wslconfig作为 WSL 的关键配置工具,能帮助我们高效管理 WSL 子系统。无论是列出已安装的发行版,还是设置默认发行版,亦或是对资源进行限制,w

cxl cxl Published on 2025-04-12

WSL之迁移出系统盘

上一章节讲到由于模型下载的原因将C盘撑爆了,不得不寻求解决之法,虽然最终暂时解决了系统盘容量问题,但终归治标不治本,毕竟系统盘通常承担着操作系统的运行和各种系统文件的存储任务。随着使用时间的增加,系统盘空间可能会逐渐变得紧张。而 WSL 子系统在运行过程中会不断产生数据,如果一直安装在系统盘,会进一

cxl cxl Published on 2025-04-11

WSL存储之坑

起因 由于写上篇博客时在我本地wsl子系统中演示了如何使用modelscope下载模型,将DeepSeek-V3-0324下载到我的本地目录当中,刚下载时正享受进度条带给我咻咻的愉悦感,这下载速度真是美妙~~过了一会儿发现操作系统有点卡顿,顿感不妙,于是查看C盘爆红,赶紧停下正在下载模型的进程,才忽

cxl cxl Published on 2025-04-10

modelscope与huggingface cli 下载模型

modelscope 安装 首先,参考文档 安装配置Anaconda

cxl cxl Published on 2025-04-09
Previous Next