UserWarning: TORCH_CUDA_ARCH_LIST is not set, all archs for visible cards are included for compilation.

torch编译场景, 有时候会报找不到TORCH_CUDA_ARCH_LIST, 具体报错信息如下:

/home/用户名/Miniconda3/envs/ktransformers/lib/python3.11/site-packages/torch/utils/cpp_extension.py:2059: UserWarning: TORCH_CUDA_ARCH_LIST is not set, all archs for visible cards are included for compilation. 

If this is not desired, please set os.environ['TORCH_CUDA_ARCH_LIST'].

在命令行启动编译之前, 输入以下内容查询CUDA架构版本, 也被人叫做compute cap计算能力

nvidia-smi --query-gpu=compute_cap --format=csv

然后把这个号录入到系统变量里, 我的是ubuntu, 如果是Windows, 得设置PATH, 多张不同的显卡用逗号隔开（相信生产环境下，你不会买不一样的显卡塞到一台服务器里）

export TORCH_CUDA_ARCH_LIST="XXX;XXX;XXX"

之后启动编译, 例如pip3 install -e .

说白了, 遇到这种问题, 设定个系统变量重新编译就能解决。