2023/11/13更新：
实测 llama.cpp-python 没问题，webui还没更新，所以依旧不能使用，我写了两个运行在kaggle和colab上的脚本，本地跑不了的可以试试看：
https://south-plus.net/read.php?tid=2003973

2023/11/07更新：

对话问题已解决，text-generation-webview的Prompt Template已新增ChatML。
选择后set default，然后开启一个新对话即可

这个模型的vocab太大，老的llama.cpp加载时只能纯CPU，最近llama.cpp修好调用GPU，但webui使用的llama.cpp-python还没修复，所以目前似乎只能通过命令行使用。继续等待修复。目前一定要在tgwebui加载的话，请用gptq版本。

————————

先震撼一下。【但我不知道怎么跟它上下文对话，目前只能一问一答，有懂的老哥请不吝赐教】

此帖售价 0 SP币,已有 1604 人购买

若发现会员采用欺骗的方法获取财富,请立刻举报,我们会对会员处以2-N倍的罚金,严重者封掉ID!

这个模型叫CausalLM/14B

此帖售价 0 SP币,已有 1604 人购买

若发现会员采用欺骗的方法获取财富,请立刻举报,我们会对会员处以2-N倍的罚金,严重者封掉ID!

【继续求上下文对话方法】

LocalNSFW/RWKV-Claude加载报错怎么办啊？

用这个的话ExLlama_HF
Traceback (most recent call last):

File "G:\text-generation-webui-1.7\modules\ui_model_menu.py", line 201, in load_model_wrapper


shared.model, shared.tokenizer = load_model(shared.model_name, loader)
File "G:\text-generation-webui-1.7\modules\models.py", line 79, in load_model


output = load_func_map[loader](model_name)
File "G:\text-generation-webui-1.7\modules\models.py", line 333, in ExLlama_HF_loader


return ExllamaHF.from_pretrained(model_name)
File "G:\text-generation-webui-1.7\modules\exllama_hf.py", line 139, in from_pretrained


config = ExLlamaConfig(pretrained_model_name_or_path / 'config.json')
File "G:\text-generation-webui-1.7\installer_files\env\lib\site-packages\exllama\model.py", line 45, in init


with open(model_config_path) as f:
FileNotFoundError: [Errno 2] No such file or directory: 'models\LocalNSFW_RWKV-Claude\config.json'

用这个的话AutoGPTQ
Failed to load LocalNSFW_RWKV-Claude.