2023/11/13更新：
实测 llama.cpp-python 没问题，webui还没更新，所以依旧不能使用，我写了两个运行在kaggle和colab上的脚本，本地跑不了的可以试试看：
https://south-plus.net/read.php?tid=2003973

2023/11/07更新：

对话问题已解决，text-generation-webview的Prompt Template已新增ChatML。
选择后set default，然后开启一个新对话即可

这个模型的vocab太大，老的llama.cpp加载时只能纯CPU，最近llama.cpp修好调用GPU，但webui使用的llama.cpp-python还没修复，所以目前似乎只能通过命令行使用。继续等待修复。目前一定要在tgwebui加载的话，请用gptq版本。

————————

先震撼一下。【但我不知道怎么跟它上下文对话，目前只能一问一答，有懂的老哥请不吝赐教】

此帖售价 0 SP币,已有 1604 人购买

若发现会员采用欺骗的方法获取财富,请立刻举报,我们会对会员处以2-N倍的罚金,严重者封掉ID!

这个模型叫CausalLM/14B

此帖售价 0 SP币,已有 1604 人购买

若发现会员采用欺骗的方法获取财富,请立刻举报,我们会对会员处以2-N倍的罚金,严重者封掉ID!

【继续求上下文对话方法】

引用

引用第1楼19a04b96于2023-10-31 03:38发表的  :
没玩过楼主这个，但是玩过claude，自己也写了不少模板- -你可以更详细的写一些具体的要求，比如设定一个角色，然后你是另一个角色，这样就能在的预设的框架下发展剧情了

是不是以前的claude没有审查，还是用的开源claude衍生版？

引用

引用第44楼9969b37f于2023-11-09 22:55发表的 回 15楼(2f8f17bd) 的帖子 :
LocalNSFW/RWKV-Claude跑不了，
OSError：models\LocalNSFWRWKV-Claude 似乎没有名为 config.json 的文件。签出“https://huggingface.co/models\LocalNSFWRWKV-Claude/None”以获取可用文件。

我的理解是WEBUI普通版不支持羊驼CPP，我只能跑CPU只能用gguf版本，配置里规定了要用羊驼CPP，所以只能用命令行

而NSFWRWKV-Claude 没有config.json 能不能试试命令行或者https://github.com/josStorer/RWKV-Runner

NSFWRWKV-Claude你可以加他们群试试，不知道还在不在