2023/11/13更新：
实测 llama.cpp-python 没问题，webui还没更新，所以依旧不能使用，我写了两个运行在kaggle和colab上的脚本，本地跑不了的可以试试看：
https://south-plus.net/read.php?tid=2003973

2023/11/07更新：

对话问题已解决，text-generation-webview的Prompt Template已新增ChatML。
选择后set default，然后开启一个新对话即可

这个模型的vocab太大，老的llama.cpp加载时只能纯CPU，最近llama.cpp修好调用GPU，但webui使用的llama.cpp-python还没修复，所以目前似乎只能通过命令行使用。继续等待修复。目前一定要在tgwebui加载的话，请用gptq版本。

————————

先震撼一下。【但我不知道怎么跟它上下文对话，目前只能一问一答，有懂的老哥请不吝赐教】

此帖售价 0 SP币,已有 1604 人购买

若发现会员采用欺骗的方法获取财富,请立刻举报,我们会对会员处以2-N倍的罚金,严重者封掉ID!

这个模型叫CausalLM/14B

此帖售价 0 SP币,已有 1604 人购买

若发现会员采用欺骗的方法获取财富,请立刻举报,我们会对会员处以2-N倍的罚金,严重者封掉ID!

【继续求上下文对话方法】

我是从chatgpt bing claude一路玩过来的，现在是在实现模型自由

CausalLM/14B，我看错词了，下面有人替我纠正了

是的是的，感谢纠正

白嫖colab

目前最强的话就CausalLM-14B，但是还可以看一下LocalNSFW/RWKV-Claude，这个模型用大家共享的Claude记录，融合成了7B模型，专注瑟瑟
因为RWKV对显存的消耗是线性的，比Transformer二次方的消耗更有连续对话的潜力，值得关注

  你能在本地跑，说明显卡很不错，稍微花点钱升级下梯子嘛
AI模型更新太快也太大了，我本地根本跑不动，都是在colab上运行的

Steam的数据，大部分人最多就12G
最重要的是，我只有1060 6G显卡  

你可以参考两个中文排行：
https://cevalbenchmark.com/static/leaderboard.html
https://opencompass.org.cn/leaderboard-llm

Qwen-14B算很拔尖了，一定要挑战显存的话，最近有个Yi-34B。其实ChatGLM3-6B反倒更有潜力，而不是向上追求规模。

我用过同系的Chinese-Wizard-Vicuna-13B-GPTQ，介绍里说底模是Wizard-Vicuna-13B-Uncensored-HF，但加了中文lora出现了一些的道德钢印
你试的那两个有这种副作用吗？

谢谢，我先用kaggle试一下