sbtom/karakuri-midrose-CV.gguf

karakuri-midroze-CV.gguf

Sdff-Ltba/LightChatAssistant-2x7BのChatVectorマージの手法を参考に、下記モデルをmergekitのtask_arithmetic方式にてmergeしたものを量子化しています。

• karakuri-ai/karakuri-lm-70b-v0.1
• sophosympatheia/Midnight-Rose-70B-v2.0.3
• meta-llama/Llama-2-70b-hf（ベースモデル）

モデル概要

これは日本語の特定の能力がmergeにより、どのように向上するかをテストするための実験モデルです。
koboldで検証する際は、Max Ctx. Tokensは4096以下、Amount to Genは512以下で使用することを推奨します。
また、ChatVectorの特性らしく、英語を話したがる傾向や延々と出力し続ける事が多いです。最初に日本語を話すように指示しておくと緩和されます。
※ChatVectorの重みを0.8から1.0に修正しました。（対象がインストラクタモデルの場合は0.8が安定しますが、今回はベースモデルなので1.0が良いようです）(2024/4/15)

ライセンス

merge元の各モデルのライセンスに従います。

謝辞

ChatVectorという新たな手法に感謝いたします。
そして、この手法に着目し、実際に素晴らしい日本語モデルのマージモデルを公開してくださった、Sdff-Ltba氏に感謝いたします。
マージに使用させていただいた、各モデルの作者様に感謝いたします。