AIプラットフォーム、”Jan”の導入

Janって何ぞや!?

JanはOpen AIのChatGPTのようなAIチャットを公開っされているモデルを使ってローカル環境で実行できるAIプラットフォームです。(公開モデルはGGUF形式のみ対応しています。)

加えてこのJanはWeb APIサーバとして起動することも可能です。(試したことはない。)

インストール

作業環境

    • CPU:AMD 3600
    • メモリ:24GB
    • グラボ:NVIDIA GeForce RTX 2070 SUPER
    • OS:Windows11

インストール作業

  •  
  • CUDA:最新(12.6)
  • Jan:最新
  • Cortex(Jan拡張機能):最新

CUDAインストーラーはこちらでダウンロードしてください。

Janインストーラーはこちらでダウンロードしてください。

CortexはJanを起動して設定からインストールしましたはずですが、手順は忘れました。

Janを使ってみる

  1. Hugging Faceでモデルを探す。
  2. Janから対象モデルのモデル名/URLを入力し、モデルをダウンロードする。
  3. Janでスレッドを新規作成し、ダウンロードしたモデルを選択する。
  4. 質問してみる。

Fugaku-LLMが動作しない…。

元々スーパーコンピュータ富岳で学習したAIモデルが公開されているということで使ってみたくJanを入れてみたのですが、そのFugaku-LLMが動作しませんでした。(何だかGGUF形式に異常の趣旨のメッセージが表示されていたような気がします。)

私はもう諦めましたので、エラーを解消する方法があれば教えてください!

コメントを残す