Tích hợp Mindmaid với Mixtral-8x7B

Sử dụng LLM mã nguồn mở là một trong những hướng phát triển nhanh hiện nay để tiết kiệm chi phí sử dụng API ChatGPT. Mindmaid hiện tương thích với toàn bộ các LLM nguồn mở và có thể kết nối dễ dàng. Hướng dẫn dưới đây đưa ra ví dụ sử dụng Mindmaid với model Mixtral-8x7B-Instruct-v0.1 có chất lượng gần tương đương chatgpt 3.5 và chi phí rẻ hơn 4 lần.

1. Truy cập Anyscale (Anyscale đang cho miễn phí 10$ với tài khoản đăng ký mới)

  • Lựa chọn model mà anyscale đang hỗ trợ, ở hướng dẫn này sử dụng model mistralai/Mixtral-8x7B-Instruct-v0.1

2. Sử dụng thông tin đã có của Anyscale tạo chatbot Mindmaid

  • Truy cập Mindmaid: https://mindmaid.ai/

  • Tạo hoặc chọn một chatbot cần sử dụng thông tin Open source LLM

  • Điền thông tin của Anyscale đã có ở bước 1 gồm có:

    • Url API: https://api.endpoints.anyscale.com/v1 (Hoặc bất kỳ API opensource LLM mà bạn sử dụng)

    • API Key: Key của bạn lấy được ở bước 1 (Hoặc api key riêng của opensource LLM mà bạn sử dụng

    • Model open source: Tên model cần sử dụng (chọn 1 trong các options dưới đây)

      • meta-llama/Llama-2-7b-chat-hf

      • meta-llama/Llama-2-13b-chat-hf

      • Meta-Llama/Llama-Guard-7b

      • meta-llama/Llama-2-70b-chat-hf

      • Open-Orca/Mistral-7B-OpenOrca

      • codellama/CodeLlama-34b- Instruct-hf

      • HuggingFaceH4/zephyr-7b-beta

      • mistralai/Mistral-7B-Instruct-v0.1

      • mistralai/Mixtral-8x7B-Instruct- v0.1

      • thenlper/gte-large

    • Bật sử dụng LLM Open source

PreviousSử dụng Mindmaid với LLM nguồn mởNextTích hợp Mindmaid với VinaLlama-7b

Last updated