Tích hợp Mindmaid với Mixtral-8x7B

Sử dụng LLM mã nguồn mở là một trong những hướng phát triển nhanh hiện nay để tiết kiệm chi phí sử dụng API ChatGPT. Mindmaid hiện tương thích với toàn bộ các LLM nguồn mở và có thể kết nối dễ dàng. Hướng dẫn dưới đây đưa ra ví dụ sử dụng Mindmaid với model Mixtral-8x7B-Instruct-v0.1 có chất lượng gần tương đương chatgpt 3.5 và chi phí rẻ hơn 4 lần.

1. Truy cập Anyscale (Anyscale đang cho miễn phí 10$ với tài khoản đăng ký mới)

• Truy cập Anyscale và đăng ký tài khoản với đường dẫn: https://app.endpoints.anyscale.com/login

• Lấy API Key từ Anyscale: https://app.endpoints.anyscale.com/credentials

• Lựa chọn model mà anyscale đang hỗ trợ, ở hướng dẫn này sử dụng model mistralai/Mixtral-8x7B-Instruct-v0.1

• Có thể xem số dư Anyscale tại đây: https://app.endpoints.anyscale.com/billing

2. Sử dụng thông tin đã có của Anyscale tạo chatbot Mindmaid

• Truy cập Mindmaid: https://mindmaid.ai/
• Tạo hoặc chọn một chatbot cần sử dụng thông tin Open source LLM

• Điền thông tin của Anyscale đã có ở bước 1 gồm có:

  • Url API: https://api.endpoints.anyscale.com/v1 (Hoặc bất kỳ API opensource LLM mà bạn sử dụng)
  • API Key: Key của bạn lấy được ở bước 1 (Hoặc api key riêng của opensource LLM mà bạn sử dụng

  • Model open source: Tên model cần sử dụng (chọn 1 trong các options dưới đây)

    • meta-llama/Llama-2-7b-chat-hf

    • meta-llama/Llama-2-13b-chat-hf

    • Meta-Llama/Llama-Guard-7b

    • meta-llama/Llama-2-70b-chat-hf

    • Open-Orca/Mistral-7B-OpenOrca

    • codellama/CodeLlama-34b- Instruct-hf

    • HuggingFaceH4/zephyr-7b-beta

    • mistralai/Mistral-7B-Instruct-v0.1

    • mistralai/Mixtral-8x7B-Instruct- v0.1

    • thenlper/gte-large

  • Bật sử dụng LLM Open source

  

  Mixtral-8x7B có chất lượng tượng đương GPT3.5 và tương thích mọi tính năng của Mindmaid