Trí tuệ nhân tạo: Máy chủ

Agent DVR tích hợp hoàn toàn với các máy chủ AI như DeepStack AI, CodeProject AI, PlateRecognizer.com, Claude, Gemini, OpenAI (ChatGPT) và các LLM địa phương như Ollama, vLLM và LM Studio để thêm lọc cảnh báo thông minh, nhận diện đối tượng, nhận diện cảnh và điều khiển sự kiện thông minh.

Ngoài DeepStack và CodeProject AI, bạn cũng có thể sử dụng các máy chủ AI khác hỗ trợ cùng API:

Nhận diện đối tượng & Thị giác máy tính

• https://codeproject.github.io/ - Máy chủ xử lý AI dựa trên GPU/CPU đa nền tảng
• https://docs.platerecognizer.com/ - Máy chủ nhận diện biển số (API dựa trên web)
• https://github.com/runningman84/docker-coral-rest-server - Các mô hình Tensorflow-lite trên RPi (hoặc Linux/Mac) với sự tăng tốc từ USB Coral
• https://github.com/robmarkcole/coral-pi-rest-server/ - Các mô hình Tensorflow-lite trên bộ tăng tốc USB Coral thông qua ứng dụng Flask
• https://github.com/xnorpx/blue-candle - Máy chủ nhận diện đối tượng siêu nhỏ

Dịch vụ AI Đám mây

• https://platform.openai.com/ - API OpenAI (ChatGPT, GPT-4 Vision) cho phân tích hình ảnh và trò chuyện
• https://console.anthropic.com/ - API Anthropic Claude cho lý luận nâng cao và hiểu hình ảnh
• https://ai.google.dev/ - API Google Gemini cho khả năng AI đa phương thức
• https://docs.anthropic.com/ - Tài liệu API Claude
• https://platform.openai.com/docs/ - Tài liệu API OpenAI
• https://ai.google.dev/gemini-api/docs - Tài liệu API Gemini

Máy chủ AI Địa phương (LLMs)

• https://ollama.com/ - Ollama: Chạy các mô hình ngôn ngữ lớn tại chỗ
• https://docs.vllm.ai/ - vLLM: Suy diễn và phục vụ LLM với thông lượng cao
• https://lmstudio.ai/ - LM Studio: Ứng dụng máy tính để bàn dễ sử dụng cho các LLM địa phương
• https://github.com/ollama/ollama - Kho lưu trữ GitHub của Ollama
• https://github.com/vllm-project/vllm - Kho lưu trữ GitHub của vLLM

Để thiết lập OpenAI ("Chat GPT") để trả lời câu hỏi về những gì đang xảy ra trong luồng video của bạn, điều hướng đến Cài đặt Máy chủ - Máy chủ AI và chọn "Open AI" trong mục Hỏi AI.

• URL: Nhập URL cho dịch vụ. Mặc định là "https://api.openai.com/v1/chat/completions".
• OpenAI API Key: Sau khi đăng ký với OpenAI, truy cập vào Trang Khóa API và tạo một khóa bí mật mới. Sao chép và dán khóa này vào trường được chỉ định.
• Model: Chỉ định mô hình sẽ được sử dụng. Mặc định là gpt-4o. OpenAI có thể loại bỏ hoặc thay đổi điều này sau này.
• Max Tokens: Điều này thiết lập việc sử dụng mã thông báo tối đa cho mỗi yêu cầu. Nếu gặp vấn đề, kiểm tra các nhật ký tại /logs.html vì có thể liên quan đến việc sử dụng mã thông báo.

Khi OpenAI đã được cấu hình, tham khảo Hỏi AI để biết hướng dẫn về cách sử dụng nó để trả lời các câu hỏi chung về những gì đang xảy ra trong luồng camera của bạn.

Để thiết lập Claude AI để trả lời câu hỏi về những gì đang xảy ra trong luồng video của bạn, điều hướng đến Cài đặt Máy chủ - Máy chủ AI và chọn "Claude" dưới Ask AI.

• URL: Nhập URL đến dịch vụ. Mặc định là "https://api.anthropic.com/v1/messages".
• Khóa API Claude: Sau khi đăng ký cho Claude, truy cập vào Trang Khóa API và tạo một khóa bí mật mới. Sao chép và Dán khóa này vào trường.
• Phiên bản: Chỉ định phiên bản để sử dụng. Mặc định là 2023-06-01. Điều này có thể được loại bỏ hoặc thay đổi vào một thời điểm nào đó bởi Anthropic.
• Mô hình: Chỉ định mô hình để sử dụng. Mặc định vào thời điểm viết là claude-3-sonnet-20240229.
• Số mã thông báo tối đa: Điều này điều khiển số mã thông báo tối đa cho mỗi yêu cầu. Kiểm tra các nhật ký tại /logs.html nếu bạn gặp vấn đề vì có thể liên quan đến việc tiêu thụ mã thông báo.

Sau khi đã cấu hình Claude, xem Ask AI để biết cách sử dụng nó để nhận dạng các tình huống chung trong luồng camera của bạn.

Để thiết lập Gemini để trả lời câu hỏi về những gì đang xảy ra trong luồng video của bạn, điều hướng đến Cài đặt Máy chủ - Máy chủ AI và chọn "Gemini" dưới Ask AI.

• URL: Nhập URL vào dịch vụ. Mặc định là "https://generativelanguage.googleapis.com".
• Gemini API Key: Sau khi đăng ký Gemini, truy cập Trang API Keys và tạo một khóa bí mật mới. Sao chép và dán khóa này vào trường.
• Phiên bản: Chỉ định phiên bản để sử dụng. Mặc định là v1beta. Điều này có thể được loại bỏ hoặc thay đổi vào một thời điểm nào đó bởi Google.
• Mô hình: Chỉ định mô hình để sử dụng. Mặc định vào thời điểm viết là gemini-1.5-flash.
• Số lượng Token Tối đa: Điều này điều khiển số lượng token tối đa cho mỗi yêu cầu. Kiểm tra các nhật ký tại /logs.html nếu bạn gặp vấn đề vì có thể liên quan đến việc tiêu token.

Sau khi đã cấu hình Gemini, xem Ask AI để biết cách sử dụng nó để nhận diện các tình huống chung trong luồng camera của bạn.

Từ v6.5.3.0+, bạn có thể sử dụng các máy chủ LLM cục bộ của riêng mình (như vLLM, Ollama và LM Studio) để mô tả các hình ảnh mà Agent DVR ghi lại từ camera của bạn trong các sự kiện Alert và trả lời các câu hỏi về những gì đang xảy ra trong các luồng video của bạn. Xem AI Describe và Ask AI.

Để cấu hình một máy chủ AI cục bộ, hãy đi tới Cài đặt Máy chủ - AI Servers và nhấp vào nút Cấu hình bên cạnh LLM mà bạn muốn sử dụng (Ollama, vLLM hoặc LM Studio).

• URL: Chỉ định điểm cuối nơi máy chủ LLM của bạn đang chạy. Các URL mặc định là:
  • Ollama: http://localhost:11434/api/chat
  • vLLM: http://localhost:8000/v1/chat/completions
  • LM Studio: http://localhost:1234/v1/chat/completions
• API Key: Nếu máy chủ LLM của bạn yêu cầu xác thực, hãy nhập khóa API ở đây. Hầu hết các máy chủ cục bộ không yêu cầu điều này trừ khi được cấu hình cụ thể.
• Model: Chọn mô hình có khả năng thị giác để sử dụng cho phân tích hình ảnh. Bạn phải đã tải xuống và nạp mô hình này vào máy chủ LLM của bạn. Các lựa chọn phổ biến bao gồm:
  • Mô hình LLaVA (thị giác đa mục đích)
  • Qwen2-VL (hiệu suất cao)
  • Llama 3.2 Vision (phiên bản mới nhất của Meta)
• Temperature: Kiểm soát sự sáng tạo so với độ chính xác trong các phản hồi (0.0-1.0). Các giá trị thấp hơn (0.3-0.4) tạo ra các mô tả chính xác, nhất quán hơn. Các giá trị cao hơn (0.6-0.8) tạo ra các phản hồi đa dạng, sáng tạo hơn. Được khuyến nghị: 0.4 cho phân tích camera an ninh.
• Max Tokens: Số lượng từ/tokens tối đa trong phản hồi của AI. Các giá trị cao hơn cho phép mô tả chi tiết hơn nhưng mất nhiều thời gian hơn để tạo ra. Được khuyến nghị: 300-500 cho phân tích hình ảnh chi tiết, 150-250 cho các mô tả ngắn gọn.
• top_p: Kiểm soát sự đa dạng của phản hồi bằng cách giới hạn lựa chọn từ vựng (0.0-1.0). Các giá trị thấp hơn sử dụng các từ phổ biến hơn, các giá trị cao hơn cho phép từ vựng đa dạng hơn. Được khuyến nghị: 0.9 để cân bằng tốt giữa độ chính xác và ngôn ngữ tự nhiên.
• top_k: Giới hạn mô hình chọn từ K từ tiếp theo có khả năng xảy ra nhất. Các giá trị thấp hơn (20-40) tạo ra các phản hồi tập trung hơn, các giá trị cao hơn (80-100) cho phép sự đa dạng hơn. Được khuyến nghị: 50 cho các mô tả hình ảnh đáng tin cậy.

Để cấu hình LPR (ANPR hoặc Nhận dạng Biển số) trong Agent DVR, hãy vào Cài đặt Máy chủ - Cài đặt AI và nhập chi tiết dưới Plate Recognizer. Đăng ký dùng Thử nghiệm Miễn phí tại Plate Recognizer. Không cần thẻ tín dụng.

• URL: Nhập URL đến dịch vụ. Mặc định là "https://api.platerecognizer.com/v1/plate-reader/", hoặc sử dụng máy chủ riêng nếu tự lưu trữ.
• Token: Sau khi đăng ký Plate Recognizer, truy cập Trang Tài khoản và sao chép Token API.
• Vùng: Để trống cho mặc định hoặc nhập danh sách CSV của vùng.
• Cấu hình: Nhập các giá trị cấu hình bổ sung từ tài liệu nếu cần.