IA: Serveurs

Agent DVR s'intègre entièrement avec des serveurs d'IA comme DeepStack AI, CodeProject AI, PlateRecognizer.com, Claude, Gemini, OpenAI (ChatGPT) et des LLM locaux comme Ollama, vLLM et LM Studio pour ajouter un filtrage intelligent des alertes, la reconnaissance d'objets, la reconnaissance de scènes et un contrôle d'événements intelligent.

En plus de DeepStack et CodeProject AI, vous pouvez également utiliser d'autres serveurs d'IA qui prennent en charge la même API :

Reconnaissance d'Objets & Vision par Ordinateur

• https://codeproject.github.io/ - Serveur de traitement AI basé sur GPU/CPU multiplateforme
• https://docs.platerecognizer.com/ - Serveur de reconnaissance de plaques d'immatriculation (API basée sur le web)
• https://github.com/runningman84/docker-coral-rest-server - Modèles Tensorflow-lite sur un RPi (ou Linux/Mac) avec accélération via une clé USB Coral
• https://github.com/robmarkcole/coral-pi-rest-server/ - Modèles Tensorflow-lite sur un accélérateur USB Coral via une application Flask
• https://github.com/xnorpx/blue-candle - Serveur de reconnaissance d'objets super petit

Services d'IA Cloud

• https://platform.openai.com/ - API OpenAI (ChatGPT, GPT-4 Vision) pour l'analyse d'images et le chat
• https://console.anthropic.com/ - API Anthropic Claude pour le raisonnement avancé et la compréhension d'images
• https://ai.google.dev/ - API Google Gemini pour des capacités d'IA multimodales
• https://docs.anthropic.com/ - Documentation de l'API Claude
• https://platform.openai.com/docs/ - Documentation de l'API OpenAI
• https://ai.google.dev/gemini-api/docs - Documentation de l'API Gemini

Serveurs d'IA Locaux (LLMs)

• https://ollama.com/ - Ollama : Exécutez des modèles de langage de grande taille localement
• https://docs.vllm.ai/ - vLLM : Inférence et service LLM à haut débit
• https://lmstudio.ai/ - LM Studio : Application de bureau facile à utiliser pour les LLM locaux
• https://github.com/ollama/ollama - Dépôt GitHub d'Ollama
• https://github.com/vllm-project/vllm - Dépôt GitHub de vLLM

Pour configurer OpenAI ("Chat GPT") afin de répondre aux questions sur ce qui se passe dans votre flux vidéo, accédez à Paramètres du serveur - Serveurs IA et sélectionnez "Open AI" sous Demander à l'IA.

• URL : Entrez l'URL du service. Par défaut, c'est "https://api.openai.com/v1/chat/completions".
• Clé API OpenAI : Après vous être inscrit auprès d'OpenAI, rendez-vous sur la page des clés API et générez une nouvelle clé secrète. Copiez et collez cette clé dans le champ spécifié.
• Modèle : Spécifiez le modèle à utiliser. Par défaut, c'est gpt-4o. OpenAI pourrait le supprimer ou le modifier ultérieurement.
• Jetons Max : Cela définit l'utilisation maximale de jetons par requête. Si vous rencontrez des problèmes, vérifiez les journaux à /logs.html car cela pourrait être lié à l'utilisation des jetons.

Une fois OpenAI configuré, consultez Demander à l'IA pour des instructions sur comment l'utiliser pour répondre à des questions générales sur ce qui se passe dans votre flux de caméra.

Pour configurer Claude AI afin de répondre aux questions sur ce qui se passe dans votre flux vidéo, accédez aux Paramètres du Serveur - Serveurs IA et sélectionnez "Claude" sous Demander à l'IA.

• URL : Entrez l'URL du service. Par défaut, c'est "https://api.anthropic.com/v1/messages".
• Clé API Claude : Après vous être inscrit à Claude, visitez la Page des Clés API et créez une nouvelle clé secrète. Copiez et collez cette clé dans le champ.
• Version : Spécifiez la version à utiliser. Par défaut, c'est 2023-06-01. Cela peut être supprimé ou modifié à un moment donné par Anthropic.
• Modèle : Spécifiez le modèle à utiliser. Par défaut, au moment de la rédaction, c'est claude-3-sonnet-20240229.
• Jetons Max : Cela contrôle la dépense maximale de jetons par requête. Vérifiez les journaux à /logs.html si vous rencontrez des problèmes car cela pourrait être lié à la dépense de jetons.

Une fois Claude configuré, consultez Demander à l'IA pour savoir comment l'utiliser pour reconnaître des scénarios généraux dans votre flux de caméra.

Pour configurer Gemini afin de répondre aux questions sur ce qui se passe dans votre flux vidéo, accédez aux Paramètres du Serveur - Serveurs IA et sélectionnez "Gemini" sous Demander à l'IA.

• URL : Entrez l'URL du service. Par défaut, c'est "https://generativelanguage.googleapis.com".
• Clé API de Gemini : Après vous être inscrit à Gemini, visitez la Page des Clés API et créez une nouvelle clé secrète. Copiez et collez cette clé dans le champ.
• Version : Spécifiez la version à utiliser. Par défaut, c'est v1beta. Cela peut être supprimé ou modifié à un moment donné par Google.
• Modèle : Spécifiez le modèle à utiliser. Par défaut, au moment de la rédaction, c'est gemini-1.5-flash.
• Jetons Max : Cela contrôle la dépense maximale de jetons par demande. Vérifiez les journaux à /logs.html si vous rencontrez des problèmes car cela pourrait être lié à la dépense de jetons.

Une fois que Gemini est configuré, consultez Demander à l'IA pour savoir comment l'utiliser pour reconnaître des scénarios généraux dans votre flux de caméra.

À partir de v6.5.3.0+, vous pouvez utiliser vos propres serveurs LLM locaux (comme vLLM, Ollama et LM Studio) pour décrire les images capturées par Agent DVR depuis vos caméras dans les événements d'alerte et répondre aux questions sur ce qui se passe dans vos flux vidéo. Voir AI Describe et Ask AI.

Pour configurer un serveur AI local, allez dans les paramètres du serveur - Serveurs AI et cliquez sur le bouton Configurer à côté du LLM que vous souhaitez utiliser (Ollama, vLLM ou LM Studio).

• URL : Spécifiez le point de terminaison où votre serveur LLM est en cours d'exécution. Les URL par défaut sont :
  • Ollama : http://localhost:11434/api/chat
  • vLLM : http://localhost:8000/v1/chat/completions
  • LM Studio : http://localhost:1234/v1/chat/completions
• Clé API : Si votre serveur LLM nécessite une authentification, entrez la clé API ici. La plupart des serveurs locaux ne nécessitent pas cela, sauf s'ils sont spécifiquement configurés.
• Modèle : Sélectionnez le modèle capable de vision à utiliser pour l'analyse d'image. Vous devez avoir déjà téléchargé et chargé ce modèle dans votre serveur LLM. Les choix populaires incluent :
  • Modèles LLaVA (vision à usage général)
  • Qwen2-VL (hautes performances)
  • Llama 3.2 Vision (dernier de Meta)
• Température : Contrôle la créativité par rapport à l'exactitude des réponses (0.0-1.0). Des valeurs plus basses (0.3-0.4) produisent des descriptions plus factuelles et cohérentes. Des valeurs plus élevées (0.6-0.8) génèrent des réponses plus variées et créatives. Recommandé : 0.4 pour l'analyse des caméras de sécurité.
• Max Tokens : Nombre maximum de mots/tokens dans la réponse de l'IA. Des valeurs plus élevées permettent des descriptions plus détaillées mais prennent plus de temps à générer. Recommandé : 300-500 pour une analyse d'image détaillée, 150-250 pour des descriptions brèves.
• top_p : Contrôle la diversité des réponses en limitant la sélection de vocabulaire (0.0-1.0). Des valeurs plus basses utilisent des mots plus courants, des valeurs plus élevées permettent un vocabulaire plus varié. Recommandé : 0.9 pour un bon équilibre entre précision et langage naturel.
• top_k : Limite le modèle à choisir parmi les K mots suivants les plus probables. Des valeurs plus basses (20-40) produisent des réponses plus ciblées, des valeurs plus élevées (80-100) permettent plus de variété. Recommandé : 50 pour des descriptions d'images fiables.

Pour configurer la LPR (ANPR ou Reconnaissance de Plaques d'Immatriculation) dans Agent DVR, allez dans Paramètres du Serveur - Paramètres IA et saisissez les détails sous Plate Recognizer. Inscrivez-vous pour un essai gratuit sur Plate Recognizer. Aucune carte de crédit requise.

• URL : Saisissez l'URL du service. Par défaut, il s'agit de "https://api.platerecognizer.com/v1/plate-reader/", ou utilisez votre propre serveur si vous hébergez votre propre instance.
• Token : Après vous être inscrit sur Plate Recognizer, rendez-vous sur la page de compte et copiez le jeton API.
• Régions : Laissez vide pour la valeur par défaut ou saisissez une liste CSV de régions.
• Config : Saisissez des valeurs de configuration supplémentaires à partir de la documentation si nécessaire.