Skip to content

baefthde/Avatar-beta3

Folders and files

NameName
Last commit message
Last commit date

Latest commit

ย 

History

12 Commits
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 

Repository files navigation

๐Ÿค– Avatar-System fรผr OpenWebUI - Vollstรคndiges Paket

๐Ÿ“ฆ Paket-Inhalt

Dieses ZIP-Paket enthรคlt das komplette Avatar-System fรผr OpenWebUI mit allen notwendigen Dateien:

๐ŸŽจ Frontend-Komponenten

frontend/
โ”œโ”€โ”€ src/
โ”‚   โ”œโ”€โ”€ AvatarApp.js              # Haupt-Avatar-Anwendung
โ”‚   โ”œโ”€โ”€ App.js                    # Erweiterte Haupt-App
โ”‚   โ””โ”€โ”€ components/
โ”‚       โ”œโ”€โ”€ AvatarEmotion.js      # Emotionsanalyse & TTS
โ”‚       โ””โ”€โ”€ OpenWebUIBridge.js    # WebSocket-Integration
โ”œโ”€โ”€ package.json                  # Node.js Dependencies
โ””โ”€โ”€ .env                          # Frontend-Konfiguration

๐Ÿ”ง Backend-Services

backend/
โ”œโ”€โ”€ server.py                     # FastAPI-Hauptserver
โ”œโ”€โ”€ avatar_service.py             # WebSocket-Avatar-Service
โ”œโ”€โ”€ openwebui_plugin.py           # OpenWebUI-Integration
โ”œโ”€โ”€ requirements.txt              # Python-Dependencies
โ””โ”€โ”€ .env                          # Backend-Konfiguration

๐Ÿ“š Dokumentation & Integration

โ”œโ”€โ”€ AVATAR_INSTALLATION.md        # Detaillierte Installationsanleitung
โ”œโ”€โ”€ OPENWEBUI_AVATAR_PLUGIN.py    # Plugin fรผr OpenWebUI (direkt kopierbar)
โ””โ”€โ”€ README.md                     # Diese Datei

๐Ÿš€ Schnellstart

1. Dateien Entpacken

unzip avatar_system_complete.zip -d /your/project/folder
cd /your/project/folder

2. Backend Setup

cd backend
pip install -r requirements.txt
python server.py

3. Frontend Setup

cd frontend
yarn install  # oder npm install
yarn start    # oder npm start

4. OpenWebUI Plugin Installieren

  1. ร–ffnen Sie OpenWebUI โ†’ Admin Panel โ†’ Functions
  2. Kopieren Sie den Inhalt von OPENWEBUI_AVATAR_PLUGIN.py
  3. Erstellen Sie eine neue Funktion und fรผgen Sie den Code ein
  4. Konfigurieren Sie die Valves (WebSocket-URL etc.)

๐ŸŽฏ System-Features

โœ… Avatar-Anpassung

  • 2D/3D umschaltbar - Vollstรคndige Kontrolle รผber Avatar-Typ
  • Erscheinungsbild: Geschlecht, Hautfarbe, Haarfarbe, Frisur
  • Kleidung: Oberteile, Hosen, Schuhe mit Farbauswahl
  • Kรถrperform: Verschiedene Kรถrpertypen und Gesichtsformen

โœ… KI-Integration

  • Emotionsanalyse: 8+ Emotionen (Freude, Trauer, Wut, รœberraschung, etc.)
  • Mehrsprachig: Deutsch und Englisch vollstรคndig unterstรผtzt
  • Text-to-Speech: Automatische Lippensynchronisation
  • Kontextuelle Reaktionen: Avatar reagiert auf Chat-Inhalte

โœ… OpenWebUI Integration

  • Echtzeit-WebSocket: Nahtlose Kommunikation
  • Chat-Event-Processing: Automatische Emotionserkennung
  • Voice-Output-Sync: Mundbewegung bei Sprachausgabe
  • Multi-Avatar-Management: Mehrere Avatare pro Nutzer

๐Ÿ”ง Technische Details

Architektur

โ”Œโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”    โ”Œโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”    โ”Œโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”
โ”‚   OpenWebUI     โ”‚โ”€โ”€โ”€โ”€โ”‚  Integration     โ”‚โ”€โ”€โ”€โ”€โ”‚   Avatar-App    โ”‚
โ”‚                 โ”‚    โ”‚  Plugin/Bridge   โ”‚    โ”‚                 โ”‚
โ”‚ โ€ข Chat Events   โ”‚    โ”‚ โ€ข WebSocket      โ”‚    โ”‚ โ€ข 3D Rendering  โ”‚
โ”‚ โ€ข Voice Output  โ”‚    โ”‚ โ€ข Event Relay    โ”‚    โ”‚ โ€ข Anpassungs-UI โ”‚
โ”‚ โ€ข User Context  โ”‚    โ”‚ โ€ข Embed Handler  โ”‚    โ”‚ โ€ข AI Integration โ”‚
โ””โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”˜    โ””โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”˜    โ””โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”˜

Technologie-Stack

  • Frontend: React 19, Three.js, React Three Fiber, Tailwind CSS
  • Backend: FastAPI, WebSockets, Motor (MongoDB), Python 3.11+
  • Integration: OpenWebUI Pipe Functions, Socket.io-Client
  • 3D-Rendering: Three.js, WebGL, Canvas API
  • Styling: OpenWebUI-kompatibles Design-System

API-Endpunkte

# Avatar-Management
GET    /api/avatars           # Alle Avatare abrufen
POST   /api/avatars           # Neuen Avatar erstellen
PUT    /api/avatars/{id}      # Avatar aktualisieren
DELETE /api/avatars/{id}      # Avatar lรถschen

# Emotionsanalyse
POST   /api/analyze-emotion   # Text-Emotion analysieren
POST   /api/chat/message      # Chat-Nachricht verarbeiten

# System
GET    /api/health            # System-Status
WS     /api/ws/{id}          # WebSocket-Verbindung

๐Ÿ› ๏ธ Konfiguration

Environment Variables

Frontend (.env):

REACT_APP_BACKEND_URL=http://localhost:8001

Backend (.env):

MONGO_URL=mongodb://localhost:27017
DB_NAME=avatar_system
CORS_ORIGINS=http://localhost:3000,http://localhost:8080

OpenWebUI Plugin Konfiguration

class Valves:
    AVATAR_SERVER_URL = "ws://localhost:8765"
    ENABLE_EMOTION_ANALYSIS = True
    ENABLE_VOICE_SYNC = True
    DEFAULT_LANGUAGE = "de"

๐ŸŽฎ Verwendung

1. Avatar erstellen

  1. Gehen Sie zu http://localhost:3000/avatar
  2. Wรคhlen Sie 2D oder 3D
  3. Passen Sie Erscheinungsbild an
  4. Speichern Sie den Avatar

2. OpenWebUI verwenden

  1. Aktivieren Sie das Avatar-Plugin
  2. Starten Sie einen Chat
  3. Avatar reagiert automatisch auf Emotionen

3. Chat-Befehle (Optional)

/avatar status    # System-Status
/avatar register  # Avatar registrieren
/avatar help      # Hilfe anzeigen

๐Ÿ” Testing & Debugging

API-Tests

# Emotionsanalyse testen
curl -X POST "http://localhost:8001/api/analyze-emotion" \
  -H "Content-Type: application/json" \
  -d '{"text": "Das ist fantastisch!", "language": "de"}'

# System-Health prรผfen
curl http://localhost:8001/api/health

WebSocket-Test

const ws = new WebSocket('ws://localhost:8765');
ws.onopen = () => {
    ws.send(JSON.stringify({
        type: 'chat_message',
        message: 'Hello Avatar!',
        language: 'de'
    }));
};

๐Ÿ“– Weitere Ressourcen

  • Detaillierte Installation: AVATAR_INSTALLATION.md
  • OpenWebUI Plugin: OPENWEBUI_AVATAR_PLUGIN.py
  • Live-Demo: http://localhost:3000 (nach Installation)

๐Ÿ› Troubleshooting

Hรคufige Probleme

WebSocket-Verbindung fehlschlรคgt:

  • รœberprรผfen Sie Backend-Status: curl http://localhost:8001/api/health
  • Avatar-Server-Logs: tail -f backend_logs.log

Avatar wird nicht angezeigt:

  • WebGL aktiviert? Browser-Konsole prรผfen
  • 3D-Hardware-Beschleunigung aktiviert?

OpenWebUI Plugin reagiert nicht:

  • Plugin-Konfiguration (Valves) รผberprรผfen
  • WebSocket-URL korrekt: ws://localhost:8765

๐Ÿ“ Lizenz & Autor

Entwickelt von: E1 - Emergent AI System
Version: 1.0
Datum: September 2024

Dieses Avatar-System wurde als vollstรคndige Lรถsung fรผr OpenWebUI entwickelt und bietet professionelle Avatar-Integration mit modernster Technologie.


๐ŸŽ‰ Viel Erfolg mit Ihrem Avatar-System!

Bei Fragen oder Problemen konsultieren Sie die AVATAR_INSTALLATION.md oder testen Sie die API-Endpunkte direkt.

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors