Google Coral USB in Homeassistant VM einbinden und mit Frigate nutzen

Habe auf meiner DXP4800Pro unter UGAS in einer VM Homeassistant installiert, Frigate habe ich in HA als Add-On.
Das Einbinden der Kameras hat gut funktioniert, die Erkennung von Personen usw. funktioniert gut.
Der Coral USB Stick steckt in der USB3.0 Buchse am der Rückseite und ist wie folgt an die VM weitergegeben.

This image is exclusive to our members!
Please log in or register for free to view graphics and attachments.

Das ist die Frigate Konfiguration

mqtt:
host: http://192.168.1.238
# Optional: port (default: shown below)
port: 1883
user: mqtt_frigate
password: XXXX
detectors:
coral:
type: edgetpu
device: usb
cameras:
camera_Balkon_Schlafzimmer_Dahua: # <------ Name the camera
enabled: true
ffmpeg:
inputs:
- path: rtsp://frigate_user:xxxx@192.168.1.90/cam/realmonitor?channel=1&subtype=1 # <----- The stream you want to use for detection
roles:
- detect
- path: rtsp://frigate_user:xxxx@192.168.1.90/cam/realmonitor?channel=1&subtype=0 # <----- The stream you want to use for detection
roles:
- record
detect:
enabled: true # <---- disable detection until you have a working camera feed
width: 704
height: 576
fps: 4

record:
enabled: true
retain:
days: 7
mode: motion
snapshots:
enabled: true
retain:
default: 14

detect:
enabled: true
version: 0.16-0
semantic_search:
enabled: true
model_size: small
face_recognition:
enabled: true
model_size: small
lpr:
enabled: true
classification:
bird:
enabled: true

leider läuft das Video dann nicht mehr, wenn ich das in der Konfiguration lösche geht das Video wieder.

detectors:
coral:
type: edgetpu
device: usb

Ich würde mich freuen, wenn mir jemant Tipps geben kann was falsch ist.

Ich konnte das Problem lösen.

Die weitergabe des Coral Beschleunigers über USB funktioniert nicht stabil. Nach einem Neustart ist die Konfiguration aft weg und dann funktioniert es nicht mehr.

Die Lösung war, das ich in der Konfigurationsdatei der VM den USB Port per Passthrough durchgereicht habe.

  <hostdev mode='subsystem' type='usb' managed='yes'>
    <source>
      <address bus='002' device='002'/>
    </source>
  </hostdev>

Jetzt läuft die Detection über die Google Coral TPU stabil. Im moment machen sie AI Erkennung von 3 Kamera Streams.

Schön wäre noch wenn man so auch die GPU oder den PCI-Bus ( oder M2) an die VM durchreichen könnte.
Dann könnte man unter Frigate die GPU für Hardware Acceleration Video Decoding nutzen oder in den M2 Slot einen Hailo-8 oder Dual Coral TPU verwenden.
Leider geht das nicht, da Ugreen es nicht in UGOS Pro implementiert hat. Auf meine Feature Anfrage bei Ugreen haben sie mir geschrieben, dass das Thema derzeit nicht priorisiert ist und nicht auf der Roadmap steht.

Schreibt bitte alle Ugreen an um bittet um Integration dvon GPU- und PCI-Passthrough.

Habe aktuell 7 Kameras integriert, leider ist Frigate überlastet und die Erkennung funktioniert nicht mehr stabil.