Historische Daten für Kostal-PV-Anlagen importieren

[ledermann]

In einer anderen Diskussion ist mit @StevieC121176 die Idee entstanden, historische Daten aus einer Kostal-PV-Anlage zu importieren:

2. Neues Tool namens "Kostas-Importer", das analog zum SENEC-Importer historische Daten einliest und somit in SOLECTRUS verfügbar macht. Das wäre unabhängig vom Amortisationsrechner sinnvoll, z.B. für die Top10 und die bereits jetzt mögliche Ersparnis- und Kosten-Berechnung. @StevieC121176: Wenn Du Interesse hast, kannst Du mir ja mal eine Beispiel-CSV zuschicken. Wenn das ähnlich aufgebaut ist wie bei SENEC, dürfte ein Import-Tool ohne großen Aufwand möglich sein.

Originally posted by @ledermann in #2105 (comment)

Gerne, hier mal eine Beispiel CSV mit 2 Tagen.

log-7.csv

Zu 2. sehe ich bei Kostal ein Problem wenn man wie in meinem Fall 2 oder mehr WR schwarmverschaltet. Es werden in den CSV nur die Daten des jeweiligen WR gespeichert, keine Gesamtdaten aller verschalteter WR. Das passiert im Kostal Smartmeter, welches natürlich keinen CSV Export hat bzw im Kostal Solar Portal.

Daher denke ich wäre 1. die bessere Alternative.

Originally posted by @StevieC121176 in #2105 (comment)

Aus dem Solarportal kann man sich Wochenweise CSV Daten herunterladen:

chart-2.csv

Originally posted by @StevieC121176 in #2105 (reply in thread)

Ich habe mir nochmal das Kostal Solar Portal näher angeschaut. Also da kann man auch bei komplexen Anlagen mit mehreren WR und Batterien CSV Dateien mit Tages, Wochen, Monats und Jahresübersichten herunterladen, in denen schon alle WR zusammengerechnet sind. Dann würde ein Kostal Importer wahrscheinlich doch funktionieren. Leider kenne ich die vom Senec importer CSV Dateien nicht.

Originally posted by @StevieC121176 in #2105 (reply in thread)

[holiday-sunrise]

Was ist das genaue csv Format des Senec importers ?

Oder sollte dieser als Beispiel gesehen werden.

[ledermann]

Mit den CSV-Dateien lässt sich etwas anfangen. Ich stelle gerade fest, dass es im Kostal-Portal auch öffentlich sichtbare Referenzanlagen gibt, sodass man dort den CSV-Download testen kann:
https://www.kostal-solar-portal.com

Etwas seltsam finde ich, dass in den CSV-Dateien kein Wert zur Erzeugung enthalten ist, sondern nur:

• Einspeisung
• Batterieladung
• Netzbezug
• Batterieentladung
• Direktverbrauch
• Hausverbrauch

Na ja, die Erzeugung lässt sich wohl errechnen aus Einspeisung + Batterieladung + Direktverbrauch.
Die CSV-Dateien für Wochen enthalten Messwerte im 10-Minuten-Abstand, das würde genügen.

Noch interessanter als der CSV-Download ist übrigens, dass es wohl auch eine GraphQL-API von Kostal gibt. Würde man die anzapfen, könnte man sich den manuellen Download der CSV-Dateien sparen.

Insgesamt denke ich, dass ein Kostal-Importer, der auf CSV basiert, analog zum SENEC-Importer realisierbar wäre. Allerdings: Aufwand ist es trotzdem und der Nutzen für mich persönlich (als SENEC-User) ist gleich null. Insofern möchte ich erst mal fragen, ob es hier einen Kostal-User gibt, der sich zutraut, so einen Importer zu entwickeln? Der SENEC-Importer kann als Vorlage dienen. Oder, falls ich es doch mache, gibt es jemanden, der das auch wirklich nutzen würde (@StevieC121176?) und zum Testen zur Verfügung stehen würde?
Gibt es überhaupt eine nennenswerte Zahl an Kostal-Betreibern, die auch SOLECTRUS verwenden oder zukünftig verwenden würden?

@holiday-sunrise Der SENEC-Importer definiert das CSV-Format nicht selbst, sondern liest die CSV-Dateien ein, die SENEC liefert (Beispiel). Es ist sehr einfacher Ruby-Code, der einen Schwung von CSV-Dateien einliest, und recordweise nach InfluxDB schreibt. Für Kostal wäre das anzupassen, weil die CSV-Dateien anders formatiert sind.

[StevieC121176]

Ja komisch ist das mit der fehlenden Erzeugungsleistung zumal diese in den Logs der Wechselrichter mit ausgegeben wird.

Also testen könnte ich das ganze und benutzen auch. Meine Programmierkenntnisse sind allerdings recht bescheiden, da kann ich leider nichts beisteuern.

[StevieC121176]

Es gibt etwas versteckt im Solar Portal noch andere CSV Dateien mit mehr Infos zum Downloaden, incl. Erzeugerwerte für jeden einzelnen String und alle 5 min.
Hier mal das Beispiel :
export_10335958_92092VF600009_71224315-9972-4208-89ec-fee26bbd5621.csv

[ledermann]

@StevieC121176 Sorry, für die späte Antwort. Grundsätzlich sieht das alles sehr vielversprechend aus und die Unterstützung für das Kostal-Datenformat möchte ich gerne noch ergänzen.

Zusammen mit @holiday-sunrise bin ich gerade noch am Sungrow-Format dran, da gibt es noch ein paar Haken und Ösen. Anschließend sehe ich mir die Kostal-Sache genauer an. Vielleicht kannst Du bis dahin herausfinden, welcher der verschiedenen CSV-Dateien am geeignetsten sind, insbesondere hinsichtlich der Vollständigkeit. Konkret benötigt SOLECTRUS folgende Werte, idealerweise im 5-Minuten-Takt:

• Gesamterzeugung (optional auch aufgesplittet nach Strings)
• Hausverbrauch
• Batterie-Beladung
• Batterie-Entnahme
• Batterie-Ladestand
• Netzbezug
• Netzeinspeisung
• Wallbox, sofern vorhanden
• (Gehäuse-)Temperatur, sofern vorhanden

Insbesondere die letzte CSV-Datei von Dir enthält viele Werte und Abkürzungen, die ich nicht eindeutig zuordnen kann. Vielleicht fällt Dir das leichter.

[holiday-sunrise]

Kann da gern helfen

[StevieC121176]

Schaue ich mir sehr gern an. Ich denke die csv aus dem KOSTAL Solar Portal sind am besten geeignet. Gerade wenn man mehr WR schwarmverschaltet hat.
Gehäusetemperatur gibts bei den KOSTAL WR nicht. Die Temperatur die ich mir anzeigen lasse ist die von meinem BYD Speicher, die kann man per APi abgreifen und soweit ich gesehen hab auch mit der BYD Software exportieren.
Ich schau mir das bei KOSTAL an, welche Werte in den csv Dateien enthalten sind und welche am geeignetsten ist.

[StevieC121176]

So, ich hab mir die CSV angeschaut. Am besten geeignet finde ich die Dateien, die man im Solarportal unter Geräte downloaden kann.Sie bieten Daten pro Datei für 14 Tage im 5 Minuten Intervall. Die einzelnen Spalten sind auch bei allen Teilgeräten gleich (KSEM, WR). Als Beispiel hänge ich mal 3 Dateien unten an, eine ist vom Kostal Smartmeter und die anderen jeweils von den Wechselrichtern.
PV Erzeugung werden von allen Strings geliefert und müssten dann von jedem WR summiert werden.
Ist an einem Wechselrichter die Batterie angeschlossen ist der 3. String immer Beladung (-) und Entladung der Batterie

Gesamterzeugung = DC0/P + DC1/P + DC2/P vom WR1 (ohne Batterie) + DC0/P + DC1/P WR2 (mit Akku) bzw. + DC0/P + DC1/P + DC2/P WR2 (ohne Akku

Batterie Beladung = DC2/P (WR mit Akku) negativer Wert
Batterie Entladung = DC2/P (WR mit Akku) Positiver Wert

Batterie Ladestand = BatSoc

Hausverbrauch: schwierig und etwas undurchsichtig. Wenn man keine Kostal Wallbox hat wird der Verbrauch zum Laden des Autos mit zum Hausverbrauch gezählt (man bekommt hier aber nicht heraus was tatsächlich geladen wird und was andere Verbraucher sind).
Folgende Werte müssten damit zusammenhängen: Hausverbrauch = ACHomeBat/P + ACHomePV/P + ACHomeGrid/P . Allerdings sind hier teilweise alle Werte auf 0 Was wiederum komisch ist, da ja immer Hausverbrauch vorhanden ist. Ein anderer Wert wäre noch ACHome0/P und ACHomeOwnConsum0/P (Eigenverbrauch?), woraus sich evtl. Einspeisung und Netzbezug ableiten lassen.

export_10335956_91109TL700002_bd4e0a2d-7aba-4bb9-9528-7baddbd41680.csv
export_306521.0100_74891362_ab510c75-ab5a-4bf4-8335-13bfbdb9ba8b.csv
export_10335958_92092VF600009_fc235a08-37b2-48ab-b0bc-899f2ee9738b.csv

[ledermann]

Sehr fein, vielen Dank! Ich werde mir das in der nächsten Zeit genauer ansehen und den csv-importer erweitern.

[StevieC121176]

Ich habe vereinzelt einige Datenlücken im System. Ist es möglich diese händisch zu füllen bzw. wird der Importer diese Lücken füllen können? Oder werden nur komplette Tage importiert und die vorhandenen Daten überschrieben?

[ledermann]

Zur Implementierung des Kostal-Datenimports bin ich noch nicht gekommen. Aber es wird grundsätzlich so sein, dass der Import solche Lücken füllen kann, ohne dass etwas Besonderes beachtet werden muss. Der Importer überschreibt bzw. ergänzt die Daten in der InfluxDB.
So ist es zumindest mit den SENEC-Daten und das funktioniert gut.

[StevieC121176]

Ok danke, das hört sich gut an.

[StevieC121176]

Ich habe mir nochmal genauer die Log.CSV Dateien angeschaut, die lokal auf den Wechselrichtern gespeichert werden. Diese haben Vorteile gegenüber den Versionen aus dem Portal:

• Lokale gespeichert auf dem Wechselrichter ohne Cloud Lösung
• es gibt eine Doku von Kostal der Werte (sh. Anhang)
• Speicherung ab Inbetriebnahme der Anlage
• auch Temperatur der Batterie wird gespeichert
• Werte alle 5 Minuten
• pro csv kann man 100 Tage downloaden

die Uhrzeit wird im Unixformat angegeben https://unixzeit.com/index.php

Ich habe mal 2 Beispieldateien angehängt log-10 für den Wechselrichter mit Batterie, log-11 für den ohne Batterie. Ich denke die Leistungen der einzelnen Wechselrichter müssten zusammenaddiert werden

log-11.csv
log-10.csv

und hier die Doku:

Inhalt Logdatei Plenticore.pdf

[Robbe64]

Ich wäre definitiv auch an einem Import aus meinem Kostal System interessiert und zum testen bereit.

[StevieC121176]

Da ich ja vor kurzem einen Totalausfall meiner Speicherkarte hatte, versuche ich nun wenigstens die gröbsten Daten in die Infludb zu bekommen.
Müsste ich nicht mit http://ipAdresse:8086/ au die DB zugreifen können?

[ledermann]

Ja, aber der Docker-Container muss den Port 8086 auch freigeben. Das ist meist nicht der Fall:
https://github.com/solectrus/hosting/blob/main/guide/raspberry-pi/docker-compose.yml#L62-L64

[StevieC121176]

Hat funktioniert, vielen Dank