Logfiles abrufen und durchsuchen

[ledermann]

Nerd-Warnung, das Folgende richtetet sich nur an Kommandozeilen-Junkies :)

In solectrus/solectrus#2305 hat @hambue demonstriert, wie man das Logfile des Speichers nach bestimmten Texten durchsuchen und so beispielsweise den Zeitpunkt von Firmware-Updates im Nachhinein herausfinden kann.

Hier sein Vorschlag:

grep -rh "\[I|Settings\] MCU firmware" Logfiles | sort | uniq --skip-fields=2

Damit das funktioniert, muss man vorher aber sämtliche Logfiles aus dem Speicher herunterladen. Hierzu habe ich gerade ein kleines Script gebastelt (getestet auf MacOS und Raspberry Pi):

#!/bin/bash

# Define start and end dates
start_date="2023-10-01"
end_date=$(date +"%Y-%m-%d")

# Define IP address of SENEC
senec_ip="192.168.178.29"

########## THEY DON'T CHANGE ANYTHING HERE (UNLESS YOU KNOW WHAT YOU'RE DOING) #############################

# Initialize current_date to start_date
current_date=$start_date

# Loop through each day between start and end dates
while [[ "$current_date" < "$end_date" ]] || [[ "$current_date" == "$end_date" ]]; do
  year=$(echo $current_date | awk -F- '{print $1}')
  month=$(echo $current_date | awk -F- '{print $2}')
  day=$(echo $current_date | awk -F- '{print $3}')

  # Create target folder (grouped by year and month)
  mkdir -p "logs/$year/$month"

  url="https://$senec_ip//Log/$year/$month/$day.log"
  filename="logs/$year/$month/$day.log"
  echo "Downloading from $url"

  # Check the operating system and use the appropriate commands
  if [[ $(uname) == "Darwin" ]]; then # Mac OS X
    # Download
    curl -Ssk -o "$filename" "$url"
    # Increment date
    current_date=$(date -j -v+1d -f "%Y-%m-%d" "$current_date" +"%Y-%m-%d")
  else # Linux
    # Download
    wget --no-verbose --no-check-certificate -O "$filename" "$url"
    # Increment date
    current_date=$(date -d "$current_date + 1 day" +"%Y-%m-%d")
  fi
done

ACHTUNG:

• Funktioniert nur mit neuer Firmware, bei der der Server über https erreichbar ist
• Funktioniert außerdem nur mit MCU 826, wo ein doppelter Slash nötig ist //Log

UPDATE 2023/10/07

Das Script steht ab sofort in einem eigene Repository zur Verfügung:
https://github.com/solectrus/senec-log-downloader

[hambue]

Ja, die Logfiles benötigt man natürlich. Das hätte ich wahrscheinlich erwähnen sollen. Dafür läuft hier bei mir schon länger ein Skript, sodass ich nicht mehr daran dachte.

Von Interesse könnte übrigens auch sein, wann ein Speicher in den Konditionierungsmodus wechselte:
grep -rh "Changed operating mode" 2023/ | sort

Am besten man scrollt ein paar Logfiles mal durch und sucht sich Begriffe raus, nach denen es sich zu filtern lohnt. Die Kommandozeilenprogramme sed und awk sind oft auch sehr hilfreich im Anschluss an die Verwendung von grep, um sich beispielsweise auf einzelner Felder einer Zeile zu konzentrieren.

[Zeppelin-PV]

Und wie beginne ich das von ganz vorne ?
was muss ich eingeben um an die LogFiles zu kommen ?
Bin leider kein Profi nur Nutzer

[ledermann]

Hm, für solche Sachen muss man sich schon etwas besser mit der Materie auskennen. Ich habe mein obiges Script gerade noch etwas angepasst, sodass es auch auf dem Raspi läuft.

Ganz kurz die Anleitung:

# Einloggen
ssh pi@[YOUR-RASPI-IP-ADDRESS]

# Script-Ordner anlegen
mkdir senec-log-downloader
cd senec-log-downloader

# Script mit Texteditor anlegen
pico download.sh 
# Jetzt obiges Script per Copy/Paste einfügen, 
# Parameter anpassen (Start, Ende, IP) und mit Ctrl+X verlassen, dabei speichern

# Script ausführbar machen
chmod +x download.sh 

# Script ausführen, kann dauern. Die Logfiles landen dadurch im Ordner "logs"
./download.sh 

Dann die grep-Befehle je nach Bedarf und Interesse auf dem logs-Ordner ausführen, z.B.

grep -rh "Changed operating mode" logs | sort

oder

grep -rh "\[I|Settings\] MCU firmware" logs | sort | uniq --skip-fields=2

Wenn es nicht klappen sollte, bitte selber recherchieren oder eine KI fragen :-)

[hambue]

ACHTUNG: Funktioniert nur mit alter Firmware Revision MCU 3824. Mit neuerer Firmware sind die Logs hinter einem Passwortschutz verborgen.

Das ist ja ärgerlich. Ich bin davon ausgegangen, dass man auch hier einfach nur auf https umstellen muss.

[Zeppelin-PV]

@ledermann - zunächst herzlichen Dank für Deine Unterstützung
der Script läuft, aber der Senec antwortet mit 404 kein Zugriff

ich befürchte demnächst noch Schlimmeres
die Ankündigung von SENEC für ein neues Update liest sich beunruhigend
ist es möglich dass die sogar den Solectrus Zugriff stoppen können ?

[ledermann]

"404 kein Zugriff"? Prüf mal, ob sich das Logfile im Browser abrufen lässt: http://[ip]/log/2023/08/30.log

Falls das ebenfalls nicht klappt, ist das SENEC-Update vermutlich bei dir bereits installiert. Der Abruf der Logfiles erfolgt dann nicht nur per https, sondern ist auch passwortgeschützt, d.h. obiges Script funktioniert nicht mehr.

Wie man SOLECTRUS nach dem SENEC-Update weiter betreibt, habe ich hier aufgeschrieben:

• https://solectrus.de/blog/2023-08-18-unterstuetzung-fuer-neue-senec-firmware/
• https://github.com/orgs/solectrus/discussions/2310

[max-horvath]

Kurzer Hinweis, mit der neueren Firmware ist der Abruf der Logfiles mittels des Schemas https://[ip]/Log/2023/09/11.log möglich ...

[ledermann]

Völlig richtig, mein Script oben war bereits veraltet, danke für den Hinweis! Ich habe es gerade angepasst, sodass es mit https läuft, also auf SENEC-Speicher mit neuer Firmware.

[hambue]

Mit dem Update auf MCU 826 funktioniert zumindest bei mir dieser Zugriff auf die Logs nicht mehr. Mal gespannt, ob sich ein anderer Weg findet oder ob ähnlich der Vars.html und Display.html nun auch der Logzugriff komplett unterbunden wird.

[ledermann]

Das klingt überhaupt nicht gut. Bei mir ist noch 825 aktiv. Ich prüfe das, sobald das Update auch bei mir installiert ist.

[max-horvath]

Wurde so leider (nicht allen) Senec-Kunden angekündigt. Rollout der neuen Firmware ab heute ... soll natürlich nur die Datensicherheit auf ein neues Niveau bringen, ein Schelm, wer Böses dabei denkt.

[Zeppelin-PV]

danke für den Hinweis, super !
den LOG in Word kopiert und mit [E| für Error und [W| für Warnung durchsuchen, so kommt man einigen Sachen auf die Spur

[ledermann]

Update auf MCU 826 ist heute bei mir angekommen. Zugriff auf Logs und Vars ist weiterhin möglich, aber mit zwei Slashes, also https://senec-ip//Log/yyyy/mm/dd.log und https://senec//Vars.html.
Script oben habe ich angepasst, sodass es weiterhin funktioniert.

[hambue]

Interessant. Danke für die Info. Was bezweckt der zweite Slash hier? Wüsste nicht, dass ich so etwas in einer URL schonmal gesehen habe.

Edit: Auf Stackoverflow lese ich gerade ein paar Diskussionen zu dieser Praxis. Kann mir gut vorstellen, dass nach einem der nächsten Updates der interne Server des Speichers nicht mehr auf URLs mit Doppel-Slashs antwortet.

[ledermann]

Hintergrund ist möglicherweise "Security through obscurity" ;-)

Vermutlich wird das ein Hase-Igel-Rennen und früher oder später sind wir bei:

https://senec-ip////////////////////////////////////////////////////////////////////////////////Log/yyyy/mm/dd.log

Funktioniert übrigens tatsächlich bereits heute (!) - es müssen also mindestens zwei Slashes sein, nicht genau zwei.

[halmich]

Ich hab mir nun alle Logs mal in eine Text-Datei geladen (von Juni 21 bis Feb 24 - 330k Zeilen ^^^), bzw. 40 Mio Bytes (ASCII).
Da lässt sich nun schön suchen.
Ich hatte übrigens diesen Treffer, zum Glück nur einmal:
[I|External Charge Control] Start external control mode
[I|External Charge Control] OpenApi: Set export limit to 1W
[I|External Charge Control] OpenApi: export limit activated

Sucht doch mal nach "export limit" oder nach "OpenApi"

[Zeppelin-PV]

tolles Tool, wird von mir oft eingesetzt
gibt es auch einen count Befehl ? z.B. wie oft trat der Fehler "Communication error" auf, etc.
bekomme diesen Freitag Besuch von SENEC, möchte denen ein paar aussagekräftige Listen vorlegen

• Danke schon mal im Voraus

[ledermann]

Mit wc ("word count") lassen sich auch Zeilen zählen. Beispiel:

$ grep -rhi  "Communication error" logs | sort | wc -l
249

[Zeppelin-PV]

Super DANKE !!!

admin@raspberrypi:~ $ grep -rhi "Communication error" logs | sort | wc -l
581

habe diesen Befehl zusammen gebastelt
grep -rh -c -H "Communication error" logs | sort
... auch nicht schlecht

Dein Befehl ist aber genau das was ich brauche