Hohe Load mit Kernel 4.9.76-rt60

[nicolaiB]

Hallo zusammen,

wir beobachten auf allen RevPi Core 3 eine erhöhte Load von ~ 4 mit dem Kernel 4.9.76-rt6. Mit Kernel 4.4.50-rt66-v7+ lag die Load noch etwa bei 2.

Die CPUs, das Netzwerk und auch der IO-Zugriff ist auf allen RevPi's sehr gering, sodass "echte" Last ausgeschlossen werden kann. Auf allen Geräten ist die selbe Software installiert und konfiguriert (via automatischem Konfigurationsmanagement).

Hier ein kurzer stichprobenartiger Auszug:

• Kernel: 4.9.76-rt60-v7+ Load: 4.32 4.49 4.45

• Kernel: 4.4.50-rt66-v7+ Load: 2.06 2.04 2.00

• Kernel: 4.4.50-rt66-v7+ Load: 2.07 2.02 2.00

• Kernel: 4.4.50-rt66-v7+ Load: 2.00 2.02 2.00

• Kernel: 4.9.76-rt60-v7+ Load: 4.15 4.19 4.18

• Kernel: 4.9.76-rt60-v7+ Load: 4.27 4.19 4.18

• Kernel: 4.9.76-rt60-v7+ Load: 4.23 4.19 4.13

• Kernel: 4.9.76-rt60-v7+ Load: 4.20 4.18 4.18

• Kernel: 4.9.76-rt60-v7+ Load: 4.20 4.18 4.18

Gibt es andere Betroffenen oder ist gar die Ursache bekannt?

Viele Grüße aus Berlin
Nicolai

[Mathias]

Hallo Nicolai,
der Kernel 4.9.76 wurde von uns noch nicht offiziell released. Wie bist du zu dem gekommen? Hast du den selbst mit der Kernelbakery übersetzt?
Unsere Basisplatine, aber auch der Prozessor selbst haben Komponenten die keine Interrupts liefern. Wenn man die benutzen will muss man also pollen. Deshalb gibt es Threads die über einen Timer zyklisch ablaufen und prüfen ob etwas zu tun ist. Im neuen Kernel sind das mehr als im alten.
Load ist leider ein irreführender Wert, da er nur angibt wie viele Tasks 'häufig' aktiv werden. Deshalb erzeugt ein Thread der zyklisch ein Register liest und sich dann wieder schlafen legt eine Load von 1, obwohl er weniger als 1% die CPU tatsäschlich belegt.
Beim meinem RevPi Core mit Kernel 4.9.76 liegt die load wie bei dir bei 4, der Prozessor ist aber 97-98% Idle.
Wenn ich piControl.ko nicht lade liegt load bei 0.2 und der Prozessor ist 98-99% Idle.
Ich verstehe nicht ganz warum du dir den Load-Wert ansieht, eine praktische Relevanz hat er aus meiner Sicht nicht.
Gruß
Mathias

[nicolaiB]

Hallo Matthias,

der Kernel kam über die normalen Updatekanäle ohne manuelles Zutun. Kann es sein, dass die Updates zusammen mit den neulich fälschlicherweise veröffentlichten Stretch Paketen kam?

Warum Load: Auf klassischen Systemen ist die Load ein brauchbarer Indikator um zusammen mit anderen Metriken wie I/O und Speicherauslastung eventuell auftretende Unstimmigkeiten früh zu erkennen. Da wir aktuell >100 RevPis im Feld haben und die Anzahl stetig zunimmt, automatisieren wir soviel wie möglich.

Btw: Was macht eigentlich das Stretch Release? Ich muss wieder 50 Geräte fertig machen und würde ungerne noch bei Jessie bleiben, da Upgrades im Feld immer heikel sind (gerade wenn >800 km dazwischen liegen ...). Seit dem 8.11 Release von vor zwei Tagen wird es ja nun auch recht Sicher keine weiteren Sicherheitsaktualisierungen für Jessie geben.

Gruß Nicolai

[nicolaiB]

Ich habe mal weiter nachgeforscht, die Pakete wurden am 14.04.2018 verteilt:

Code: Select all

Start-Date: 2018-04-14  21:37:04
Commandline: apt dist-upgrade
Upgrade: apache2-bin:armhf (2.4.10-10+deb8u11, 2.4.10-10+deb8u12), raspberrypi-kernel:armhf (9.20170920-1+revpi1, 9.20180409-4.9.76+revpi1), pimodbus-master:armhf (1.0.2-1, 1.0.4-1), openssl:armhf (1.0.1t-1+deb8u7, 1.0.1t-1+deb8u8), piserial:armhf (1.4.0-2, 1.4.1-1), poppler-utils:armhf (0.26.5-2+deb8u3, 0.26.5-2+deb8u4), libicu52:armhf (52.1-8+deb8u6, 52.1-8+deb8u7), apache2-utils:armhf (2.4.10-10+deb8u11, 2.4.10-10+deb8u12), apache2-data:armhf (2.4.10-10+deb8u11, 2.4.10-10+deb8u12), libpoppler46:armhf (0.26.5-2+deb8u3, 0.26.5-2+deb8u4), apache2:armhf (2.4.10-10+deb8u11, 2.4.10-10+deb8u12), libssl1.0.0:armhf (1.0.1t-1+deb8u7, 1.0.1t-1+deb8u8), revpi-webstatus:armhf (1.2.2-2, 1.2.4-1)
End-Date: 2018-04-14  21:39:48

Versucht man den Kernel neu zu installieren, schlägt dies fehl, da die Pakete (logischerweise) fehlen:

Code: Select all

root@c83ea7002681:/var/log/apt# aptitude reinstall raspberrypi-kernel
The following packages will be REINSTALLED:
  raspberrypi-kernel 
0 packages upgraded, 0 newly installed, 1 reinstalled, 0 to remove and 14 not upgraded.
Need to get 0 B of archives. After unpacking 0 B will be used.
E: Can't find a source to download version '9.20180409-4.9.76+revpi1' of 'raspberrypi-kernel:armhf'
E: Can't find a source to download version '9.20180409-4.9.76+revpi1' of 'raspberrypi-kernel:armhf'
E: Internal error: couldn't generate list of packages to download