Vor ein paar Tagen hat mich jemand gefragt, ob ich das Script nicht öffentlich machen könnte und ich habe das zum Anlass genommen, da mal einige Dinge zu verschönern, damit auch andere Menschen damit etwas anfangen können.

Zur Installation des Scripts bitte in die README.md des Projekts schauen.

Konfiguration

In der Konfigurationsdatei ~/.config/hgh/hgh.json gibt es einen Abschnitt für allgemeine Einstellungen und dann je einen Abschnitt pro Website, die mit hgh verwaltet werden soll.

Hier ist hinterlegt, welcher Editor verwendet werden soll, wo die Basisverzeichnisse der Websites liegen, wo die content-Verzeichnisse, welcher Benutzernamen für rsync verwendet werden soll, usw.

Ein Alias macht das Leben einfacher

Damit ich nicht dauernd hgh.py --site blog tippen muss, habe ich für jede meiner Websites in der .bashrc einen Alias erstellt:

alias hgb=`hgh.py --site blog`
alias hgw=`hgh.py --site wiki`

Somit kann ich z. B. mittels hgb -cdb ins Basisverzeichnis des Blogs wechseln.

Was der Hugo Helper (hgh) für mich macht

Allgemeine Infos

Mit --help gibt es eine hoffentlich hilfreiche Hilfe. 😁

Mit hgh.py --sites bekomme ich eine Liste aller Websites und der zugehörigen Basisverzeichnisse. Mit --printconfig wird die ganze Konfiguration ausgegeben.

Verzeichniswechsel

Mit -cdb kann ich ins Basisverzeichnis einer Website wechseln, mit -cdc ins normale Content-Verzeichnis und mit -cdl in ein alternatives Content-Verzeichnis.

Letzeres nutze ich für verschiedene Blogbeiträge im Entwurfsmodus. Denn mein Blog besteht aus mehreren tausend Blogbeiträgen und das Bauen dauert sehr lange. Zum Schreiben von längeren Blogbeiträgen nutze ich dieses Verzeichnis und das Bauen dauert dann nur wenige Sekunden.

Kommentar-Datei

Für Kommentare im Blog nutze mittlerweile eine eigene Implementation, bei der die Kommentare im Page Bundle innerhalb der Datei comments.json stehen.

Mit hgh.py --site blog --create-comments-file wird im aktuellen Verzeichnis eine comments.json-Datei erstellt, die bereits ein Skelett für einen Kommentar enthält. Dazu wird die Info ausgegeben, dass man noch im Front Matter jsoncomments: true eintragen muss. Da es hier im Blog nur sehr selten Kommentare gibt, vergesse ich das sonst und will auch nicht jedes Mal nachschauen, wie die Syntax eines Kommentars ist.

Neuer Blogbeitrag

Diese Funktion nutze ich nur für meinen Blog und kann mit einem kurzen hgb --create "Ein neuer Blogbeitrag bla blub" gleich mehrere Aufgaben automatisieren:

• benötigte Verzeichnisse erstellen
• Slug aus dem angegebenen Titel erzeugen
• Page Bundle erstellen
• Markdown-Datei für den Blogbeitrag erstellen und mit einem Template befüllen

Details dazu, was alles gemacht wird, gibt es in diesem Blogbeitrag.

In der aktuellen Version des Scripts kann ich auch noch mit --template angeben, welches Template verwendet werden soll.

Mit hgh.py --list-templates wird eine Liste aller vorhandenen Templates angezeigt.

Wer das benutzen will, muss den Code dafür im Script anpassen, um alle notwendigen Variablen auch zu befüllen.

Tmux

Bevor ich VSCode für die Bearbeitung meiner Websites nutzte, habe ich dafür den micro-Editor auf der Kommandozeile benutzt. Aus dieser Zeit stammt --tmux, das ein bestimmtes Layout in Tmux startet. Das habe ich aber schon länger nicht mehr verwendet und man müsste es für sich anpassen.

Lokale Vorschau einer Website

Mittels --hugo-server wird der Blog lokal gebaut und auf dem einstellbaren Port zugänglich gemacht. Für das alternative Content-Verzeichnis gibt es --hugo-server-light.

Dazu kann man noch --hugo-server-env angeben, mit dem sich einstellen lässt, welche Umgebung Hugo verwendet. Default hier ist development. Ich nutze diese Funktion, um den umfangreichen Blog testweise so zu bauen, dass nur die Blogbeiträge der letzten Monate enthalten sind, was dann statt 35 Sekunden (für den gesamten Blog) nur ca. 3 Sekunden dauert.

Tags, Kategorien und deren Häufigkeit

Was mir am Anfang bei Hugo im Vergleich zu WordPress sehr gefehlt hat, waren die Vorschläge für zu verwendende Tags und Kategorien in einem neuen Blogbeitrag.

Hierfür muss man mit dem Hugo Helper eine kleine “Datenbank” erstellen lassen. Dazu wird mit Hilfe von find und dem Tool yq je eine Liste aller bisher verwendeten Tags und Kategorien erstellt und dazu auch die Häufigkeit der Verwendung angegeben.

Diese “Datenbank” erstellt man mit hgh.py --site blog --create-tags-categories-caches und das dauert ein paar Sekunden. Im Ergebnis werden innerhalb von ~/.cache/hgh/ für jede Website zwei Dateien erzeugt:

> ls -1 .cache/hgh/
natenom.de_categories.list
natenom.de_tags.list

Ein Auszug aus den Tags:

[…]
8:F-Droid
1:FLAC
4:Facebook
1:Fahrbahn
556:Fahrrad
52:Fahrradanhänger
1:Fahrradbubble
22:Fahrradcomputer
6:Fahrradmordor
6:Fahrradparkplätze
2:Fahrradstaffel
1:Fahrräder
10:Falschparker
[…]

Um nicht manuell in den “Datenbanken” herumstöbern zu müssen, gibt es --find-tags xyz und --find-categories xyz bzw. die Kurzformen -ft xyz und -fc xyz. Man kann reguläre Ausdrücke verwenden.

Führt man diese aus, wird das Tool fzf (Fuzzy Find) benutzt, um die Liste anzuzeigen und darin suchen zu können:

Alles andere finden

Mittlerweile nutze ich zum Auffinden von Blogbeitragen die Tastenkombination Strg + Shift + f in VSCode. Aber früher brauchte ich dafür etwas Eigenes.

Hierfür gibt es zwei Varianten.

Einfache Variante

Mittels --find xyz bzw. der Kurzform -f xyz wird einfach nur rekursiv nach xyz im Content-Verzeichnis der angegebenen Website gegrept und es gibt eine farbige Ausgabe mit Dateinamen und der zum Suchbegriff passenden Zeile. Groß- und Kleinschreibung werden dabei nicht ignoriert.

Hier z. B. das Ergebnis für die Suche nach ^hugo. Das ist ein Regulärer Ausdruck, der nur auf Zeilen passt, in denen hugo am Anfang der Zeile steht:

posts/2022/2022-02-18-mein-workflow-mit-hugo/index.md:130:1:hugo server -E -D -F -v -c /home/hugo-light/content/
posts/2022/2022-02-27-hugo-theme-optimiert-zeit-zum-rendern-massiv-verringert.md:24:1:hugo --templateMetrics --templateMetricsHints --gc --minify > hugo-metric_0.txt
posts/2022/2022-02-06-ich-mache-wieder-einen-linkdump-woechentlich/index.md:64:1:hugo new -k linkdump posts/2022-02-linkdump-kw-6-2022
posts/2022/2022-03-19-umzug-dokuwiki-hugo-3-einrichtung/index.md:29:1:hugo new site wiki.natenom.com
posts/2022/2022-02-03-umzug-von-wordpress-zu-hugo-1/index.md:310:1:hugo server --renderToDisk -D -E -F -v
posts/2022/2022-02-13-weiterleitungen-auf-umlaut-urls/index.md:55:1:hugo-search-tags -E "(ä|ö|ü|ß)" | cut -d':' -f2 > /tmp/umlaut-urls-hugo.txt

So kann ich z. B. sehr einfach alle Blogbeiträge anzeigen lassen, die ein bestimmtes Tag oder eine Kategorie verwenden, hier z. B. “Linux”, in dem ich den Regulären Ausdruck hgb -f "^\W+- Linux" nutze, der auf Zeilen passt, die am Zeilenanfang beliebig viele Leerzeichen enthalten, gefolgt von - Linux:

[…]
posts/2013/2013-06-27-alle-videos-eines-youtube-kanals-auf-einmal-herunterladen-mit-youtube-dl.md:7:1:  - Linux
posts/2018/2018-11-12-mit-fensterregeln-in-plasma5-kde-bestimmte-fenster-beim-task-switcher-und-anderen-effekten-ignorieren.md:13:1:  - Linux
posts/2013/2013-08-15-neuer-versuch-mit-kde-sc.md:11:1:  - Linux
[…]

Erweiterte Variante

Mittels --find-fuzzy xyz bzw. der Kurzform -ff xyz wird die Ausgabe der oben gezeigten einfachen Variante zusätzlich an fzf übergeben, sodass man darin suchen kann, eine Vorschau der Datei angezeigt bekommt und durch Drücken von F4 die Datei direkt im Editor öffnen kann, den man in der Konfiguration in bin_editor eingestellt hat.

Auch hier kann man reguläre Ausdürcke verwenden, z. B. -ff "Markdown.*kate"

Website bauen und hochladen

Mit hgh.py --site blog --build wird mein Blog lokal gebaut, sodass ich ihn nach einer kurzen Prüfung mit hgh.py --site blog --upload hochladen kann.

Wenn ich mir sicher bin, kann ich auch beide Schritte vereinen mit hgh.py --site blog --deploy.

Hugo Helper herunterladen

Das Hugo Helper Script gibt es hier.

Viel Spaß damit. Oder eben nicht. ☺️

Das habe ich nun deutlich vereinfacht.

Alte Lösung mit Hugo und sehr umständlich

Früher hatte ich das mit Hilfe von Hugo gemacht, das lokal eine eigene Seite im Blog erstellt hat. Die HTML-Ausgabe davon habe ich dann durch diverse Shell-Kommandos gefiltert und heraus kamen Tags und deren Häufigkeit. Das musste man dann ab und zu mal neu generieren lassen und war alles andere als einfach zu benutzen. Details siehe hier.

Jetzt ohne Hugo

Jetzt habe ich das außerhalb von Hugo mit einem Python-Script und einem Shell-Script umgesetzt.

Ich habe ein Shell-Script erstellt, das alle Tags und Kategorien aller Blogbeiträge mit Hilfe von yq ausliest und in eine Datei schreibt, die von einem Python-Script eingelesen wird und Häufigkeit der Tags und Kategorien bestimmt und das Ergebnis in einer endgültigen Datei speichert.

Man könnte das auch alles in einem einzigen Python-Script unterbringen, doch ich kann das nicht. Ich habe es versucht, es aber nicht geschafft.

Detaillierter Ablauf

Im ersten Schritt werden im content-Verzeichnis des Blogs mit find und mit Hilfe von yq alle Tags jedes Blogbeitrags ausgelesen und ein eine Datei geschrieben:

find -iname "*.md" -exec yq --front-matter=extract ".tags" '{}' >> "/tmp/tmp_tags.list" \;

Für diesen Blogbeitrag hier würde die Ausführung dieser Zeile ergeben:

- Web
- Hugo
- Bash
- Python
- Shell

Das Ergebnis ist eine Datei mit ca. 9000 unsortierten und sehr vielen Zeilen und doppelt vorkommenden Tags, weil für jeden Blogbeitrag die Liste aller dort verwendeten Tags in die Datei eingefügt wird.

Im nächsten Schritt wird das Python-Script aufgerufen, das diese Datei Zeile für Zeile einliest, für jedes neue Wort einen eigenen Zähler in einem Dictionary erstellt und für bereits vorgekommene Wörter den Zähler um 1 erhöht. Ich habe dafür hier ein passendes Script gefunden und es für meine Zwecke angepasst.

Am Ende des Python-Scripts wird das Dictionary sortiert ausgegeben und in eine finale Datei umgeleitet.

Ein Auszug der finalen Datei mit nur noch 819 Zeilen mit je einem Tag pro Zeile und dessen Häufigkeit im Blog:

[…]
Aussicht 5
Auswertungen 5
Autobahn 7
Autofahrer 9
Autos 129
Avatar 1
BNN 2
BOA 2
[…]
Zebrastreifen 4
Zeichnen 2
Zeit Online 4
Zeitraffer 2
Zeitungen 8
Zeitzonen 1
Zertifikate 4
Zuständigkeiten 1
ZweiRat 3
[…]

Mit Hilfe des Tools fzf (Fuzzy Finder) kann ich nun sehr einfach in dieser Datei nach Tags suchen, die im Blog verwendet wurden und sehe auch gleich die Häufigkeit.

Und hier ein Video von der Benutzung mittels fzf:

Update der Daten

Um die Daten zu aktualisieren, muss ich nur ab und zu das Script ausführen und die Ausführung dauert nur ein paar Sekunden.

Ich muss dazu jeden wichtigen Toot aus der Timeline heraussuchen, den Text kopieren, die zugehörigen Fotos von der lokalen Festplatte heraussuchen, passend benennen und dann einen Blogpost in Hugo erstellen.

Deshalb habe ich nach Tools gesucht, die diese Arbeit vereinfachen und z. B. eine lokale Version der Timeline zur Verfügung stellen, damit ich diese Arbeit auch ohne Netzwerkzugang machen kann.

Zwei Methoden für Erstellung eines Archivs von Mastodon

Es gibt zwei verschiedene Methoden:

1. In Mastodon anmelden und in den Einstellungen das eigene Archiv anfordern und dieses herunterladen. Dort sind alle Status (Mehrzahl 🥳) enthalten und auch alle hochgeladenen Medien. Händisch möchte ich aus diesem Archiv nichts heraussuchen müssen, da es aus json-Dateien und einer Verzeichnisstruktur für die Mediendateien besteht. Hierfür gibt es jedoch verschiedene Tools, die ein solches Archiv präsentieren und erkundbar darstellen.
2. Ein Tool, wie das hier vorgestellte, lädt mit entsprechenden Berechtigungen selbst Boots, Toots und alles andere (Fotos, …) direkt vom Mastodon-Server herunter und erstellt lokal ein eigenes Archiv.

Das Tool mastodon-archive

Es gibt mehrere solcher Werkzeuge, mit gefällt mastodon-archive. Es ist in Python geschrieben, lässt sich via pip/pipx installieren, fordert Berechtigungen zum Account an, die man auf Mastodon bestätigen muss und lädt dann alle Toots herunter.

Mit diesen heruntergeladenen Daten kann man schließlich verschiedene Dinge anstellen, z. B. nach einem String in den Toots suchen.

Sie Suchfunktion unterstützt auch Reguläre Ausdrücke, siehe hier.

Installation

Für mich ganz einfach mit pipx install mastodon-archive.

Siehe auch hier

Archiv für einen Mastodon-Account erstellen

Am besten ein neues Verzeichnis erstellen und dorthin wechseln:

mkdir archiv
cd archiv

Dann werden alle Status (Mehrzahl) usw. heruntergeladen, wobei ich kein Interesse an Favoriten und Bookmarks habe:

> mastodon-archive archive --no-favourites --no-bookmarks ploggifanti@plushies.social
Registering app
This app needs access to your Mastodon account.
Visit the following URL and authorize the app:
https://plushies.social/oauth/authorize?client_id=…&response_type=[…]&[…]
Then paste the access token here:
abcdefgh…
Get user info
Get all statuses (this may take a while)
Get favourites (this may take a while)
Get bookmarks (this may take a while)
Skipping mentions
Skipping followers
Skipping following
Saving 182 statuses, 354 favourites, 5 bookmarks, 0 mentions, 0 followers, and 0 following

Dann lädt man zusätzlich alle Bilder und Videos herunter:

> mastodon-archive media ploggifanti@plushies.social
168 urls in your backup (83 are previews)
Downloading |#############################   | 160/168

Das wars schon. Alles weitere geht jetzt auch ohne Netzwerkanbindung.

Zu einem späteren Zeitpunkt kann man beides erneut ausführen, damit neuere Daten heruntergeladen und zum lokalen Archiv hinzugefügt werden.

Lokales Archiv als HTML-Datei exportieren

Hiermit wird im aktuellen Verzeichnis eine HTML-Datei erstellt, die alle Status (Mehrzahl) enthält.

> mastodon-archive html ploggifanti@plushies.social
Loading existing archive: plushies.social.user.ploggifanti.json
Writing plushies.social.user.ploggifanti.statuses.0.html

Anpassungen des Codes für eigene Anforderungen

Ich habe den Python-Code für die Erstellung des HTML-Archivs etwas angepasst. Zum einen brauche ich daran keine Boosts anderer Toots und zum anderen habe ich einen Fehler beim Anzeigen von Bildern behoben; per Voreinstellung werden diese nur teilweise dargestellt.

Dazu habe ich die Datei html.py wie folgt angepasst:

• Boosts nicht exportieren:
  • Nach Zeile 241 if status["reblog"] is not None: ein return eingefügt, damit der Code für Boosts nicht ausgeführt wird.
• Fix für Darstellung von Bildern:
  • Zeile 118 height: 110px; auskommentiert.
  • Zeile 138 transform: translateY(-50%%); auskommentiert.

So sieht die erstellte HTML-Datei für den Account vom kleinen Elefanten aus:

Nach einem String suchen

> mastodon-archive text ploggifanti@plushies.social wald
Kagube @ploggifanti 2023-07-13T19:09:00.188000+00:00
🔗 https://plushies.social/@ploggifanti/110708348694463740
🐘Heut hab ich mir ein
[#DemKleinenElefantenSeinTäglichesSelfie](https://plushies.social/tags/DemKleinenElefantenSeinT%C3%A4glichesSelfie)
auf ner Landstraße mit Sonnenuntergangsstimmung und Wald und Linien und so
gewünscht.

🐘Nebenbei guckn, ob nicht jmd mitm Auto kommt. 🤪🖻 plushies.social.user.ploggifanti/plushiessocial/media_attachments/files/110/708/348/622/325/544/original/3f9e6457b052ea0e.webp

Kagube @ploggifanti 2023-08-01T15:18:55.330000+00:00
🔗 https://plushies.social/@ploggifanti/110815027876908056
🐘Wir waren heute 40km mit dem Fahrrad unterwegs und haben schöne Momente für
euch eingepackt.  
...  
🐘Hier warn wir im Wald🎁🌳  
🐘Hier auf der [#Pausenbank](https://plushies.social/tags/Pausenbank) sonnen 🎁💺  
🐘Hier die schöne Landschaft 🏞🎁  
🐘Und hier im Garten 🎁🏡  
🐘Das ist ganz besonders toll. Auf der Wiese sitzen und dem Wind zuhören, was
der so alles zu erzählen hat. ☁🎁  
🐘Und dann auch noch der Moment mit
[#Blümchenbaden](https://plushies.social/tags/Bl%C3%BCmchenbaden) vom
[#DemKleinenElefantenSeinTäglichesSelfie](https://plushies.social/tags/DemKleinenElefantenSeinT%C3%A4glichesSelfie)
🎁💐
🐘Viel Spaß damit und bis wieder gesund.

🐘🤗  
🚴🤗

Status (Mehrzahl) löschen

Mit dem Tool kann man auch Status löschen, siehe hier.

So löscht man z. B. alle Status, die älter als zwei Wochen sind, sofern man noch --confirm angibt:

mastodon-archive expire --older-than 2 ploggifanti@plushies.social
Loading existing archive: plushies.social.user.ploggifanti.json
This is a dry run and nothing will be expired.
Instead, we'll just list what would have happened.
Use --confirmed to actually do it.
Delete: 2023-07-19 "🐘Ich hab den 🚴 ganz dolle angefeuert, damit wir no..."
Delete: 2023-06-09 "🐘Du, 🚴, wann sind wir da?   🚴Wir sind doch gar nic..."
Delete: 2023-07-21 "🐘Der 🚴 und der 🐘: 🤪   🐘Immer sind wir draußen und ..."
Delete: 2023-07-02 "@Okona   🐘Dafür sind wir gestern extra nach #Tübin..."

Report

Es gibt auch die Möglichkeit, ein paar Infos zum Account auszugeben, siehe hier.

> mastodon-archive report --all ploggifanti@plushies.social
Considering the entire archive
Statuses:               182
Boosts:                  15
Media:                   74

Top 10 hashtags:
#demkleinenelefantenseintaglichesselfie(48) #gpn21(5) #pausenbank(4)
#criticalmass(3) #kasrue(3) #karlsruhe(2) #fahrradfreitag(2)
#tubingen(2) #tubix(2) #kde(2)

Favourites:             354
Boosts:                   0
Media:                   82

Top 10 hashtags:
#turnverein(11) #demkleinenelefantenseintaglichesselfie(5)
#baumklettern(5) #turnvereinys(3) #barland(3) #schlafschlaf(3)
#eichhornchen(3) #fahrradfreitag(2) #kidicalmass(2) #bamberg(2)

Noch mehr vereinfachen?

Das generierte HTML-Archiv hilft mir schon sehr beim Erstellen der Blogbeiträge für den kleinen Elefanten.

Es müsste doch aber auch möglich sein aus diesem Archiv auch direkt Blogbeiträgt für Hugo zu generieren. Mal sehen, wie faul ich bin und ob mir die lokale HTML-Datei schon ausreicht oder ich versuchen werde, das auch noch zu automatisieren, sodass ich am Ende ein Kommando ausführen kann und anhand der Mastodon-Timeline automatisch der Content für Hugo erstellt wird.

So auch für meinen Mastodon-Account. Dort sollen zwar Tröts gelöscht werden, die älter als 3 Monate sind, jedoch nicht, wenn sie das Hashtag #blogcomments beinhalten. Denn das nutze ich, um im Blog Kommentare zu ermöglichen. Diese speziellen Tröts würde ich dann zukünftig nur manuell nach Belieben löschen.

In der Vergangenheit hatte ich das Tool Ephemetoot verwendet, um alte Tröts zu löschen. Als ich das vor ein paar Tagen erneut nutzen wollte, hat es leider nicht mehr funktioniert. Es gab eine Fehlermeldung bei jedem Löschversuch. Das Projekt scheint leider eingeschlafen zu sein.

Also fragte ich im Fediverse nach einer Alternative. “D.N:K @dnkrupinski@barcamp.social” wies darauf hin, dass im Github-Repo von Ephemetoot eine Alternative genannt wurde. Das hatte ich beim Querlesen übersehen. Danke für den Hinweis.

Das Tool cleantoots habe ich ausprobiert und es funktioniert. Es bietet auch die Möglichkeit, einzustellen, dass Tröts mit bestimmten Hashtags nicht gelöscht werden. Genau das benötige ich.

Installation

Die Installation des Tools ist ganz einfach.

Linux vorausgesetzt:

pip install cleantoots

cleantoots config setup
cleantoots config login

Dann wird durch das Tool der Browser gestartet und es öffnet sich die Website der Instanz und es wird um Authorisierung gebeten. Den angezeigten Code kopiert man und fügt ihn in die Kommandozeile ein, in der der cleantoots config login noch läuft.

Fertig.

Benutzung

Von nun an kann man alte Tröts löschen lassen mit:

cleantoots clean --delete

Oder sich mit einem “Trockenlauf” erst einmal anzeigen lassen, was cleantoots machen würde:

cleantoots clean

Was zu solch einer Ausgabe führen würde:

…
2022-11-05 00:28:54,871 | cleantoots.commands.clean | INFO | @foobar hier werden lange Links trotzdem verkürzt angezeigt mit … am Ende.
2022-11-05 00:28:54,871 | cleantoots.commands.clean | INFO | boost of toot https://foo.baaar/@foo/123456 protected because creation time 2022-11-01 14:22:49.675000+00:00 is later than limit 2022-08-07T00:28:50.988279+02:00
2022-11-05 00:28:54,872 | cleantoots.commands.clean | INFO | original toot https://social.anoxinon.de/@natenom/109268995231048789 protected because creation time 2022-11-01 14:22:29.308000+00:00 is later than limit 2022-08-07T00:28:50.988485+02:00
…

In Zukunft werde ich dieses Script alle x Zeit manuell starten.

Spätestens seitdem ich auch mein neues Wiki mit Hugo nutze, funktionieren die vielen Aliase nicht mehr, denn ich bräuchte alles doppelt, um auch die Arbeit mit meinem Wiki damit bewerkstelligen zu können. Flexibel ist anders.

Und weil auch Vri in Zukunft in der Lage sein soll, sowohl im Wiki als auch im Blog Dinge zu tun, musste ich da was Schönes bauen. Denn meine vorherige Frickellösung könnte ich guten Gewissens niemandem zumuten.

Also habe ich heute Nacht ohne Ahnung und viel $Suchmaschine ein Python-Script erstellt, das die ganzen Shell-Aliase ersetzt und jetzt für beliebig viele Webseiten funktioniert. Und dabei habe ich sogar einen fiesen Bug in der Plasmashell gefunden.

Was kann das Script?

Mit dem neuen Script kann ich sehr einfach:

• Eine Website generieren lassen.
• Eine Website hochladen (mit rsync synchronisieren).
• Die beiden oberen Dinge in einem Aufruf.
• Eine Website lokal zur Verfügung stellen (hugo server).
• Eine tmux-Session innerhalb des lokalen Verzeichnisses starten, um dort z. B. git zu verwenden.
• (Nur im Blog) nach verwendeten Tags und nach Kategorien suchen. Dabei funktionieren sowohl einfache Strings als auch Reguläre Ausdrücke.
• Mittels grep -r suchen.
• Aktuelle Uhrzeit inklusive Datum und Zeitzone erhalten. Für das Front Matter (Metadaten einer einzelnen Seite).

Hier z. B. die Suche nach allen Seiten im Blog, in denen der String hugo vorkommt:

[…]
content/posts/2016/2016-12-02-hugo-kann-mehrsprachig.md,,Hugo kann mehrsprachig :),2016-12-02T13:29:05Z,0001-01-01T00:00:00Z,2016-12-02T13:29:05Z,false,/2016/12/hugo-kann-mehrsprachig/

content/posts/2015/2015-12-10-gpeasy-php-durch-hugo-statisches-html-ersetzt.md,,gpEasy (PHP) durch Hugo (statisches HTML) ersetzt,2015-12-10T13:05:11Z,0001-01-01T00:00:00Z,2015-12-10T13:05:11Z,false,/2015/12/gpeasy-php-durch-hugo-statisches-html-ersetzt/

Format: path,slug,title,date,expiryDate,publishDate,draft,permalink
Results for 'hugo': 27

Externe Konfiguration

Die Konfigurationsdatei mit den Einstellungen für beliebig viele Websites liegt in ~/.config/hugo-noms.conf.

Hilfe

Da das Script argparse verwendet, gibt es automatisch eine schöne Hilfe: ¹

usage: hg.py [-h] [--site SITE_NAME | --time | --printconfig | --sites]
             [--cd | --build | --upload | --deploy | --tmux | --serve | --serve_light]
             [--searchpost SEARCHPOST | --searchgrep SEARCHGREP | --searchtag SEARCHTAG | --searchcat SEARCHCAT]

Handles hugo stuff.

optional arguments:
  -h, --help            show this help message and exit
  --site SITE_NAME      Name of the website to work on currently.
  --time                Copy current date and time to clipboard.
  --printconfig         Print the devices configuration.
  --sites               Print sites from configuration
  --cd                  Change directory to workdir of site.
  --build               Build a site.
  --upload              Build AND upload site to remote.
  --deploy              Deploy (build AND upload) a site.
  --tmux                Start the tmux session for --site.
  --serve               Serves site (full).
  --serve_light         Serves site (light).
  --searchpost SEARCHPOST
                        Find pages/posts containing search term in 'path, slug, title, date or permalink'.
                        Strings and Regular Expressions (regex) are allowed.
  --searchgrep SEARCHGREP
                        Find pages/posts containing search term in file content. Uses 'grep -r'. Strings and
                        Regular Expressions (regex) are allowed.
  --searchtag SEARCHTAG
                        Find tags containing search term. Strings and Regular Expressions (regex) are allowed.
  --searchcat SEARCHCAT
                        Find categories containing search term. Strings and Regular Expressions (regex) are
                        allowed.

Wo gibts das Script?

Vielleicht kann das ja noch jemand gebrauchen. Ich weiß aktuell nicht, wo ich es hinschubsen könnte, daher liegt es jetzt erst einmal in meinem Wiki im neuen Bereich Hugo, siehe hier.

Nur noch zwei Aliase

Da ich ein extrem fauler Mensch bin, habe ich aber später trotzdem noch zwei Aliase in der .bashrc definiert:

alias hgb='/pfad/zu/hg.py --site blog'
alias hgw='/pfad/zu/hg.py --site wiki'

Somit kann ich z. B.

hg.py --site blog --tmux

abkürzen mit

hgb --tmux

🙂

Bug in Plasmashell

Ruft man ein Script mit diesen beiden Zeilen auf oder führt es in iPython aus, dann hängt sich die Plasmashell entweder für ein paar Sekunden, lange oder komplett auf. Der String landet trotzdem nicht in der Zwischenablage obwohl xclip als auch xsel installiert sind.

import pyperclip
pyperclip.copy("text")

Ich wollte diese Funktion nutzen, um einen generierten String mit Datum, Uhrzeit und Zeitzone in die Zwischenablage zu kopieren, um diesen dann im Front Matter eines Blogbeitrags manuell über die Zwischenablage einfügen zu können. Stattdessen nutze ich jetzt os.system("date … | xsel …").

• Ultrafeine Partikel in der Luft
• Heizen mit Holz
• Geschichten über Alltagsgegenstände
• Denkende Lebewesen(?)
• Airtags kann man auch nutzen, um Diebstähle vorzubereiten oder jemanden zu stalken
• Video aus England zeigt rücksichtlose Autofahrende, die über Gehwege an einem Müllwagen vorbei fahren.
• Rich is a Python library for rich text and beautiful formatting in the terminal
• Gutes Video zum Thema Dooring vom Radentscheid Essen

Regionales

• Stuttgart und gemessene Abstände beim Überholen von Radfahrenden:
• Teil 1: Hier wird zu eng überholt
• Teil 2: Stadt will eigene Daten zu Überholabständen erheben
• Teil 3: Hier wird es gefährlich – 40 Straßen im Check

Ich sehe Mastodon oder Twitter als Werkzeuge für Kommunikation aktueller Themen, nicht als Ort eines Archivs von allem, das man in den letzten Jahren geschrieben hat. Daher lösche ich unregelmäßig alte Toots auf Mastodon und auch Tweets auf Twitter. Anfangs machte ich das manuell und mittlerweile mit schönen Werkzeugen.

Hier geht es um das Tool Ephemetoot, das in der Lage ist, alte Toots eines Mastodonaccounts zu löschen.

Token für Mastodon

Damit Ephemetoot mit einem Account arbeiten kann, benötigt es einen “Zugangstoken” bzw. “Access token”. Den erstellt man in den Einstellungen auf Mastodon, im Bereich “Entwicklung”.

Dort fügt man einen neue “Anwendung” hinzu. Es reicht aus, einen Namen einzugeben und die Voreinstellungen unverändert zu lassen. Man kann aber auch die Möglichkeiten einschränken. Ephemetoot muss lesen und schreiben können.

Virtualenv

Mit Virtualenv erstellt man eine Umgebung für Ephemetoot:

virtualenv -p /usr/bin/python3 ephemetoot

Im aktuellen Verzeichnis wird damit ein Verzeichnis “ephemetoot” erstellt.

cd ephemetoot
source bin/activate
pip install ephemetoot

Jetzt startet man das Tool und lässt eine Konfiguration erstellen.

ephemetoot --init

Dabei werden Accountname, Token und weitere Dinge abgefragt, die dann in die Konfigurationsdatei config.yaml geschrieben werden. Man kann die Konfigurationsdatei aber auch manuell erstellen und diesen Befehl überspringen.

Bei mir sieht die Konfigurationsdatei dann so aus:

  access_token: blabpluijd123
  username: meinbenutzername
  base_url: meinserver.tld
  days_to_keep: 30
  keep_pinned: true
  archive: archive
  hashtags_to_keep:
    - müllsammeln
    - ontour
    - natenomontour
    - plogging
    - openbikesensor

Dabei werden nur Toots gelöscht, die älter als 30 Tage oder nicht angepinnt sind oder die keines der genannten Hashtags enthalten. Gelöschte Toots landen als Backup (ohne angefügte Medien) im Unterverzeichnis archive.

Laufen lassen

Ohne Angabe von Parametern startet man das Tool. Hier die Ausgabe für meinen Account. Löschvorgänge sind stark limitiert, man muss das Tool also eine Weile laufen lassen oder nach Ablauf der Fristen immer wieder manuell starten.

ephemetoot                    
============= EPHEMETOOT v3.1.0 ================
Running at Tue 23 Mar 2021 16:02:31 +0000
================================================

Fetching account details for @account@server
Checking 336 toots

# skipping toot with hashtag - 105141110016028168
# skipping toot with hashtag - 105141096555743892
❌ deleting toot 105141072564203642 tooted 02 Nov 2020
# skipping toot with hashtag - 105140264929870540
[...]
❌ deleting toot 105140255682219175 tooted 02 Nov 2020
❌ deleting toot 105125588146258105 tooted 30 Oct 2020
❌ deleting toot 105124704483125356 tooted 30 Oct 2020
❌ deleting toot 105124291721722596 tooted 30 Oct 2020
❌ deleting toot 105124268645450132 tooted 30 Oct 2020
❌ deleting toot 105124058673704582 tooted 30 Oct 2020

Rate limit reached at Tue 23 Mar 2021 17:31:12 +0000 -
next reset due in 29 minutes.

❌ deleting toot 105123687719372689 tooted 30 Oct 2020
❌ deleting toot 105123674095282130 tooted 30 Oct 2020
❌ deleting toot 105123670006473110 tooted 30 Oct 2020
❌ deleting toot 105077514503516341 tooted 22 Oct 2020
# skipping toot with hashtag - 105077420693727860
❌ deleting toot 105066209174447095 tooted 20 Oct 2020
❌ deleting toot 105062844118829383 tooted 19 Oct 2020
👎 unboosting toot 105044942015133379 boosted 16 Oct 2020
[...]
---------------------------------------
🥳 ==> 🧼 ==> 😇 User cleanup complete!
---------------------------------------

Fertig

Dieses Tool kann man jetzt alle x Zeit laufen lassen und alte Toots löschen :)

Hier muss man wissen, dass die Dateien von Vorfällen bei mir nach einem bestimmen Schema benannt sind. Darin sind Datum, Uhrzeit und Kennzeichen enthalten.

Zum Beispiel:

2025-06-01T15.34 -- ab-cd-1234 vs-abstand.mp4

Ablauf mit Script

So sieht das Terminalfenster aus, wenn das Script durchgelaufen ist. Eine Erklärung kommt danach.

Der Ablauf mit Verwendung des Scripts ist wie folgt:

• Rechtsklick auf das Video eines Vorfalls.

• Es öffnet sich ein Terminalfenster. Datum, Uhrzeit und Kennzeichen werden aus dem Dateinamen ausgelesen und angezeigt. Dabei wird das Datumsformat von 2025-06-01 umgeschrieben auf 01.06.2025; damit kann man bei der Bußgeldstelle in Pforzheim vermutlich mehr anfangen.
• Manuelle Eingabe der Daten:
  • Fahrzeugmodell
  • Fahrzeugfarbe
  • Fahrer erkennbar? Wiederholungstäter?
    Abhängig davon werden bestimmte Sätze in der E-Mail verwendet oder eben nicht.
  • Ort des Vorfalls
  • Innerorts/ausserorts?
  • Zuständigkeit? In meinem Fall entweder Pforzheim oder Enzkreis.
  • Anmerkung(en)
• Der E-Mail-Client wird mit einem Entwurf einer neuen E-Mail gestartet. Empfänger, Betreff und Inhalt der E-Mail sind schon eingetragen.

Sehr geehrte Damen und Herren,

hiermit zeige ich – mit der Bitte um Weiterverfolgung durch Ihr Amt – eine Verkehrsordnungswidrigkeit an:

Überholen mit weniger als 1,5 m Abstand innerorts.

Anmerkungen:
Ich habe keine Ahnung von Python, aber es funktioniert :)
Der Fahrzeugführende ist auf den Bildern erkennbar.

Datum: 01.06.2025
Uhrzeit: 15:34 Uhr
Ort: Hinter dem Wasserfall beim Regenbogen
Marke: VW
Farbe: blümchengrün
Kennzeichen: AB CD 1234

Mit freundlichen Grüßen

Natenom

Internetstraße 1
64738 Internet

• Manuell muss ich nur noch die Absenderadresse im E-Mail-Programm einstellen.
• Aus dem Video muss ich wieder manuell mehrere Screenshots erstellen, die in einem definierten Verzeichnis landen.
• Das Script zeigt mir nun ein Muster an, das ich verwenden kann, um die erstellten Screenshots umzubenennen (auch mehrere gleichzeitig).

• Mit einem anderen Script kann ich über einen Rechtsklick auf die Screenshots alle Metadaten entfernen.
• Die Screenshots muss ich an die E-Mail als Anhang anfügen.
• Zuletzt noch die E-Mail abschicken.

Fertig :)

Es gibt noch Potenzial für weitere Automatisierung. Trotzdem ist dieser Ablauf schon sehr viel einfacher als ohne Script. Ohne das Script musste ich an alles denken und immer sehr konzentriert bleiben, um nichts zu vergessen. Und ich habe trotzdem immer mal wieder was vergessen.

Jetzt habe ich quasi eine Anleitung im Terminal, die mir sagt, wo ich gerade bin und was ich zu tun habe. So kann ich die Ordnungswidrigkeitenanzeigen auch nebenher erledigen und zwischendurch auch unterbrechen.

Während ich das Script heute geschrieben habe, konnte ich nebenbei 19 Ordnungswidrigkeitenanzeigen erstellen.

Todo

Ich könnte vielleicht noch oft verwendete Tatbestandsnummern aus dem Bußgeldkatalog ins Script integrieren. Dann könnte ich diese direkt nennen statt nur „weniger als x Abstand“, wenn z. B. jemand zusätzlich den Gegenverkehr gefährdet hat.

Möglich wäre auch, dass ich einen E-Mail-Clienten finde, in dem ich das Erstellen der E-Mail automatisieren kann; nicht nur Empfänger, Betreff und Inhalt, sondern auch die Anhänge und den Absender. Ich könnte zwar auch direkt aus Python heraus eine E-Mail verschicken aber ich möchte das per GUI machen und dann dort sehen, was versendet wird.

Weitere Baustellen sind die Umbenennung der Screenshots und das Entfernen der Metadaten.