#hoopla

Wer Jetpack mit seinen Standardeinstellungen nutzt, verstößt sehr wahrscheinlich gegen die DSGVO. Wenn man einen Blick in den Netzwerkverkehr beim Aufruf einer Wordpress-Instanz (ohne eingeloggt zu sein) wirft, werden diverse Anfragen an externe Server gemacht ohne erkennbaren Grund; ein "berechtigtes Interesse" liegt damit ganz bestimmt nicht vor. Man kann dem aber beikommen. Auf folgender Seite steht beschrieben, wie man im Debug Modus von JetPack diverse unnötige Module, insbesondere das Gravatar- und Statistikmodul, deaktivieren kann: https://crunchify.com/disable-jetpack-site-stats/

Ein Aufruf zu dem unnötigen JavaScript https://s0.wp.com/wp-content/js/devicepx-jetpack.js lässt sich damit allerdings nicht beseitigen. Mit einem Eintrag in functions.php geht es: http://www.swashcap.com/blog/2013/07/removing-devicepx-jetpack-js-for-wordpress/

Es ist bisher unklar, ob die Einbindung von Web Fonts von externen CDNs ein "berechtigtes Interesse" laut DSGVO darstellt oder nicht. Es gab schon Abmahnungen deswegen und es wird erst in Zukunft durch Gerichte geklärt. In vorauseilendem Gehorsam werden solche Webfonts nun überall durch selbstgehostete Fonts ersetzt. Die DSGVO als Bürokratie-Konjunkturprogramm...

Bei Adobe Type Kit beißt man auf Granit. Es ist laut den Lizenzvereinbarungen nicht erlaubt, diese herunterzuladen und selbst zu hosten. Ich habe die benötigten Schriftarten jedoch zum kostenlosen Download bei Fontspring gefunden. Beim Herunterladen kann es sinnvoll sein, "Basic" und "German" auszuwählen, damit die Schriftart-Dateien nicht zu viel und nicht zu wenig enthalten. Im CSS muss man nur noch das mitgelieferte @font-face übernehmen und ggf. die font-family anpassen auf den gleichen Namen der Schriftart aus Type Kit.

Die Google Web Fonts kann man standardmäßig nur als TrueType herunterladen. Es gibt aber ein schönes Tool unter https://google-webfonts-helper.herokuapp.com, das einem die Umwandlung in die Webformate abnimmt. Man wählt dort die verwendete Schriftart aus und bekommt direkt das nötige @font-face-CSS sowie die Schriftarten-Dateien.

In my program, I merge potentially many RDDs into one iteratively with repeated calls of sRDD = sRDD.union(tmpRDD).cache(). All RDDs get the same partitioner so that no re-shuffling occurs. This works well in the beginning of the execution, but at a certain point the execution is blocked, the log show "Asked to send map output locations for shuffle", and most executors are either idle or have only one task assigned. I tried several solution approaches, such as setting the number of CPUs for one executor to 1, changing the memory settings of executors (I assumed that they request more memory than they can get), but nothing solved the issue. I think there is a limit concerning the number of RDDs that can be merged with union() safely. Less than 10 is no problem; more than 50 triggers the error always. I'm changing my program now to perform less unions.

When conducting runtime experiments with a Spark cluster in standalone mode (no YARN or Mesos) I stumbled upon the options for executors. By default, only one executor was spawned for each worker underutilizing the available memory, but fully utilizing all CPU cores. I intended to run several executors with less cores. The reason is that the default number of cores of one executor in standalone mode is the total number of cores of one worker, which was not clear to me from the documentation (and is supposed to be different for YARN). The following settings were relevant in my case:

Run the driver on the master node. That's convenient, because otherwise the driver gets deployed on a randomly chosen worker, which makes debugging harder.
--deploy-mode client

The total number of executors that I plan to run in parallel. This is a bit fuzzy in the documentation. If more executors fit into the workers, Spark will spawn more executors. So this setting seems to be irrelevant in standalone mode.
--num-executors 6

The amount of memory one executor has. This should obviously fit into the main memory of one worker. If it's set too large, less executors than num-executors are spawned.
--executor-memory 10g

The number of CPU cores per executor. This has to fit into the number of CPU cores of one worker, otherwise there will be less executors than planned.
--executor-cores 12

Memory for the driver:
--driver-memory 2048m

Nach einem vermutlich missglückten Update bootete Windows 10 nur noch in der Schleife. Bei jedem Start wurde eine angebliche Wiederherstellung gestartet, kurz ein Fenster geöffnet, sofort wieder geschlossen und neu gestartet. Es gibt eine Wiederherstellungskonsole, die man beim Start erreicht und Windows normalerweise bei drei aufeinanderfolgenden abgebrochenen Startvorgängen anzeigt. Diese war aber nicht erreichbar. Ich brach den Start sehr oft mit dem Power-Knopf ab; ohne Ergebnis. Damit der Computer ausgeht, muss man den Knopf sehr lange drücken; vermutlich länger als Windows einen Start als abgebrochen betrachtet. F8 funktioniert sowieso nicht mehr beim Start. Also wollte ich mit Hilfe einer Windows 10 DVD in diesen Modus. Hierfür braucht man unterdessen 8,5GB Double Layer DVDs; die Windows-ISO passt nicht mehr genau auf eine 4,7GB-DVD... In der Konsole, die man über die DVD starten kann gelangt man jedoch nicht in die normale Wiederherstellungskonsole; man kann insbesondere keine Reparaturinstallation starten. Es gibt aber eine Eingabeaufforderung. Mit dieser kann man das installierte kaputte System dazu bringen, die Wiederherstellungskonsole zu starten. Dazu muss man in den Ordner x:\Windows\System32 wechseln, da alle ausführbaren Tools nicht im Pfad liegen. Mit bcdedit.exe /set {default} bootmenupolicy Legacy bekommt man ein Bootmenü beim Start, das auch per F8 zulässt, dass man in die Wiederherstellungskonsole kommt. Darin kann man eine Systemreparatur unter Beibehaltung der Benutzerdateien starten.