#hoopla

I removed the harddisk (only one screw at the bottom necessary) and attached it to my Ubuntu machine with an external harddisk adaptor.

• fdisk -l shows which partition the data is:
  Medium /dev/sdc: 931,5 GiB, 1000204886016 Bytes, 1953525168 Sektoren
Einheiten: sectors von 1 * 512 = 512 Bytes
Sektorengröße (logisch/physisch): 512 Bytes / 512 Bytes
I/O Größe (minimal/optimal): 512 Bytes / 512 Bytes
Typ der Medienbezeichnung: dos
Medienkennung: 0xbb3b9c17

Gerät Boot Start Ende Sektoren Größe Id Typ
/dev/sdc1 63 1028159 1028097 502M 8 AIX
/dev/sdc2 1028160 1953520064 1952491905 931G 20 unbekannt
  /dev/sdc2 in this case.
• I needed to install the administration tools for the RAID tools: apt-get install mdam
• mdadm --examine /dev/sdc2 shows that the partition is just a normal software RAID with one device:
  
Magic : a92b4efc
Version : 0.90.00
UUID : 46c2be7d:ee8709a0:5f6ad052:539aa5e2
Creation Time : Fri Dec 30 00:34:45 2005
Raid Level : linear
Raid Devices : 1
Total Devices : 1
Preferred Minor : 0

Update Time : Fri Dec 30 00:34:45 2005
State : active
Active Devices : 1
Working Devices : 1
Failed Devices : 0
Spare Devices : 0
Checksum : 18e472f9 - correct
Events : 1

Rounding : 64K

Number Major Minor RaidDevice State
this 0 8 2 0 active sync /dev/sda2

0 0 8 2 0 active sync /dev/sda2
• Look which /dev/md* is still free. In my case, I could use md1. mdadm -A -R /dev/md1 /dev/sdc2 creates a block device from the RAID partition.
• Now the block device /dev/md1 can be mounted and unmounted as usual.
• The block device should be removed again with mdadm -S /dev/md1

Wer Jetpack mit seinen Standardeinstellungen nutzt, verstößt sehr wahrscheinlich gegen die DSGVO. Wenn man einen Blick in den Netzwerkverkehr beim Aufruf einer Wordpress-Instanz (ohne eingeloggt zu sein) wirft, werden diverse Anfragen an externe Server gemacht ohne erkennbaren Grund; ein "berechtigtes Interesse" liegt damit ganz bestimmt nicht vor. Man kann dem aber beikommen. Auf folgender Seite steht beschrieben, wie man im Debug Modus von JetPack diverse unnötige Module, insbesondere das Gravatar- und Statistikmodul, deaktivieren kann: https://crunchify.com/disable-jetpack-site-stats/

Ein Aufruf zu dem unnötigen JavaScript https://s0.wp.com/wp-content/js/devicepx-jetpack.js lässt sich damit allerdings nicht beseitigen. Mit einem Eintrag in functions.php geht es: http://www.swashcap.com/blog/2013/07/removing-devicepx-jetpack-js-for-wordpress/

Es ist bisher unklar, ob die Einbindung von Web Fonts von externen CDNs ein "berechtigtes Interesse" laut DSGVO darstellt oder nicht. Es gab schon Abmahnungen deswegen und es wird erst in Zukunft durch Gerichte geklärt. In vorauseilendem Gehorsam werden solche Webfonts nun überall durch selbstgehostete Fonts ersetzt. Die DSGVO als Bürokratie-Konjunkturprogramm...

Bei Adobe Type Kit beißt man auf Granit. Es ist laut den Lizenzvereinbarungen nicht erlaubt, diese herunterzuladen und selbst zu hosten. Ich habe die benötigten Schriftarten jedoch zum kostenlosen Download bei Fontspring gefunden. Beim Herunterladen kann es sinnvoll sein, "Basic" und "German" auszuwählen, damit die Schriftart-Dateien nicht zu viel und nicht zu wenig enthalten. Im CSS muss man nur noch das mitgelieferte @font-face übernehmen und ggf. die font-family anpassen auf den gleichen Namen der Schriftart aus Type Kit.

Die Google Web Fonts kann man standardmäßig nur als TrueType herunterladen. Es gibt aber ein schönes Tool unter https://google-webfonts-helper.herokuapp.com, das einem die Umwandlung in die Webformate abnimmt. Man wählt dort die verwendete Schriftart aus und bekommt direkt das nötige @font-face-CSS sowie die Schriftarten-Dateien.

In my program, I merge potentially many RDDs into one iteratively with repeated calls of sRDD = sRDD.union(tmpRDD).cache(). All RDDs get the same partitioner so that no re-shuffling occurs. This works well in the beginning of the execution, but at a certain point the execution is blocked, the log show "Asked to send map output locations for shuffle", and most executors are either idle or have only one task assigned. I tried several solution approaches, such as setting the number of CPUs for one executor to 1, changing the memory settings of executors (I assumed that they request more memory than they can get), but nothing solved the issue. I think there is a limit concerning the number of RDDs that can be merged with union() safely. Less than 10 is no problem; more than 50 triggers the error always. I'm changing my program now to perform less unions.

When conducting runtime experiments with a Spark cluster in standalone mode (no YARN or Mesos) I stumbled upon the options for executors. By default, only one executor was spawned for each worker underutilizing the available memory, but fully utilizing all CPU cores. I intended to run several executors with less cores. The reason is that the default number of cores of one executor in standalone mode is the total number of cores of one worker, which was not clear to me from the documentation (and is supposed to be different for YARN). The following settings were relevant in my case:

Run the driver on the master node. That's convenient, because otherwise the driver gets deployed on a randomly chosen worker, which makes debugging harder.
--deploy-mode client

The total number of executors that I plan to run in parallel. This is a bit fuzzy in the documentation. If more executors fit into the workers, Spark will spawn more executors. So this setting seems to be irrelevant in standalone mode.
--num-executors 6

The amount of memory one executor has. This should obviously fit into the main memory of one worker. If it's set too large, less executors than num-executors are spawned.
--executor-memory 10g

The number of CPU cores per executor. This has to fit into the number of CPU cores of one worker, otherwise there will be less executors than planned.
--executor-cores 12

Memory for the driver:
--driver-memory 2048m