#hoopla

When conducting runtime experiments with a Spark cluster in standalone mode (no YARN or Mesos) I stumbled upon the options for executors. By default, only one executor was spawned for each worker underutilizing the available memory, but fully utilizing all CPU cores. I intended to run several executors with less cores. The reason is that the default number of cores of one executor in standalone mode is the total number of cores of one worker, which was not clear to me from the documentation (and is supposed to be different for YARN). The following settings were relevant in my case:

Run the driver on the master node. That's convenient, because otherwise the driver gets deployed on a randomly chosen worker, which makes debugging harder.
--deploy-mode client

The total number of executors that I plan to run in parallel. This is a bit fuzzy in the documentation. If more executors fit into the workers, Spark will spawn more executors. So this setting seems to be irrelevant in standalone mode.
--num-executors 6

The amount of memory one executor has. This should obviously fit into the main memory of one worker. If it's set too large, less executors than num-executors are spawned.
--executor-memory 10g

The number of CPU cores per executor. This has to fit into the number of CPU cores of one worker, otherwise there will be less executors than planned.
--executor-cores 12

Memory for the driver:
--driver-memory 2048m

Nach einem vermutlich missglückten Update bootete Windows 10 nur noch in der Schleife. Bei jedem Start wurde eine angebliche Wiederherstellung gestartet, kurz ein Fenster geöffnet, sofort wieder geschlossen und neu gestartet. Es gibt eine Wiederherstellungskonsole, die man beim Start erreicht und Windows normalerweise bei drei aufeinanderfolgenden abgebrochenen Startvorgängen anzeigt. Diese war aber nicht erreichbar. Ich brach den Start sehr oft mit dem Power-Knopf ab; ohne Ergebnis. Damit der Computer ausgeht, muss man den Knopf sehr lange drücken; vermutlich länger als Windows einen Start als abgebrochen betrachtet. F8 funktioniert sowieso nicht mehr beim Start. Also wollte ich mit Hilfe einer Windows 10 DVD in diesen Modus. Hierfür braucht man unterdessen 8,5GB Double Layer DVDs; die Windows-ISO passt nicht mehr genau auf eine 4,7GB-DVD... In der Konsole, die man über die DVD starten kann gelangt man jedoch nicht in die normale Wiederherstellungskonsole; man kann insbesondere keine Reparaturinstallation starten. Es gibt aber eine Eingabeaufforderung. Mit dieser kann man das installierte kaputte System dazu bringen, die Wiederherstellungskonsole zu starten. Dazu muss man in den Ordner x:\Windows\System32 wechseln, da alle ausführbaren Tools nicht im Pfad liegen. Mit bcdedit.exe /set {default} bootmenupolicy Legacy bekommt man ein Bootmenü beim Start, das auch per F8 zulässt, dass man in die Wiederherstellungskonsole kommt. Darin kann man eine Systemreparatur unter Beibehaltung der Benutzerdateien starten.

root# mysql -u root -p works while normalUser# mysql -u root -p doesn't. ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY 'ENTER_MYSQL_ROOT_PASSWORD_HERE'; helped to solve this. The background seems to be the mysql_native_password. It doesn't check if the user is root.

settings.php requires the option "prefix", the it works:

$databases['default']['default'] = array(
[...],
'prefix' => '',
);


I tried to set up Elastic as search server for a Symfony 3 application. I installed FOSElasticBundle for that (https://github.com/FriendsOfSymfony/FOSElasticaBundle). To run ElasticSearch locally, I installed the docker image from https://www.elastic.co/guide/en/elasticsearch/reference/current/docker.html, which contains the 6.1.1 version. I found that it is incompatible with the used Elastica PHP library that FOSElasticBundle uses ("Content-Type header [application/x-www-form-urlencoded] is not supported"). So I downgraded to the latest version of 5.x (https://www.elastic.co/guide/en/elasticsearch/reference/5.4/docker.html).

ElasticHQ cannot be installed within ElasticSearch anymore. Since it just contains static HTML code I created a local Apache hosting for it and tried to connect to ElasticSearch. The dockerized version is configured to use a basic authentication and limits the connections to certain IP addresses. With the following start parameters I could finally get ElasticHQ to connect to the search server:

docker run -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -e "xpack.security.enabled=false" \\
-e "http.cors.allow-origin=""*""" -e "http.cors.enabled=true" -e "node.master=true" \\
docker.elastic.co/elasticsearch/elasticsearch:5.4.3