Es fiel mir schwer, über einen Browser (und ArchLinux) auf Hadoop3.0.0 zuzugreifen.

Wenn Sie versuchen, eine HTTP-Verbindung zu Hadoop herzustellen, diese jedoch überhaupt nicht funktioniert, lesen Sie unten "Dies ist ein ziemlich unbekannter Teil".

Ich möchte Opentsdb verwenden!

Wenn Sie so denken, müssen Sie zunächst an Hadoop denken. Ich war. Und dieser Hadoop, erst neulich 3.0.0, kam heraus, und ich war bis dahin warm mit dem 2. System, und ich war besorgt, während ich mich rasierte und meine Haare fallen ließ.

Umwelterklärung usw.

Grob gesagt ist es openjdk-8 von Arch Linux (EFI) in VirtualBox. Nehmen wir an, dass openssh und Standard in Ordnung sind. Der Benutzername hat die Form ** test **, ersetzen Sie ihn also durch "vagrant" oder was auch immer Sie möchten. Außerdem werden wir diesmal bis zur Pseudoverteilung erklären.

Bogeninstallation

Wenn Sie Ja oder eine beliebige Zeichenfolge eingeben, wird fließend vorgegangen.

#ls / sys / firmware / efi / efivars ;; Stellen Sie sicher, dass es sich im Inneren befindet #parted /dev/sda () mklabel gpt () mkpart ESP fat32 1MiB 513MiB () set 1 boot on () mkpart primary ext4 513MiB 100% () quit

lsblk / dev / sda ;; Überprüfen Sie sda1 und sda2

# mkfs.vfat -F32 /dev/sda1
# mkfs.ext4 /dev/sda2
# mount /dev/sda2 /mnt
# mkdir /mnt/boot && mount /dev/sda1 /mnt/boot
# nano /etc/pacman.d/mirrorlist

Bringen Sie den Japan-Server an die Spitze ;; C-W Japan / Auswahlbereich mit Shift / Cut mit C-k / Paste mit C-u # pacman -Syyu archlinux-keyring # pacstrap /mnt base base-devel # genfstab -U /mnt >> /mnt/etc/fstab # arch-chroot /mnt # ln -sf /usr/share/zoneinfo/Asia/Tokyo /etc/localtime # hwclock --systohc --utc # nano /etc/locale.gen en_US.UTF-8 UTF-8 ja_JP.UTF-8 UTF-8 hinzugefügt # locale-gen # echo LANG=en_US.UTF-8 > /etc/locale.conf

echo localhost >> / etc / hostname ;; Dies war besser, als ich hadoop ausprobierte

nano / etc / hosts ;; wichtig hier

    127.0.0.1 localhost.localdomain localhost

Aktualisiert auf 192.168.1.31 test.localdomain test! # mkinitcpio -p linux # passwd ;; nach Belieben # pacman -S grub efibootmgr # grub-install --target=x86_64-efi --efi-directory=/boot --bootloader-id=arch_grub --recheck # mkdir /boot/EFI/boot # cp /boot/EFI/arch_grub/grubx64.efi /boot/EFI/boot/bootx64.efi # grub-mkconfig -o /boot/grub/grub.cfg # exit # umount -R /mnt ;; virtualbox menu => iso disk entfernen # reboot login : root passwd: ;; Was ich gerade eingegeben habe # systemctl enable dhcpcd & systemctl start dhcpcd # systemctl status dhcpcd ;; Bestätige, dass es richtig funktioniert

useradd -m test ;; vagrant für vagarnt Benutzer

# paddwd test 

;; Vagabund Benutzer sollte Vagabund sein ... # EDITOR=nano visudo test ALL = (ALL) NOPASSWD: Füge ALL an einer beliebigen Stelle hinzu # pacman -S openssh wget # systemctl enable sshd.service # systemctl start sshd.service # systemctl status sshd.service ;; Stellen Sie sicher, dass der sshd-Dienst aktiviert ist # pacman -S emacs git curl jre8-openjdk jdk8-openjdk # su - test $ sudo emacs /etc/pacman.conf [archlinuxfr] SigLevel = Never Server = http://repo.archlinux.fr/$arch hinzugefügt [multilib] Include = auskommentieren aus /etc/pacman.d/mirrorlist $ sudo pacman --sync --refresh yaourt $ sudo pacman -Syu yaourt $ sudo emacs /etc/yaourtrc TMPDIR = "/ home / test / Downloads" hinzugefügt $ sudo pacman -S virtualbox-guest-modules-arch $ sudo modprobe -a vboxguest vboxsf vboxvideo $ sudo emacs /etc/modules-load.d/virtualbox.conf vboxguest vboxsf Schreibe vboxvideo $ sudo pacman -S virtualbox-guest-utils $ sudo systemctl enable vboxservice $ sudo systemctl start vboxservice $ sudo systemctl status vboxservice $ sudo reboot login : test Passwort: ;; Was ich gerade eingegeben habe $ ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys $ sudo emacs /etc/ssh/sshd_config

AuthorizedKeysFile Kommentieren Sie .ssh / authorized_keys aus

$ ssh localhost
$ exit
$ sudo pacman -S xorg xorg-server deepin
$ sudo pacman -S deepin-extra
$ sudo systemctl enable deepin-desktop
$ sudo emacs /etc/lightdm/lightdm.conf

Geändert zu greeter-session = lightdm-deepin-greeter ;; Suche nach greeter-session = und schreibe diesen Teil neu (Kommentar auskommentieren, wenn kommentiert) $ sudo systemctl start lightdm ;; Die GUI sollte hier beginnen Klicken Sie nach dem Start mit der rechten Maustaste auf den Desktop, um das Terminal zu öffnen ;; Wie man Deepin Desktop benutzt, wird hier nicht behandelt $ sudo systemctl enable lightdm $ sudo shutdown -h now das ist alles! (Machen wir einen Schnappschuss)

Hadoop-Installation

Dieses Mal werden wir es so installieren, wie es ist, ohne einen neuen Hadoop-Benutzer zu erstellen. Wenn Sie einen neuen Benutzer erstellen möchten, erstellen Sie einen Hadoop-Benutzer wie "sudo useradd hadoop" und sudo passwd hadoop "und melden Sie sich an (" su --hadoop "). .. Wieder werden wir mit dem Benutzernamen ** test ** fortfahren.

Hadoop-Pfad

Ich habe es nicht im Detail untersucht, aber vielleicht wird Hadoop usw. wütend, wenn Sie direkt verlinken. Bitte geben Sie den Pfad des wget-Ziels von hadooop wie folgt ein.

• Zugriff auf http://www.apache.org/dyn/closer.cgi/hadoop/common/ --Wählen Sie einen geeigneten japanischen HTTP-Server (z. B. Tsukuba). --Wählen Sie hadoop-3.0.0
• Klicken Sie mit der rechten Maustaste auf hadoop-3.0.0.tar.gz --Kopieren Sie das Linkziel Wenn Sie jetzt die Virtualbox-Zwischenablage freigeben können, können Sie ganz einfach wget.

Hadoop-Installation

Starten Sie das erstellte ArchLinux (hier können Sie die Zwischenablage über die Virtualbox-Einstellungen freigeben).

 $ cd ~/Downloads

$ wget ;; Der Pass, den Sie gerade erhalten haben $ tar zxfv hadoop-3.0.0.tar.gz $ sudo cp -r ./hadoop-3.0.0 /usr/local/hadoop $ sudo chown -R test /usr/local/hadoop $ sudo mkdir /usr/local/hadoop_tmp $ sudo chown -R test /usr/local/hadoop_tmp $ cd /usr/local/hadoop $ ls ;; Bestätige, dass es verschiedene Dinge gibt (bin, etc, sbin, etc.) $ sudo emacs ~/.bashrc ### HADOOP PATHES ### export JAVA_HOME=/usr/lib/jvm/java-8-openjdk export HADOOP_HOME=/usr/local/hadoop export PATH=PATH:HADOOP_HOME/bin export PATH=PATH:HADOOP_HOME/sbin export HADOOP_MAPRED_HOME=HADOOP_HOME export HADOOP_COMMON_HOME=HADOOP_HOME export HADOOP_HDFS_HOME=HADOOP_HOME export YARN_HOME=HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=HADOOP_HOME/lib/native" export PATH=$PATH:/usr/local/hadoop/bin/ Fügen Sie am Ende ########################## zum Ende hinzu $ source ~/.bashrc $ sudo emacs ./etc/hadoop/hadoop-env.sh Export hinzugefügt JAVA_HOME = / usr / lib / jvm / java-8-openjdk / $ sudo emacs ./etc/hadoop/core-site.xml fs.defaultFS hdfs://localhost:9000 </ configuration> $ sudo emcas ./etc/hadoop/hdfs-site.xml dfs.replication 1 $ sudo emcas ./etc/hadoop/mapred-site.xml mapreduce.framework.name yarn $ sudo emacs ./etc/hadoop/yarn-site.xml yarn.nodemanager.aux-services mapreduce_shuffle $ cd ~ $ hdfs namenode -format ;; ;; SHUTDOWN_MSG: Das Herunterfahren von NameNode unter localhost / 127.0.0.1 sollte zurückkommen ... (manchmal kommt es als 192.168.1.11 zurück ...?) ;; Wenn es einen Teil gibt, in dem ERROR anstelle von INFO zurückgegeben wird, ist es besser, zur Fragenseite oder zu einem solchen Ort zu gehen $ start-all.sh $ jps
XXXX SecondaryNameNode XXXX NameNode XXXX ResourceManager XXXX NodeManager XXXX Jps Wenn es sich um XXXX DataNode handelt, ist es korrekt

Jetzt haben Sie Hadoop grob eingerichtet.

Dies ist ein ziemlich unbekannter Teil.

Normalerweise wird von hier aus "Zugriff auf http: // localhost: 50070!" Angezeigt, aber aus irgendeinem Grund funktioniert dies nicht. Ich bin mir nicht sicher warum, aber es scheint, dass die verfügbaren Portnummern unterschiedlich sind. Bitte überprüfen Sie Folgendes und führen Sie "http: // localhost: [hogehoge]" an einem Ende aus. In meiner Umgebung entsprachen 0.0.0.0:8XXX, 0.0.0.0:9XXX, 127.0.0.1:28XXX dem neu geschriebenen Ziel. Außerdem konnte localhost: 8088 eine Verbindung herstellen, wie sie ist.

$ netstat -an | grep LISTEN ;; <== hier ziemlich wichtig tcp 0 0 0.0.0.0:22 ..... LISTEN tcp 0 0 0.0.0.0:13562 ..... LISTEN tcp 0 0 127.0.0.1:9000 .... LISTEN tcp 0 0 ::::8088 .......... LISTEN