J'ai eu du mal à essayer d'accéder à Hadoop3.0.0 depuis un navigateur (et ArchLinux)

Si vous essayez d'établir une connexion HTTP avec Hadoop mais que cela ne fonctionne pas du tout, consultez "Ceci est une partie assez inconnue" en bas.

Je veux utiliser Opentsdb!

Si vous pensez que oui, vous devez commencer par penser à Hadoop. J'étais. Et ce Hadoop, juste l'autre jour 3.0.0 est sorti, et j'étais au chaud avec le 2ème système jusque-là, et j'étais inquiet en me rasant la tête et en laissant tomber mes cheveux.

Explication environnementale, etc.

En gros, c'est openjdk-8 d'Arch Linux (EFI) dans VirtualBox. Supposons que les opensh et standard sont corrects. Le nom d'utilisateur est sous la forme ** test **, alors remplacez-le par "vagrant" ou ce que vous voulez. De plus, cette fois, nous expliquerons jusqu'à la pseudo-distribution.

Installation d'arc

Si vous entrez Oui ou une chaîne de caractères, cela se déroulera de manière fluide.

#ls / sys / firmware / efi / efivars ;; Assurez-vous qu'il est à l'intérieur #parted /dev/sda () mklabel gpt () mkpart ESP fat32 1MiB 513MiB () set 1 boot on () mkpart primary ext4 513MiB 100% () quit

lsblk / dev / sda ;; Vérifier sda1 et sda2

# mkfs.vfat -F32 /dev/sda1
# mkfs.ext4 /dev/sda2
# mount /dev/sda2 /mnt
# mkdir /mnt/boot && mount /dev/sda1 /mnt/boot
# nano /etc/pacman.d/mirrorlist

;; Amenez le serveur japonais au sommet ;; C-W Japon / Sélectionner la plage avec Shift / Couper avec C-k / Coller avec C-u # pacman -Syyu archlinux-keyring # pacstrap /mnt base base-devel # genfstab -U /mnt >> /mnt/etc/fstab # arch-chroot /mnt # ln -sf /usr/share/zoneinfo/Asia/Tokyo /etc/localtime # hwclock --systohc --utc # nano /etc/locale.gen en_US.UTF-8 UTF-8 ja_JP.UTF-8 UTF-8 ajouté # locale-gen # echo LANG=en_US.UTF-8 > /etc/locale.conf

echo localhost >> / etc / hostname ;; C'était mieux quand j'ai essayé hadoop

nano / etc / hosts ;; important ici

    127.0.0.1 localhost.localdomain localhost

Mis à jour à 192.168.1.31 test.localdomain test! # mkinitcpio -p linux # passwd ;; à ce que vous voulez # pacman -S grub efibootmgr # grub-install --target=x86_64-efi --efi-directory=/boot --bootloader-id=arch_grub --recheck # mkdir /boot/EFI/boot # cp /boot/EFI/arch_grub/grubx64.efi /boot/EFI/boot/bootx64.efi # grub-mkconfig -o /boot/grub/grub.cfg # exit # umount -R /mnt ;; virtualbox menu => supprimer le disque iso # reboot login : root passwd: ;; Ce que je viens de mettre # systemctl enable dhcpcd & systemctl start dhcpcd # systemctl status dhcpcd ;; Confirmez qu'il fonctionne correctement

useradd -m test ;; vagrant pour les utilisateurs de vagarnt

# paddwd test 

;; l'utilisateur vagabond doit être vagabond ... # EDITOR=nano visudo test ALL = (ALL) NOPASSWD: Ajouter TOUT à n'importe quel endroit # pacman -S openssh wget # systemctl enable sshd.service # systemctl start sshd.service # systemctl status sshd.service ;; Assurez-vous que le service sshd est activé # pacman -S emacs git curl jre8-openjdk jdk8-openjdk # su - test $ sudo emacs /etc/pacman.conf [archlinuxfr] SigLevel = Never Serveur ajouté = http://repo.archlinux.fr/$arch [multilib] Include = Supprimer le commentaire de /etc/pacman.d/mirrorlist $ sudo pacman --sync --refresh yaourt $ sudo pacman -Syu yaourt $ sudo emacs /etc/yaourtrc Ajout de TMPDIR = "/ home / test / Downloads" $ sudo pacman -S virtualbox-guest-modules-arch $ sudo modprobe -a vboxguest vboxsf vboxvideo $ sudo emacs /etc/modules-load.d/virtualbox.conf vboxguest vboxsf Ecrire vboxvideo $ sudo pacman -S virtualbox-guest-utils $ sudo systemctl enable vboxservice $ sudo systemctl start vboxservice $ sudo systemctl status vboxservice $ sudo reboot login : test mot de passe: ;; Ce que je viens de mettre $ ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys $ sudo emacs /etc/ssh/sshd_config

AuthorizedKeysFile Commenter .ssh / allowed_keys

$ ssh localhost
$ exit
$ sudo pacman -S xorg xorg-server deepin
$ sudo pacman -S deepin-extra
$ sudo systemctl enable deepin-desktop
$ sudo emacs /etc/lightdm/lightdm.conf

Remplacé par greeter-session = lightdm-deepin-greeter ;; Rechercher greeter-session = et réécrire cette partie (décommenter si commentée) $ sudo systemctl start lightdm ;; L'interface graphique devrait commencer ici ;; Une fois démarré, faites un clic droit sur le bureau pour ouvrir le terminal ;; L'utilisation de deepin desktop n'est pas traitée ici $ sudo systemctl enable lightdm $ sudo shutdown -h now c'est tout! (Prenons un instantané)

Installation de Hadoop

Cette fois, nous allons l'installer tel quel sans créer un nouvel utilisateur hadoop. Si vous voulez créer un nouvel utilisateur, créez un utilisateur hadoop tel que sudo useradd hadoop `` `` sudo passwd hadoop et connectez-vous (`` su --hadoop```). .. Encore une fois, nous allons procéder avec le nom d'utilisateur ** test **.

Chemin Hadoop

Je ne l'ai pas étudié en détail, mais peut-être que hadoop, etc. se mettra en colère si vous créez un lien direct, alors veuillez obtenir le chemin de la destination wget de hadooop comme suit. --Accès http://www.apache.org/dyn/closer.cgi/hadoop/common/

• Sélectionnez un serveur japonais approprié pour http (tel que tsukuba) --Sélectionnez hadoop-3.0.0 --Cliquez droit sur hadoop-3.0.0.tar.gz --Copier la destination du lien Maintenant, si vous pouvez partager le presse-papiers de virtualbox, vous pouvez facilement wget.

Installation de Hadoop

Lancez l'ArchLinux créé (ici, permet de partager le presse-papiers à partir des paramètres de la virtualbox)

 $ cd ~/Downloads

$ wget ;; Le pass que vous venez d'obtenir $ tar zxfv hadoop-3.0.0.tar.gz $ sudo cp -r ./hadoop-3.0.0 /usr/local/hadoop $ sudo chown -R test /usr/local/hadoop $ sudo mkdir /usr/local/hadoop_tmp $ sudo chown -R test /usr/local/hadoop_tmp $ cd /usr/local/hadoop $ ls ;; Confirmez qu'il y a plusieurs choses (bin, etc, sbin, etc.) $ sudo emacs ~/.bashrc ### HADOOP PATHES ### export JAVA_HOME=/usr/lib/jvm/java-8-openjdk export HADOOP_HOME=/usr/local/hadoop export PATH=PATH:HADOOP_HOME/bin export PATH=PATH:HADOOP_HOME/sbin export HADOOP_MAPRED_HOME=HADOOP_HOME export HADOOP_COMMON_HOME=HADOOP_HOME export HADOOP_HDFS_HOME=HADOOP_HOME export YARN_HOME=HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=HADOOP_HOME/lib/native" export PATH=$PATH:/usr/local/hadoop/bin/ Ajouter ######################## à la fin $ source ~/.bashrc $ sudo emacs ./etc/hadoop/hadoop-env.sh Ajout de l'exportation JAVA_HOME = / usr / lib / jvm / java-8-openjdk / $ sudo emacs ./etc/hadoop/core-site.xml fs.defaultFS hdfs://localhost:9000 </ configuration> $ sudo emcas ./etc/hadoop/hdfs-site.xml dfs.replication 1 $ sudo emcas ./etc/hadoop/mapred-site.xml mapreduce.framework.name yarn $ sudo emacs ./etc/hadoop/yarn-site.xml yarn.nodemanager.aux-services mapreduce_shuffle $ cd ~ $ hdfs namenode -format ;; ;; SHUTDOWN_MSG: l'arrêt de NameNode à localhost / 127.0.0.1 devrait revenir ... (parfois il revient sous la forme 192.168.1.11 ...?) ;; S'il y a une partie où ERROR est retourné au lieu de INFO, il vaut mieux aller sur le site de la question ou à l'endroit comme ça $ start-all.sh $ jps
XXXX SecondaryNameNode XXXX NameNode XXXX ResourceManager XXXX NodeManager XXXX Jps S'il s'agit de XXXX DataNode, c'est correct

Vous avez maintenant grossièrement configuré Hadoop.

C'est une partie assez inconnue.

Normalement, à partir d'ici, "Accédons à http: // localhost: 50070!" S'affiche, mais pour une raison quelconque, cela ne fonctionne pas. Je ne sais pas pourquoi, mais il semble que les numéros de port disponibles soient différents. Veuillez vérifier comme suit et faire "http: // localhost: [hogehoge]" d'un bout. Dans mon environnement, 0.0.0.0:8XXX, 0.0.0.0:9XXX, 127.0.0.1:28XXX correspondaient à la destination réécrite. De plus, localhost: 8088 a pu se connecter tel quel.

$ netstat -an | grep LISTEN ;; <== assez important ici tcp 0 0 0.0.0.0:22 ..... LISTEN tcp 0 0 0.0.0.0:13562 ..... LISTEN tcp 0 0 127.0.0.1:9000 .... LISTEN tcp 0 0 ::::8088 .......... LISTEN