[LINUX] Résumé de la construction du système d'agrégation d'informations sur les cybermenaces (EXIST) et de la plate-forme de partage d'informations sur les logiciels malveillants (MISP) ②
introduction
«Un ancien collègue m'a parlé d'un OSS qui semble intéressant, alors je l'ai recherché et l'ai construit. Ici, il s'agit de résumer les parties et les procédures qui ont été parcourues lors de la construction.
- Lors de la construction avec la méthode ALL-in-One, j'ai fait une erreur lors de l'ajout d'un crash DiskFull-> LVM-> VM, probablement à cause de la taille des données acquises, j'ai donc décidé de le construire individuellement. --Je prévois d'écrire un article en 3 parties (partie commune / EXIST / MISP).
1. Prémisse
- Nous construisons à l'aide de Windows10pro Hyper-V dans les conditions suivantes. (Commun)
- Utilisez VMware ou vBOX comme vous le souhaitez
- Le système d'exploitation utilise la dernière version de CentOS 7 et est construit avec différentes machines virtuelles. (Commun)
- Étant donné que le comportement de CentOS 8 lui-même était instable dans l'environnement de vérification, nous avons pensé qu'il était nécessaire d'enquêter séparément sur la cause et avons sélectionné CentOS 7.
- Tous les comptes de construction sont des comptes root. (Commun)
- Les ressources VM sont vCPU: 2core, mem: 8 Go, DISK: 50 Go, Réseau: l'adresse IP est une distribution fixe en enregistrant l'adresse MAC avec DHCP. (Commun)
- L'utilisation moyenne de la mémoire est de 6 Go lors de l'exécution --DISK est de 50 Go car il dépasse 100% à 20 Go. --Installez Python ver3.6.x en utilisant pyenv. (EXIST) --Parce qu'une erreur se produit dans la version du package spécifié si Verison 3.7 ou version ultérieure
- Nous allons le construire sans utiliser venv, mais seulement l'installer. --git: Ver est 2.29.x (dernière en ce moment). (Commun) ―― 2.x peut être n'importe quoi --Installez comme il convient, comme wget / curl / tmux / htop. ―― Les personnes inutiles peuvent passer
- Désactivez le pare-feu et SElinux à vos risques et périls. (Commun) --Firewall a ensuite inclus l'ouverture de 8000 ports dans la procédure. --SElinux est désactivé au sol
2. Documentation du produit OSS
Système d'agrégation d'informations sur les cybermenaces (EXIST) Malware Information Sharing Platform(MISP)
3. Contenu de la construction
- pyenv
- Système d'agrégation d'informations sur les menaces cybernétiques (EXIST)
3-1. Installation de pyenv
Compte tenu de l'objectif de cette fois, je ne pense pas qu'il soit nécessaire de le faire avec pyenv, mais je le ferai ici en tenant compte des futures mises à jour.
# git clone https://github.com/pyenv/pyenv.git
Cloning into 'pyenv'...
remote: Enumerating objects: 18376, done.
remote: Total 18376 (delta 0), reused 0 (delta 0), pack-reused 18376
Receiving objects: 100% (18376/18376), 3.67 MiB | 2.80 MiB/s, done.
Resolving deltas: 100% (12514/12514), done.
#Peut-être pas nécessaire cette fois
# git clone https://github.com/pyenv/pyenv-virtualenv.git pyenv/plugins/pyenv-virtualenv
Cloning into 'pyenv/plugins/pyenv-virtualenv'...
remote: Enumerating objects: 2064, done.
remote: Total 2064 (delta 0), reused 0 (delta 0), pack-reused 2064
Receiving objects: 100% (2064/2064), 580.34 KiB | 753.00 KiB/s, done.
Resolving deltas: 100% (1413/1413), done.
#paramètre PATH pyenv
# vim ~/.bash_profile
export PYENV_ROOT="$HOME/.pyenv"
export PATH="$PYENV_ROOT/bin:/bin:$PATH"
eval "$(pyenv init -)"
#Refléter les paramètres ci-dessus dans le compte connecté
# source ~/.bash_profile
#Installez la version spécifiée
# pyenv install 3.6.12
Downloading Python-3.6.12.tar.xz...
-> https://www.python.org/ftp/python/3.6.12/Python-3.6.12.tar.xz
Installing Python-3.6.12...
WARNING: The Python bz2 extension was not compiled. Missing the bzip2 lib?
WARNING: The Python readline extension was not compiled. Missing the GNU readline lib?
WARNING: The Python sqlite3 extension was not compiled. Missing the SQLite3 lib?
Installed Python-3.6.12 to /root/.pyenv/versions/3.6.12
#Refléter n'importe quelle version du système
# pyenv global 3.6.12
#Confirmation de la réflexion
# python --version
#mise à jour de la commande pip(Sinon, vous obtiendrez une erreur plus tard)
# pip install --upgrade pip
pip 18.1 from /root/.pyenv/versions/3.6.12/lib/python3.6/site-packages/pip (python 3.6)
[root@exist opt]# pip install --upgrade pip
Collecting pip
Downloading https://files.pythonhosted.org/packages/cb/28/91f26bd088ce8e22169032100d4260614fc3da435025ff389ef1d396a433/pip-20.2.4-py2.py3-none-any.whl (1.5MB)
100% |################################| 1.5MB 7.5MB/s
Installing collected packages: pip
Found existing installation: pip 18.1
Uninstalling pip-18.1:
Successfully uninstalled pip-18.1
Successfully installed pip-20.2.4
A part: Si vous voulez le faire autrement que pyenv, utilisez la méthode suivante (actuellement la ver3.8.6 semble être installée)
# yum install python3 python3-libs python3-devel python3-pip
=====================================================================================================================
Package Arch Version Repository Size
=====================================================================================================================
Installing:
python3 x86_64 3.6.8-17.el7 base 70 k
python3-devel x86_64 3.6.8-17.el7 base 217 k
python3-libs x86_64 3.6.8-17.el7 base 6.9 M
python3-pip noarch 9.0.3-8.el7 base 1.6 M
Installing for dependencies:
dwz x86_64 0.11-3.el7 base 99 k
libtirpc x86_64 0.2.4-0.16.el7 base 89 k
perl-srpm-macros noarch 1-8.el7 base 4.6 k
python-rpm-macros noarch 3-34.el7 base 9.1 k
python-srpm-macros noarch 3-34.el7 base 8.8 k
python3-rpm-generators noarch 6-2.el7 base 20 k
python3-rpm-macros noarch 3-34.el7 base 8.1 k
python3-setuptools noarch 39.2.0-10.el7 base 629 k
redhat-rpm-config noarch 9.1.0-88.el7.centos base 81 k
zip x86_64 3.0-11.el7 base 260 k
Transaction Summary
=====================================================================================================================
Install 4 Packages (+10 Dependent packages)
3-2. Installation de EXIST
- La destination d'installation est supposée être "/ opt /" et sera installée avec un script.
# cd ~/
# git clone https://github.com/r4sd/exist_auto_install.git
Cloning into 'exist_auto_install'...
remote: Enumerating objects: 24, done.
remote: Counting objects: 100% (24/24), done.
remote: Compressing objects: 100% (18/18), done.
remote: Total 24 (delta 6), reused 20 (delta 5), pack-reused 0
Receiving objects: 100% (24/24), 6.83 KiB | 3.42 MiB/s, done.
Resolving deltas: 100% (6/6), done.
#
# cd exist_auto_install/
# . exist_install.sh
[info] Repository file successfully written to /etc/yum.repos.d/mariadb.repo
[info] Adding trusted package signing keys...
[info] Successfully added trusted package signing keys
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
Including mirror: ftp.tsukuba.wide.ad.jp
Including mirror: ftp.jaist.ac.jp
Including mirror: ftp.iij.ad.jp
Including mirror: ftp.yz.yamagata-u.ac.jp
Including mirror: ftp.nara.wide.ad.jp
* base: ftp.tsukuba.wide.ad.jp
Including mirror: ftp.ne.jp
Including mirror: ftp.yz.yamagata-u.ac.jp
* elrepo: ftp.ne.jp
Including mirror: ftp.yz.yamagata-u.ac.jp
* epel: ftp.yz.yamagata-u.ac.jp
Including mirror: ftp.tsukuba.wide.ad.jp
Including mirror: ftp.jaist.ac.jp
Including mirror: ftp.iij.ad.jp
|
|
réduction
|
|
Nothing to do
------------------------------------------------
Please execute [ systemctl start exist.service ]
Admin (root) DB Password: [nombre aléatoire]
User (exist) DB Password: [nombre aléatoire]
#
# systemctl start exist.service
4. Accéder au site
- Accédez à http: // [adresse IP du serveur: 8000] à partir de votre navigateur.
5. En fin de compte
- Comme l'installation manuelle est compliquée (même si j'y suis habitué), j'ai préparé un script, mais j'ai passé plus d'une journée à créer des problèmes en détail. --Grâce à la simplification du code et à l'approfondissement de la compréhension de la partie coopération, le résultat est OK (* ´ω ｀ *) ――La suite est la construction de MISP, mais avant cela, ajoutez l'enregistrement API, etc. à la fois ou UP avec 2.5.
6. Site de référence / Merci beaucoup
nict-csl/exist Création d'un système d'agrégation d'informations sur les cybermenaces EXIST J'ai installé NICT EXIST J'ai essayé de créer un SOC en interne ③ Construction #EXIST MISP vodkappa/misp-install-centos-7 EXPECT MariaDB 10.4.1 ~ l'authentification des utilisateurs est une histoire chaotique Mins/mysql_secure.sh
Recommended Posts