[PYTHON] Beschleunigen Sie CI, indem Sie unnötige Pip-Installationen überspringen

Was du machen willst

Travis CI-Tests sind langsam und ich möchte sie beschleunigen. Wenn Sie sich das Protokoll ansehen, dauert die Pip-Installation lange. Besonders die Installation von numpy ist langsam. Außerdem möchte ich die Tatsache überspringen, dass die installierten Pakete jedes Mal verarbeitet werden, da sie im Cache-Verzeichnis angegeben sind.

Umgebung

• Ich benutze Travis CI
• Python 2.7.9 (derzeit)
• .pip-cache, das Verzeichnis virtualenv wird zwischengespeichert

.travis.yml

python:
- 2.7.9
cache:
  apt: true
  directories:
  - "$HOME/.pip-cache/"
  - "$HOME/virtualenv/python2.7.9"
before_install:
- sudo apt-get update
- sudo apt-get install XXX #Erforderliche Paketinstallation
install:
- pip install -r requirements.txt --download-cache $HOME/.pip-cache
#Unten weggelassen

Was ich getan habe

Ändern Sie das Installationselement so, dass der Installationsprozess nur den Unterschied zum Pip Freeze ausführt

.travis.yml

install:
- pip freeze | comm -13 - requirements.txt | grep -v '^#' | xargs pip install --download-cache $HOME/.pip-cache

• Ich habe versucht, den Befehl diff normal zu verwenden, aber er funktionierte auf dem Mac, aber in der Travis-Umgebung nicht. Es scheint sich um eine reine Bash-Methode zu handeln.
  • diff <(pip freeze | sort) <(cat requirements.txt | sort) | grep '^> ' | sed 's/^> //'
• Ich habe noch nie von dem Kommunikationsbefehl gehört. Praktisch.
• Da mit pip freeze möglicherweise eine Kommentarzeile angezeigt wird, setze ich `grep -v '^ #`

Aufgabe

Die durch Angabe des Tags aus dem Git-Repository installierte Zeile ist immer ein Unterschied, da der Hash-Wert des Commits in Pip Freeze angezeigt wird.

• requirements.txt
  • -e git://github.com/Example/hoge.git@tag#egg=hoge
• pip freeze
  • -e git://github.com/Example/hoge.git@ba34106b63048ba3d43140a09bd4f99140609da6#egg=hoge-origin/tag

Nun, ist es okay, weil die langsamste Nummer übersprungen wurde? Ich denke.