[PYTHON] Hinweise zur Verwendung von Colab Pro für ca. 2 Monate (gute / schlechte Punkte)

Was ist Google Colaboratory?

Eine kostenlose Jupyter Notebook-Umgebung, in der Sie Python-Code in Ihrem Browser schreiben und ausführen können. GPU kann auch verwendet werden, obwohl es Nutzungsbeschränkungen gibt.

Colab Pro Es handelt sich um eine kostenpflichtige Version (9,99 USD / Monat) von Google Colaboratory. Gegenüber der regulären Version gibt es verschiedene Vorteile. Derzeit nur in den USA (Vertrag erfordert US-Adresse und Kreditkarte).

Da ich in den USA lebe, habe ich mich gleichzeitig mit dem Start für Colab Pro angemeldet. Nachdem ich es ungefähr 2 Monate lang benutzt habe, habe ich ein Gefühl dafür bekommen, also werde ich eine Notiz über mein Know-how hinterlassen. Basierend auf Offizieller Text werde ich über die tatsächliche Situation (N = 1) schreiben, die ich verwendet habe.

** Informationen zum 13. Mai 2020. ** ** ** Dieser Service ist nicht ressourcengarantiert, daher ändern sich die den Benutzern zugewiesenen Ressourcen dynamisch. Daher kann es völlig wenig hilfreich sein, wenn die Zeit oder das Gebiet anders ist (z. B. wenn der Dienst in Japan startet). Bitte seien Sie vorsichtig.

guter Punkt

Die Hochleistungs-GPU wird grundsätzlich ständig zugewiesen

Registrieren Sie sich bei Colab Pro, um der schnellsten GPU Vorrang einzuräumen. Wenn einem nicht registrierten Benutzer beispielsweise eine K80-GPU zugewiesen wird, kann der registrierte Benutzer die T4- oder P100-GPU verwenden. TPU ist ebenfalls bevorzugt erhältlich.

In meinem Fall wurde Tesla-P100 standardmäßig zugewiesen (ich habe T4 nicht einmal in 2 Monaten getroffen), aber egal wie oft ich die GPU missbrauche, es ist nicht Tesla-P100. Wurde nie zugewiesen. Insbesondere habe ich die GPU fast die ganze Zeit (auf einem Notebook) für maschinelles Lernen für einen Monat ausgeführt und es ist in Ordnung.

Sie müssen sich nicht zu viele Gedanken über das Nutzungslimit machen, sondern können die GPU auf mehreren Notebooks gleichzeitig ausführen

Die kostenlose Version von Colab hat den Zugriff auf schnellere GPUs erheblich eingeschränkt und eine viel niedrigere Nutzungsbeschränkung als Colab Pro. Colab Pro ist nicht ohne Nutzungsbeschränkungen. Auch die in Colab Pro verfügbaren GPU- und TPU-Typen können sich in Zukunft ändern.

In der regulären Version wurde das Nutzungslimit erreicht, sobald die GPU teilweise verwendet wurde, in Pro ist sie jedoch fast verschwunden. Ich habe jedoch auch bestätigt, dass es keine Obergrenze für die Nutzung gibt. Es dauerte ungefähr einen halben Tag, um die GPU auf 4 Notebooks gleichzeitig auszuführen, und die GPU selbst wurde unbrauchbar, da unten gewarnt wurde, dass das Limit erreicht wurde. (Mir wurde empfohlen, Colab Pro beizutreten, obwohl ich Colab Pro bereits verwende).

Ohne solch extreme Nutzung wurde die Obergrenze jedoch nie erreicht, selbst wenn sie parallel betrieben wurde. Übrigens, selbst wenn das Nutzungslimit erreicht wurde, könnte es nach einigen Stunden verwendet werden. Der GPU wurde auch der Tesla P100 neu zugewiesen. Sie müssen also nicht so verängstigt sein.

Es kann 24 Stunden lang ununterbrochen ausgeführt werden, und es ist unwahrscheinlich, dass Zeitüberschreitungen auftreten.

Mit Colab Pro können Sie Ihr Notebook bis zu 24 Stunden lang mit relativ geringen Leerlaufzeiten in Verbindung halten. Die Verbindungszeit ist jedoch nicht garantiert und das Leerlaufzeitlimit kann sich ändern. Mit der kostenlosen Version von Colab kann Ihr Notebook bis zu 12 Stunden lang verwendet werden. Leerlaufzeitüberschreitungen sind viel strenger als bei Colab Pro.

Die Dauerbetriebszeit, die in der normalen Version 12 Stunden betrug, wurde auf 24 Stunden erhöht. Dies ist sehr wichtig, wenn Sie eine etwas schwere Verarbeitung durchführen. Es dauert ungefähr einen Tag, um die Studie abzuschließen, aber wenn ich das sage, ist es gut, die Studie fortzusetzen, die jedes Mal abgebrochen wurde, aber es wird verdorren, wenn ich es jedes Mal mache. Bisher hat der Prozess, solange er ausgeführt wird, nicht vor Ablauf von 24 Stunden angehalten, und ich erinnere mich, dass er in der regulären Version ziemlich stark angehalten hat.

Leerlaufzeitüberschreitung, dh die Zeit, in der die Laufzeitverbindung unterbrochen wird, wenn das Notebook nicht betrieben wird (auch wenn das Notebook geschlossen ist), aber ich habe das Gefühl, dass es länger geworden ist, aber ich habe auch das Gefühl, dass dies Anlass zur Sorge gibt. Selbst mit Pro scheint es nach ungefähr 30 Minuten ziemlich abgeschnitten zu sein. Ich habe das Gefühl, dass es mit der normalen Version früher abgeschnitten wurde, aber es kann an meinem Verstand liegen (mir wurde in der Vergangenheit gesagt, dass es in Colab eine 90-Minuten-Regel gibt). Ich habe Lust dazu, aber ich habe den Eindruck, dass es fast nie 90 Minuten dauert.

Speicher mit großer Kapazität kann verwendet werden

Mit Colab Pro haben Sie vorrangigen Zugriff auf VMs mit hohem Speicher. VMs mit hohem Speicher haben normalerweise doppelt so viel Speicher und CPU wie Standard-Colab-VMs. Colab Pro-Benutzer können die Verwendung von VMs mit hohem Speicher über ihre Notebook-Einstellungen aktivieren. Es kann auch automatisch eine VM mit hohem Speicher zugewiesen werden, wenn Colab dies für erforderlich hält. Ressourcen werden jedoch nicht garantiert, und VMs mit hohem Speicher haben Nutzungsbeschränkungen. Einstellungen für hohen Speicher sind in der kostenlosen Version von Colab nicht verfügbar, und Benutzern werden selten automatisch VMs mit hohem Speicher zugewiesen.

Natürlich konnte ich mit nur einem Klick problemlos eine High-Memory-VM (27G) einrichten. Es ist einfach (beachten Sie, dass es nur zugewiesen werden kann, wenn es wie eine GPU eingestellt ist). Bisher haben wir das Nutzungslimit für Speicher nie erreicht.

Billiger Preis

Sie können eine Hochleistungs-GPU bis zu einem gewissen Grad für 9,99 USD pro Monat verwenden. Ich denke, die Kostenleistung ist erstaunlich, weil es ziemlich teuer war, eine VM mit einer ähnlichen Konfiguration mit GCP zu erstellen.

Keine guten Punkte

Colab Pro ist der regulären Version nicht unterlegen, daher handelt die Hauptgeschichte von Colab selbst.

Schlechte Editor- und Debug-Umgebung

Der einzige Editor zum Bearbeiten von Dateien (.py usw.) außer dem Colab-Notizbuch ist der fast normale Colab-Standard-Notizblock oder ein zweifelhafter Cloud-Editor, der mit Google-Diensten verknüpft werden kann. Es ist schwer. Zum Debuggen [So machen Sie etwas mit magischen Befehlen](https://ja.stackoverflow.com/questions/62955/google-colaboratory%E3%81%A7%E3%81%AE%E3%83%87% E3% 83% 90% E3% 83% 83% E3% 82% B0% E3% 81% AE% E3% 82% 84% E3% 82% 8A% E6% 96% B9), über Drucken durch Teilen von Zellen in kleine Stücke .. Große Programme, die einen anständigen Debugger erfordern, sind möglicherweise überhaupt nicht für die Verarbeitung auf Colab geeignet.

Ich versuche, den Code auf Modulebene auf dem Basis-Colab nicht zu sehr zu verfälschen. Ich codiere und debugge leicht in der lokalen Umgebung und git push, bevor ich auf Colab ausgeführt werde, und führe jedes Mal ! Git pull in der Ausführungszelle von Colabs Knotenbuch aus, um mit der neuesten Version des Codes ausgeführt zu werden.

Die Synchronisierung mit Google Drive kann sich verzögern

Dies ist ein komplexes Problem der Zusammenarbeit zwischen Diensten und nicht von Colab. Der Synchronisierungszeitpunkt zwischen Dateien auf Google Drive und Colab ist jedoch möglicherweise nicht korrekt. Insbesondere wird es möglicherweise nicht synchronisiert, wenn Sie ein Skript wie .py bearbeiten und ausführen, und der bearbeitete Inhalt wird möglicherweise nicht wiedergegeben. Es ist gefährlich, weil es oft Insekten schleppt. Dies ist auch einer der Nachteile beim Schreiben von Code auf Colab oder Google Drive.

Wenn Sie in kurzer Zeit eine große Datei auf Google Drive erstellen, kann ein Problem auftreten.

Dies ist auf der Google Drive-Seite ein völliges Problem. Wenn jedoch in kurzer Zeit eine große Datenmenge generiert wird (Checkpoint beim maschinellen Lernen usw.), können Dateien für einen bestimmten Zeitraum nicht in Google Drive generiert werden (Speichern und Hochladen sind ebenfalls nicht möglich). Das Phänomen trat häufig auf. Es fühlte sich an, als würde es passieren, wenn es 100 Millionen pro Minute überschritt. Sobald die Datei nicht mehr generiert werden konnte, dauerte sie mehrere Stunden, was meine Arbeit behinderte. Daher musste vermieden werden, dass in kurzer Zeit eine große Datenmenge generiert wurde.

Es läuft in 24 Stunden ohne Fragen ab

Im Vergleich zu 12 Stunden ist die Erfahrung ganz anders, aber es ist immerhin ärgerlich, in der Mitte abzuschneiden. Es ist einfacher, einen Mechanismus zu implementieren, mit dem Sie aufhören können zu denken und das Lernen wieder aufnehmen können.

Die Verarbeitung wird möglicherweise gestoppt, wenn das Netzwerk instabil ist

Es handelt sich um ein vollständig lokales Problem, das jedoch mit der Zeit nicht mehr funktioniert, wenn das Netzwerk getrennt und das Notebook getrennt wird. Wie oben erwähnt, wird gesagt, dass diese Leerlaufzeitüberschreitungszeit auch länger als die normale Version ist, aber es ist nicht so offensichtlich. Ich habe den Eindruck, dass es aufgehört hat, es sei denn, ich bemerke es und kehre sofort zurück. Ich persönlich habe zu Hause eine instabile Leitung. Bevor ich ins Bett gehe, gehe ich aus der Ferne in einen PC mit einer stabilen Leitung und öffne ein Notebook (ich frage mich, was ich tue). ist).

Kann nur in den USA verwendet werden

Ich möchte, dass Sie den Dienst in Japan starten (dringend angefordert).

Zusammenfassung

Es war ein Memo von Colab Pro. Wir werden aktualisieren, wenn zusätzliche Informationen oder Änderungen vorliegen. Die Situation kann für jeden Benutzer unterschiedlich sein, daher würde ich mich freuen, wenn Sie Informationen (zu wenig Informationen) bereitstellen könnten. Bitte lassen Sie uns wissen, wenn Sie Ideen zur effektiven Verwendung von Colab haben.