Ich ging zu "Der Sommer ist in vollem Gange! Spark + Python + Data Science Festival".

http://connpass.com/event/34680/

Wie üblich habe ich mitten in der Sitzung teilgenommen, also habe ich das & macbook vergessen und ab der Mitte der ersten Ankündigung Notizen auf meinem iPhone gemacht, sodass ich der Meinung bin, dass Japanisch unpraktisch ist.

Ibis: Erstaunliche Pandas Eine umfassende Datenanalyse ist einfach

Herr Yasuaki Ariga (@chezou) von Cloudera

http://www.slideshare.net/Cloudera_jp/ibis-pandas-summerds

Demo mit Jupyter Notebook

Scikit-learn wird nach dem Erstellen von Lehrerdaten veröffentlicht

Im Vergleich zu PySpark

• Einfach einzurichten
• Schnell
• Als Referenz ist der zugrunde liegende Cloudera Impala siebenmal schneller als PySpark.

spark-sklearn

pip install ibis-framework Kann mit installiert werden

Wenn Sie Impala verwenden möchten, sollten Sie Clouderas Direktor verwenden.

Einführung des Empfehlungssystems in Ameba

Herr Haruka Naito, Cyber Agent

Übersicht über das Empfehlungssystem

Die folgenden drei Arten von Empfehlungssystemen werden in Ameba verwendet

• A.J.A. recommend
• phoenix ⇦ Das ist heute Kooperative Filterung Verwenden Sie Spark
• Kampf empfehlen

Verwendung des Empfehlungssystems

• Verwandte Hash-Tags
• Guru
• Lesezeit

Überblick

1. Aktivitätsprotokoll zu Hadoop
2. Senden Sie das Empfehlungsergebnis an hbase

• Erster Hash-Buchstabe als Salz auf dem Schlüssel (zur Verteilung)

1. Rückmeldung des Empfehlungsergebnisses imp / clk etc.

• Neueinstufung basierend auf CTR mit Bandet-Algorithmus

Item to Item collaborative filtering

Benutzerbasierte Co-Filterung

Basierend auf der Bewertung von Benutzern, die nahe beieinander liegen

Gegenstandsbasis

Basierend auf der Benutzerbewertung basierend auf dem Abstand zwischen Elementen Die Genauigkeit kann auch dann erreicht werden, wenn der Artikel weniger bewertet wird

Kosinusähnlichkeit

Teilen Sie die Anzahl der gleichzeitigen Vorkommen (Anzahl der doppelten Benutzer) durch die Summe der Quadratwurzeln der Elemente

Einfallsreichtum für jeden Fall

Halte es einfach

Ordnen Sie jedem Mitarbeiter eine Broadcast-Variable zu. Dadurch sind keine komplizierten Verknüpfungen mehr erforderlich

Ich möchte die Empfehlungsergebnisse auf neue beschränken

Erstellen Sie im Voraus einen Objektsatz (Filter) und filtern Sie die Ergebnisse

Leistungsoptimierung und Automatisierung der Empfehlungs-Engine mithilfe von Spark

Herr Nagato Kasaki, DMM.com Lab

Operationsgeschichte nach dem Erstellen

Übersicht über das Spark-Nutzungssystem

Funkenauslastung ab Februar 2015.

13 bis 168 Fälle mit 3 Ingenieuren Ich konnte damit umgehen, weil es automatisiert war

Ressourcen sind ungefähr 1,5 mal 230 CPUs / 580 GB bis 360 CPUs / 900 GB

Zeit von 3h bis 4h

Installationsautomatisierung

Da es viele Dienste gibt, ist es einfach, neue Dienste zu verwenden.

Wenn Sie einen Dienst hinzufügen möchten

1. Schreiben Sie ein Rezept
2. Führen Sie den Test gemäß den Rezept-Jenkins durch

• Bestätigter Betrieb in der Testumgebung

1. Leistung bei der Inszenierung
2. Freigabe für die Produktion

Da das Verhältnis der Anzahl der Benutzer und der Anzahl der Elemente je nach Dienst stark variiert, ist auch eine individuelle Abstimmung erforderlich.

Der Skalensinn beträgt 1 Million Benutzer oder 4 Millionen Produkte

Wir haben eine Artikelmatrix für alle Dienstleistungen → Empfehlungen zwischen Diensten sind ebenfalls möglich

Rangfolge

Zwei Arten von Algorithmen werden ordnungsgemäß verwendet

• User TO Element
• Artikel zu Artikel

1. Datenformung mit Hive
2. Nur Empfehlungsberechnung in Spark

• Zur Vereinfachung

3. Ausgabe mit Sqoop an DB

Das Rezept definiert die Parametereinstellungen für Hive, Spark und Sqoop in JSON.

Präzisionsabstimmung wird tatsächlich eingegeben und A / B getestet (es gibt akademische Bewertungsformeln, aber es gibt einige Dinge, die nicht verstanden werden können, ohne es zu versuchen). Die Leistung ist leicht zu verstehen und problematisch. Stellen Sie sie daher im Voraus ein

1. Auf der Suche nach einem Engpass
2. Beseitigen Sie die Datenverzerrung

Die Datenaufteilung schlägt manchmal aufgrund des Gesetzes von 20:80 fehl (in vielen Fällen ist sie voreingenommen, selbst wenn sie geteilt wird). Wenn Sie es gut teilen können, wird es von 3 Stunden auf 3 Minuten verkürzt

(Bearbeitung unten)

LT Rahmen

Funkenanfänger waren süchtig nach Empfehlungen

Festplattenentleerung beim Senden alle 15 Minuten Glas wird kopiert Senden, während der Cluster neu erstellt wird

Kleine Anzahl von Partitionen beim Laden aus BigQuery Executor kann nicht aufgebraucht werden Die Neupartitionierung ist wichtig

Nicht empfohlen Es gibt zu viele Benutzer, um direkte Produkte zu erhalten Zusammen in einem Benutzersatz verarbeitet

Empfehlung Optimierung der Motorleistung mit Spark

dag visualisation Mal sehen

Wenn nicht verteilt, verteilen Mischen Sie nicht mit einer großen Datenmenge

Mehrfach verwendetes Rdd wird zwischengespeichert

Option, bei CPU-Engpass nicht zu serialisieren

KryoSerializer ist doppelt so schnell