[GO] Ich habe versucht, das Active Record-Framework von Python zu erweitern

Als ich zur Firma kam, war es Active Record

Im Sommer 2015 trat ich einem AI-Startup bei. Es war zum ersten Mal seit 5 Jahren eine anständige Entwicklung.

Ich verwende Python Django (später Pythons Google App Engine). Es ist ein Framework, das Rails sehr ähnlich ist. Ich habe Rails vor ungefähr 7 Jahren berührt. So konnte ich mit der Idee des Frameworks Schritt halten.

Inkompetenz ausbrechen, Anti-Muster ausbrechen

Der tatsächlich in Betrieb befindliche Code war jedoch schrecklich. Und der Code des Serveringenieurs, der vor etwa einem Monat in das Unternehmen eingetreten war, enthielt den Zauber von Medapani.

Unten finden Sie eine Liste der auffälligen Symptome.

• Smart UI
• Zu viel Logik in der API-Ansicht --Smart Batch-Schnittstelle
• Zu viel Logik, genau wie bei Smart UI. Nachdem Sie die Argumentparameter analysiert haben, sollten Sie sie in eine andere Klasse übertragen, die eine konkrete Verarbeitung durchführt, oder?
• Modell, das die Rolle und Verantwortung nicht versteht --Duplizieren, aber Ansicht enthält auch Logik, und die Aufteilung der Rollen und Verantwortlichkeiten zwischen Modell und Ansicht ist unbekannt.
• Ein Modell verwendet ein anderes Modell zum Kombinieren und Verarbeiten von Daten
• Maschinenlernalgorithmus, der "hässliche Dinge abdeckt"
• Die Namensregeln sind durcheinander. Ich kopiere nur den vom Praktikanten geschriebenen Code. --Ausgabe nutzloser Abfragen und späterer Leistungsprobleme ... ――Ich möchte nur einen Belastungstest durchführen, habe aber keine Erfahrung damit ――Ich habe einige davon zu einem späteren Zeitpunkt mit JMeter getestet. ――Nun, ist Active Record aufgrund der AI-basierten Anforderungen zum Kneten von Daten nicht seltsam? ――Ich bin der Meinung, dass Flask + SQL Alchemy, das einen hohen Freiheitsgrad aufweist, die richtige Antwort war. ―― Nun, es scheint, dass es zu Beginn der Veröffentlichung keine Informationen gab ――Und es ist schwierig, umzukehren ...

Ich war verwirrt.

Warum ist das passiert

Ich dachte über die Ursache nach.

Ursache 1

Ich kann überhaupt nicht entwerfen und analysieren

――Es gibt überhaupt kein Dokument mit der Aufschrift "Weil es sich später ändern wird".

• Gedanken, die für die Person, die übernimmt, unfreundlich sind
• Kein grundlegendes Systemdesign ――Ich wollte mindestens einen Batch-Datenfluss und wichtige Bildschirmübergänge. --Marken "Sie können verstehen, indem Sie den Code lesen" in der ersten Phase der Zertifizierung als Shit Engineer
• Die Korngröße ist zu grob, selbst wenn ein Konstruktionsdokument vorhanden ist
• Ich habe UML noch nie gesehen ――Das Wichtigste auf der Serverseite ist das Tabellendesign und der Datenfluss, aber ich sage nur "Was ist es lecker?"
• Die Namenskonventionen für Tabellen, Klassen, Methoden und Variablen sind zu ungewöhnlich und schmerzhaft.
• Verwenden Sie Set oder List nicht im Namen der Model-Klasse
• Der Name der Methode beginnt nicht mit einem Verb

Ursache 2

Ich kenne keine Architekturmuster für Unternehmensanwendungen

• Es gab einen verdammten Ingenieur, der die Architektur nur mit Rails kennenlernen wollte »Nein, ich weiß, dass Rails einen guten Ingenieur hat. .. ..
• Wenn Sie sich nicht mit Microservice-Architektur oder domänengesteuertem Design auskennen, ist die Implementierung der Architektur zumindest schwierig
• Es gab AI-Code, kopieren Sie einfach den Code des Praktikanten und fügen Sie ihn in die Utils-Datei ein
• Wenn es sich um eine App oder einen Dienst handelt, der von einem Unternehmen veröffentlicht wurde, müssen Sie diese überprüfen. .. ..

Ursache 3

Der Manager ist ein Verkäufer und kennt die Herstellung und Herstellung von IT-Produkten zu wenig. Eines der Anti-Patterns für Startups besteht darin, dass Vertriebsleiter ohne ein gutes Verständnis des Technologiegeschäfts starten.

• Zu Amateur im Produktmanagement ――Wenn es zum Zeitpunkt der Gründung keinen CTO / Produktmanager gibt (CTO ist eingetreten und verbessert sich im Kampf)
• Benutzerinterviews wurden Personen ohne Fähigkeiten zugewiesen
• Der CEO ist ein Verkäufer. Obwohl ich den Code nicht schreibe, gehe ich nicht zu Interviews, bekomme Interviews von den Medien und betrete die Bühne bei Veranstaltungen. ――Ich hatte nur einmal ein Interview, aber ich erklärte und überzeugte ihn. Nein, der Zweck wäre es, die Probleme der Benutzer zu hören und genauer zu untersuchen. .. .. ――Ich denke, es kann notwendig sein, Spenden zu sammeln, aber das Überzeugendste ist das Produkt, nicht das Präsentationsmaterial. Was würden Sie tun, ohne Aktivitäten zur Verbesserung der Qualität durchzuführen? .. .. --COO ist ein Verkaufssystem. Ich habe es unter der Voraussetzung gemacht, ein Produkt zu verbessern, aber ich versuche es zu skalieren. ――Um die Problemhypothese, Lösungshypothese, Produkthypothese und Skalierungshypothese versuche ich zu skalieren, indem ich verschiedene Schritte und Überprüfungen überspringe.
• Meinungen basierend auf Lehrbuch des Unternehmers und Inspiriert Ist mit schneller PDCA verwechselt
• Zu Amateur im Projektmanagement ――Wenn Sie hören, dass die Entwicklungszeit einen Monat beträgt, verbleiben noch drei Wochen. ――Wenn ich dachte, dass ich in den verbleibenden zwei Wochen eine weitere Aufgabe erledigen und mit der Entwicklung beginnen würde, gab es eine Kundenpräsentation. Noch eine Woche. ―― Vor drei Tagen erfuhr ich, dass der letzte Tag der Entwicklung der Tag der Kundenpräsentation bei der unternehmensweiten MTG war. Es ist möglich, Meilensteine in die Entwicklungsphase einzubeziehen. .. .. Entwicklungsplan, 2 Tage vor dem Zeitplan. ――Wenn ich darauf hinwies, dass im unternehmensweiten MTG mir gesagt wurde, dass "die Serverseite nur die DB betrachtet". Ich habe den AI-Code zu diesem Zeitpunkt noch nicht erhalten und weiß nicht, was passieren wird, einschließlich der Datenstruktur. Am Ende habe ich die ganze Nacht über die Verbindung zur KI und zur GCE-Umgebung hergestellt.
• Produktqualität wird vernachlässigt ――Lieferzeitpriorität, vorerst freigeben ――Selbst wenn Sie uns die Anzahl der Schritte mitteilen, wird das Veröffentlichungsdatum aufgrund der Verhandlungsmacht vorverlegt. ――Für Wochenendarbeit und Erholung die ganze Nacht ――Wenn Sie krank werden, sollen Sie "schlecht bei der Arbeit" sein und "keinen Wert geben".
• Die Spezifikationen werden durch die interne Verhandlungsmacht bestimmt ――Selbst wenn Sie sich für Maßnahmen zur Verbesserung des Prozesses entscheiden, wurden Sie nie geschützt

Gegenmaßnahmen

Ursache 1 versuchte eine Lernsitzung des ICONIX-Prozesses. Klicken Sie hier für das Nachschlagewerk.

Lassen Sie uns über die Lösung für Ursache 2 sprechen.

Zusätzliche Informationen zum Active Record-Muster

Es ist irreführend, aber das Active Record-Muster hat nicht mit Rails begonnen. Es ist in Fowlers Enterprise Application Architecture Pattern beschrieben.

Ich verstehe, dass die View- und DB-Tabellen 1: 1 und die View: Model: Table 1: 1: 1 sind, wenn Sie das Model dazwischen einfügen. Es wird übernommen, wenn einfache Konfiguration, einfacher Service und komplizierte Funktionen nicht hinzugefügt werden.

Wenn das System jedoch komplexer wird und die Tabellen und Modelle wachsen, wird es schwierig. Es ist leicht, durcheinander zu kommen.

Obwohl es sich mit den oben genannten Symptomen überschneidet, denke ich, dass das Problem auch in mehrere Muster eingeteilt werden kann. Die dem Problemmuster entsprechenden Inhalte werden nachfolgend beschrieben.

Problemmuster 1: Logik ist in die Präsentationsschicht eingebettet

Ich habe die Ansicht und die Stapelschnittstelle auf nur drei Dinge beschränkt.

• Validierung von Anforderungs- und Argumentparametern
• In einigen Fällen wurden Eingabevalidatoren erstellt und übertragen. ――Aber es gibt zu viele, um sie zu reparieren. .. .. --request ・ Analysiert Argumentparameter und überträgt die Verarbeitung auf eine andere Ebene
• Für Ansichten packen Sie das zurückgegebene Objekt erneut in eine Antwort

Problemmuster 2: Es gibt einen Prozess, der mit anderen Modellen kombiniert werden kann

Einführung der Serviceschicht

Hier wird der Begriff serviceorientierte Architektur verwendet. So ein gewöhnlicher Typ.

Geändert, um Service-Layer-Methoden aus Ansichten und Batch-Schnittstellen auszuführen.

Vereinbarung von Begriffen

Der Anwendungscontroller ist im domänengesteuerten Design anwendbar. Beachten Sie, dass es sich von einem Dienst in einem domänengesteuerten Design unterscheidet (siehe Evans-Klassifizierung).

Es gibt auch ein Webpräsentationsmuster im Architekturmuster der Unternehmensanwendung, das auch einen Anwendungscontroller enthält.

Oh, es ist verwirrend.

Namensregeln

Bietet eine grobkörnige API für Ansichten. Die Namensregeln sind in die folgenden zwei Muster unterteilt.

--CRUD: XxxService mit nur einem Modell (Tabelle)

• Kombinieren Sie mehrere Modelle (Tabellen) CRUD: YyyEngine

Singleton

Es ist auch sinnlos, jedes Mal eine Instanz zu erstellen, wenn Sie sie aus einer Ansicht aufrufen. Rezept, um Singleton mit Klassendekorateur zu machen wurde übernommen.

Angepasstes QuerySet

Wenn JOIN in der Stapelverarbeitung schneller ist, kann es in einem Modell, das mit einem kombinierten QuerySet erweitert wurde, frei verwendet werden. Beschreiben Sie den Fall, in dem der Fremdschlüssel angebracht ist.

Angenommenes ER-Diagramm

Manchmal habe ich später ein Modell mit zusätzlichen Informationen aus dem Artikel erstellt.

Behandeln Sie diese JOIN-Daten wie ein Modell.

Grundmodell

Es sieht aus wie das.

models/item.py

class Item(models.Model):
    name = models.CharField(max_length=128, blank=True)
    description = models.CharField(max_length=1024, blank=True)
    image = mdoels.ImageField(upload_to='hoge', blank=True, null=True)

models/item_feature_1.py

class ItemFeature1(models.Model):
    item = models.ForeignKey(Item)
    feature_1 = models.TextField()

models/item_extra_info.py

class ItemExtraInfo(models.Model):
    item = models.ForeignKey(Item)
    info = models.TextField()

QuerySet, Manager, Modell für Join

QuerySet für den Beitritt sieht folgendermaßen aus. Angenommen, Sie verbinden sich mit select, wird nichts anderes berücksichtigt.

joined_query_set.py

class JoinedItemFeatureQuerySet(models.QuerySet):
    def __iter__(self):
        queryset = self.values(
            'id', 'name', 'description', 'image',
            'itemfeature1__feature_1',
            'itemextrainfo__info')

        results = list(queryset.iterator())

        instances = []
        for result in results:
            item_feature = self.model(
                result['id'],
                result['name'],
                result['description'],
                result['image']
            )
            item_feature.feature_1 = result['itemfeature1__feature_1']  #Modelleigenschaften hinzufügen / packen
            item_feature.info = result['itemextrainfo__info']

            instances.append(item_feature)

        return iter(instances)  #Zum Iteratorprotokoll umpacken

• Es scheint einen anderen besseren Weg zu geben. Es wäre vielleicht besser gewesen, "self._fetch_all ()" zu überschreiben und in "self._result_cache" zu packen.

custom_manager.py

class JoinedItemFeatureManager(models.Manager):
    def get_queryset(self):
        queryset = JoinedItemFeatureQuerySet(self.model, using=self._db)
        queryset = queryset.filter(del_flg=False, itemfeature1__isnull=False, itemextrainfo__isnull=False)  #Sei nicht null
        return queryset

joined_item_domain.py

class JoinedItemFeatureDomain(Item):
    objects = JoinedItemFeatureManager()

    class Meta:
        proxy = True  #Erstellen Sie keine Tabelle.

Sie können die Daten frei mit join_item_features = JoinedItemFeatureDomain.objects.filter (...) verwenden. .. .. Haz.

Problemmuster 3: Die Modellverarbeitung ist zu komplex

Methoden, die wiederverwendet werden können, sind mäßig abstrahiert (maschinelles Lernsystem usw.)

Es kann als Strategie ausgeschnitten oder als reine Berechnungsklasse wiederverwendet werden.

――Für Dinge, die später wiederverwendet oder in die einzigartige Bibliothek eines Unternehmens umgewandelt werden können

• Das trainierte Modell des maschinellen Lernsystems ist groß. Ich wollte es nicht oft laden, also habe ich es teilweise Singleton gemacht.
• Möglicherweise blieb der variable Speicher in der Mitte der Berechnung erhalten
• In einigen Fällen wurden nur die von pickle.dump vorhergesagten Parameter gespeichert.

Das Modell ist nur einer Tabelle zugeordnet, und die Verarbeitung wird in einer Unterklasse implementiert

In Django gibt es eine Methode namens Proxy-Modell, die ich in eine Unterklasse setze.

Unten finden Sie einen Auszug aus dem Code für mein persönliches Projekt.

intro/models/abstract_model.py

from django.contrib.auth.models import User
from django.db import models


class AbstractModel(models.Model):
    registered_at = models.DateTimeField(auto_created=True)
    registered_by = models.ForeignKey(User, related_name='%(class)s_registered_by')

    updated_at = models.DateTimeField(auto_now_add=True)
    updated_by = models.ForeignKey(User, related_name='%(class)s_updated_by')

    class Meta:
        abstract = True

intro/models/article.py

from django.contrib.auth.models import User
from intro.models.abstract_model import AbstractModel

class Article(AbstractModel):
    title = models.CharField(max_length=128)
    description = models.CharField(max_length=2048)
    author = models.ForeignKey(Author)  #Die Beschreibung der Author-Klasse wird weggelassen
    categories = models.ForeignKey(Category, null=True, blank=True)  #Kategorie Klassenbeschreibung weggelassen
    url = models.URLField()

intro/models/article_domain.py

from intro.models.article import Article
from intro.consts import DEFAULT_MECAB_PATH

class ArticleDomain(Article):
    class Meta:
        proxy = True

    def __init__(self, *args, **kwargs):
        # Do initialize...

    def __call__(self, mecab_path=None):
        if not mecab_path:
            self.mecab_path = DEFAULT_MECAB_PATH

    def parse_morpheme(self):
        # Do morpheme analysis

    @classmethod
    def train(cls, filter_params)
        authors = filter_params.get('author')
        articles = None
        if authors and articles:
            articles = Articles.objects.filter(authors__in=authors)
        # Do some extraction

        # Do training


    def predict(self, texts)
        # Do prediction

Einführung in den Testcode

Erstellen Sie beim Refactoring einen Komponententest mit from django.test import TestCase Offensichtlich sind die Aussichten für den Code durcheinander geraten

Implementierung von Unterklassen mit unterschiedlichen Datenextraktionsbedingungen (mit angepasstem QuerySet)

Die Datenextraktionsbedingung in get_queryset in der CustomManager-Klasse wurde so geändert, dass der CustomManager in der Proxy-Klasse enthalten ist.

Es funktionierte gut mit einem komplexen Domänenmodell für Stapel.

Die hexagonale Architektur wird für die Zusammenarbeit zwischen E-Mail-Übertragung und externen Diensten übernommen

Das Schreiben einer E-Mail-Sendeimplementierung im Modell oder das solide Zeichnen von urllib2 für die Verknüpfung mit externen Diensten ist umständlich.

Erstellt eine Gateway-Klasse für die externe Zusammenarbeit (in der obigen Abbildung als Adapter geschrieben) und erbt und verwendet die Gateway-Klasse in der Domänenmodellklasse oder Modellklasse (in der obigen Abbildung als Anwendung geschrieben). ..

Modellklassen verwenden normalerweise Convenience-Methoden, die von Superklassen geerbt wurden. Anschließend haben wir die Gateway-Klasse geerbt und praktische Methoden verwendet.

Schließlich

In Bezug auf Ursache 3 habe ich beschlossen, das Management aufzugeben und den Job zu wechseln (obwohl nur der CTO anständig ist).

Es wäre möglich gewesen, das Unternehmen zu verbessern, wenn wir uns die Zeit genommen hätten. Angesichts der Zeit, die Menschen brauchen, um sich zu verändern, der Geschwindigkeit, mit der die Technologie voranschreitet, und der Bedingungen anderer Unternehmen dachte ich jedoch, dass ich meine Zeit und mein Leben verschwenden würde, wenn ich bleiben würde. Ich bin nicht jung genug, um solche Abfälle zu tolerieren. Ich bin nicht jung genug, um mit den Erinnerungen anderer, die einsam sind, umzugehen.

Nicht nur für Startups, sondern auch für das Management als überaus wichtig.