Quand j'ai rejoint l'entreprise, c'était Active Record

À l'été 2015, j'ai rejoint une startup d'IA. C'était un développement décent pour la première fois en 5 ans.

J'utilise Python Django (plus tard Google App Engine de Python). C'est un framework très similaire à Rails. J'ai touché Rails il y a environ 7 ans. J'ai donc pu suivre l'idée du cadre.

Outburst incompetence, outburst anti-pattern

Cependant, le code réellement en fonctionnement était terrible. Et le code de l'ingénieur serveur qui a rejoint l'entreprise il y a environ un mois contenait le charme de Medapani.

Vous trouverez ci-dessous une liste de symptômes visibles.

Smart UI
Trop de logique dans la vue API
Interface de lots intelligente
Trop de logique, tout comme Smart UI. Après avoir analysé les paramètres d'argument, vous devriez le transférer dans une autre classe qui effectue un traitement concret, non? --Modèle qui ne comprend pas le rôle et la responsabilité --Duplicate, mais View contient également une logique, et la répartition des rôles et des responsabilités entre Model et View est inconnue.
Un modèle utilise un autre modèle pour combiner et traiter les données
Algorithme d'apprentissage automatique qui "couvre les choses laides"
Les règles de dénomination sont faussées. Je copie juste le code écrit par le stagiaire.
Émettre des requêtes inutiles et des problèmes de performances ultérieurs ... ――Je veux juste faire un test de charge, mais je n'ai aucune expérience de le faire ――J'ai testé certains d'entre eux avec JMeter à une date ultérieure. ――Eh bien, Active Record n'est-il pas étrange en raison des exigences basées sur l'IA pour pétrir les données? «Je pense que Flask + SQL Alchemy, qui a un haut degré de liberté, était la bonne réponse. ――Eh bien, il semble qu'il n'y avait aucune information au début de la sortie ――Et c'est difficile de faire demi-tour ...

J'étais confus.

Pourquoi est-ce arrivé

J'ai pensé à la cause.

Cause 1

Je ne peux pas concevoir et analyser en premier lieu

――Il n'y a pas du tout de document disant "car cela changera plus tard"

Pensées hostiles à la personne qui prend le relais
Aucune conception de base du système ――Je voulais au moins un flux de données par lots et des transitions d'écran majeures. --Remarques "Vous pouvez comprendre en lisant le code" dans la première étape de la certification d'ingénieur de merde
Même s'il existe un document de conception, la taille du grain est trop grossière --Je n'ai jamais vu UML «L'important côté serveur est la conception des tables et le flux de données, mais je dis simplement« qu'est-ce que c'est délicieux?
Les conventions de dénomination des tables, classes, méthodes et variables sont trop rares et pénibles. --Ne pas utiliser Set ou List dans le nom de la classe Model
Le nom de la méthode ne commence pas par un verbe

Cause 2

Je ne connais pas les modèles d'architecture d'application d'entreprise

--Il y avait un putain d'ingénieur qui voulait connaître l'architecture uniquement avec Rails «Non, je sais que Rails a un bon ingénieur. .. ..

Au minimum, si vous ne connaissez pas l'architecture de microservice ou la conception axée sur le domaine, la mise en œuvre de l'architecture est difficile. --Il y avait du code AI, copiez et collez simplement le code du stagiaire et collez-le dans le fichier utils
S'il s'agit d'une application ou d'un service publié par une entreprise, vous devrez l'examiner. .. ..

Cause 3

Le directeur est un vendeur et est trop ignorant de la fabrication et de la fabrication de produits informatiques. L'un des anti-modèles de démarrage est que les directeurs des ventes commencent sans une bonne compréhension du secteur technologique.

Trop amateur en gestion de produits ――Lorsqu'il n'y a pas de CTO / chef de produit à partir du moment de la création (le CTO est entré et s'améliore tout en luttant)
Les entretiens avec les utilisateurs ont été attribués à des personnes sans compétences
Le PDG est un vendeur. Même si je n'écris pas le code, je ne vais pas aux interviews, n'obtiens pas d'interviews des médias et ne monte pas sur scène lors d'événements. «Je n'ai eu une interview qu'une seule fois, mais je l'ai expliqué et persuadé. Non, le but serait d'entendre et d'approfondir les problèmes rencontrés par les utilisateurs. .. .. «Je pense qu'il peut être nécessaire de collecter des fonds, mais le plus convaincant est le produit, pas le matériel de présentation. Que feriez-vous sans faire des activités pour améliorer sa qualité? .. .. --COO est un système de vente. Je l'ai fait dans le but d'améliorer un produit, mais j'essaie de le mettre à l'échelle. ――Parmi l'hypothèse du problème, l'hypothèse de la solution, l'hypothèse du produit et l'hypothèse de l'échelle, j'essaie de mettre à l'échelle en sautant diverses étapes et vérifications. -Opinions basées sur Manuel de l'entrepreneur et Inspired Est confondu avec PDCA rapide
Trop amateur en gestion de projet ――Lorsque vous entendez que la période de développement est d'un mois, il reste trois semaines. HenLorsque j'ai pensé que j'allais terminer une autre tâche et commencer le développement dans les deux semaines restantes, il y a eu une présentation client. Reste une semaine. «Il y a trois jours, j'ai appris que le dernier jour du développement était le jour de la présentation client au MTG à l'échelle de l'entreprise. Il est possible d'inclure des jalons dans la période de développement. .. .. Calendrier de développement, 2 jours d'avance sur le calendrier. «Quand j'ai fait remarquer que dans le MTG à l'échelle de l'entreprise, on m'a dit que" le côté serveur ne regarde que la base de données ". Je n'ai pas reçu le code AI à ce moment-là et je ne sais pas ce qui va se passer, y compris la structure des données. ――A la fin, j'ai fait la connexion avec l'IA et l'environnement GCE toute la nuit dans le temps.
La qualité du produit est négligée ――Priorité du délai de livraison, libération pour le moment ――Même si vous nous indiquez le nombre d'étapes, la date de sortie sera avancée en raison du pouvoir de négociation. ――Pour le travail du week-end et la récupération toute la nuit ――Quand tu tombes malade, on dit que tu es «mauvais au travail» et «ne donne pas de valeur»
Les spécifications sont déterminées par le pouvoir de négociation interne ――Même si vous décidez des mesures pour améliorer le processus, vous n'avez jamais été protégé

Contre-mesures

La cause 1 a tenté une session d'étude du processus ICONIX. Cliquez ici pour le livre de référence.

Parlons de la solution pour la cause 2.

Informations supplémentaires sur le modèle d'enregistrement actif

C'est trompeur, mais le modèle Active Record n'a pas commencé avec Rails. Il est décrit dans [Enterprise Application Architecture Pattern] de Fowler (https://www.amazon.co.jp/dp/B01B5MX2O2).

Je comprends que les tables View et DB sont 1: 1 et que View: Model: Table est 1: 1: 1 si vous incluez le modèle entre les deux. Il est adopté lorsque la configuration simple, le service simple et les fonctions compliquées ne sont pas ajoutés.

Cependant, au fur et à mesure que le système devient plus complexe et que les tables et les modèles se développent, cela devient difficile. Il est facile de se tromper.

Bien qu'il chevauche les symptômes ci-dessus, je pense que le problème peut également être classé en plusieurs modèles. Le contenu correspondant au modèle de problème est décrit ci-dessous.

Modèle de problème 1: la logique est intégrée dans la couche de présentation

J'ai limité la vue et l'interface par lots à seulement trois choses.

--Validation des paramètres de requête et d'argument

Dans certains cas, des validateurs d'entrée ont été créés et transférés. ――Mais il y en a trop à réparer. .. .. --request ・ Analyser les paramètres d'argument et transférer le traitement vers une autre couche --Pour les vues, reconditionnez l'objet retourné en réponse

Modèle de problème 2: il existe un processus à combiner avec d'autres modèles

Introduction de la couche de service

Le terme architecture orientée services est utilisé ici. Un type si ordinaire.

Modifié pour exécuter les méthodes de couche de service à partir des vues et des interfaces de lot

Arrangement des termes

Le contrôleur d'application est applicable dans la conception pilotée par domaine. Notez qu'il est différent de ce que l'on appelle un service dans une conception pilotée par domaine (voir Classification Evans).

Il existe également un modèle de présentation Web dans le modèle d'architecture d'application d'entreprise, qui possède également un contrôleur d'application.

Oh, c'est déroutant.

Règles de dénomination

Fournit une API grossière pour les vues. Les règles de dénomination sont divisées selon les deux modèles suivants.

--CRUD: XxxService avec un seul modèle (tableau) --Combinez plusieurs modèles (tableaux) CRUD: YyyEngine

Singleton

Il est également inutile de créer une instance à chaque fois que vous l'appelez depuis une vue. Recette pour la singletonisation avec le décorateur de classe a été adoptée.

QuerySet personnalisé

Si JOIN est plus rapide dans le traitement par lots, il peut être librement utilisé dans un modèle étendu avec un QuerySet combiné. Décrivez le cas où la clé étrangère est apposée.

Diagramme ER supposé

Parfois, j'ai créé un modèle avec des informations supplémentaires sur l'élément plus tard.

Untitled Diagram.png

Traitez ces données JOIN comme s'il s'agissait d'un modèle.

Modèle de base

Ça ressemble à ça.

`models/item.py`


class Item(models.Model):
    name = models.CharField(max_length=128, blank=True)
    description = models.CharField(max_length=1024, blank=True)
    image = mdoels.ImageField(upload_to='hoge', blank=True, null=True)

`models/item_feature_1.py`


class ItemFeature1(models.Model):
    item = models.ForeignKey(Item)
    feature_1 = models.TextField()

`models/item_extra_info.py`


class ItemExtraInfo(models.Model):
    item = models.ForeignKey(Item)
    info = models.TextField()

QuerySet, Manager, Model for join

QuerySet pour rejoindre ressemble à ceci. En supposant que vous rejoignez select, rien d'autre n'est pris en compte.

`joined_query_set.py`


class JoinedItemFeatureQuerySet(models.QuerySet):
    def __iter__(self):
        queryset = self.values(
            'id', 'name', 'description', 'image',
            'itemfeature1__feature_1',
            'itemextrainfo__info')

        results = list(queryset.iterator())

        instances = []
        for result in results:
            item_feature = self.model(
                result['id'],
                result['name'],
                result['description'],
                result['image']
            )
            item_feature.feature_1 = result['itemfeature1__feature_1']  #Ajouter / emballer les propriétés du modèle
            item_feature.info = result['itemextrainfo__info']

            instances.append(item_feature)

        return iter(instances)  #Reconditionner au protocole de l'itérateur

Il semble y avoir une autre meilleure façon. Il aurait peut-être été préférable de remplacer self._fetch_all () et de le mettre dans self._result_cache.

`custom_manager.py`


class JoinedItemFeatureManager(models.Manager):
    def get_queryset(self):
        queryset = JoinedItemFeatureQuerySet(self.model, using=self._db)
        queryset = queryset.filter(del_flg=False, itemfeature1__isnull=False, itemextrainfo__isnull=False)  #Ne soyez pas nul
        return queryset

`joined_item_domain.py`


class JoinedItemFeatureDomain(Item):
    objects = JoinedItemFeatureManager()

    class Meta:
        proxy = True  #Ne créez pas de tableau.

Vous pouvez utiliser les données librement avec join_item_features = JoinedItemFeatureDomain.objects.filter (...). .. .. Haz.

Modèle de problème 3: le traitement du modèle est trop / complexe

Les méthodes réutilisables sont modérément abstraites (système d'apprentissage automatique, etc.)

Il peut être découpé en tant que stratégie ou réutilisé en tant que classe de calcul uniquement.

――Pour les choses qui peuvent être réutilisées plus tard ou qui peuvent être transformées en bibliothèque unique d'une entreprise

Le modèle entraîné du système d'apprentissage automatique est de grande taille. Je ne voulais pas le charger plusieurs fois, alors je l'ai fait en partie singleton.
Peut-être que la mémoire des variables au milieu du calcul est restée
Dans certains cas, seuls les paramètres prédits par pickle.dump ont été enregistrés.

Le modèle n'est associé qu'à une table et le traitement est implémenté dans une sous-classe

Dans Django, il existe une méthode appelée modèle proxy, et je la place dans une sous-classe.

Ci-dessous, un extrait du code de mon projet personnel.

`intro/models/abstract_model.py`


from django.contrib.auth.models import User
from django.db import models


class AbstractModel(models.Model):
    registered_at = models.DateTimeField(auto_created=True)
    registered_by = models.ForeignKey(User, related_name='%(class)s_registered_by')

    updated_at = models.DateTimeField(auto_now_add=True)
    updated_by = models.ForeignKey(User, related_name='%(class)s_updated_by')

    class Meta:
        abstract = True

`intro/models/article.py`



from django.contrib.auth.models import User
from intro.models.abstract_model import AbstractModel

class Article(AbstractModel):
    title = models.CharField(max_length=128)
    description = models.CharField(max_length=2048)
    author = models.ForeignKey(Author)  #La description de la classe Author est omise
    categories = models.ForeignKey(Category, null=True, blank=True)  #Catégorie Description de la classe omise
    url = models.URLField()

`intro/models/article_domain.py`


from intro.models.article import Article
from intro.consts import DEFAULT_MECAB_PATH

class ArticleDomain(Article):
    class Meta:
        proxy = True

    def __init__(self, *args, **kwargs):
        # Do initialize...

    def __call__(self, mecab_path=None):
        if not mecab_path:
            self.mecab_path = DEFAULT_MECAB_PATH

    def parse_morpheme(self):
        # Do morpheme analysis

    @classmethod
    def train(cls, filter_params)
        authors = filter_params.get('author')
        articles = None
        if authors and articles:
            articles = Articles.objects.filter(authors__in=authors)
        # Do some extraction

        # Do training


    def predict(self, texts)
        # Do prediction

Présentation du code de test

Créez un test unitaire avec from django.test import TestCase lors de la refactorisation De toute évidence, les perspectives pour le code ont été faussées

Implémentation de sous-classes avec différentes conditions d'extraction de données (avec QuerySet personnalisé)

Modification de la condition d'extraction de données dans get_queryset dans la classe CustomManager afin que le CustomManager soit conservé dans la classe proxy.

Cela fonctionnait bien avec un modèle de domaine complexe pour les lots.

L'architecture hexagonale est adoptée pour la transmission de courrier électronique / la coopération de services externes

Ecrire une implémentation d'envoi de courrier électronique dans le modèle ou dessiner solidement urllib2 pour la liaison vers des services externes est gênant.

Création d'une classe Gateway pour la coopération externe (écrite comme adaptateur dans la figure ci-dessus), et hérité et utilisation de la classe Gateway dans la classe de modèle de domaine ou la classe de modèle (écrite comme Application dans la figure ci-dessus). ..

Les classes de modèle utilisent généralement des méthodes de commodité héritées des superclasses. Ensuite, nous avons hérité de la classe Gateway et utilisé des méthodes pratiques.

finalement

En ce qui concerne la cause 3, j'ai décidé de renoncer à la gestion et de changer de poste (même si seul le CTO est décent).

Il aurait peut-être été possible d'améliorer l'entreprise si nous avions pris le temps. Cependant, compte tenu du temps qu'il faut aux gens pour changer, de la vitesse à laquelle la technologie progresse et des conditions d'autres entreprises, j'ai pensé que si je restais, je perdrais mon temps et ma vie. Je ne suis pas assez jeune pour tolérer un tel gaspillage. Je ne suis pas assez jeune pour gérer les souvenirs des autres qui sont seuls.

Non seulement pour les startups, mais la direction l'a reconnu comme très important.

[GO] J'ai essayé d'étendre le framework Active Record de Python