Choix du model Django: IntegerField vs CharField

TL; DR : J'ai une table avec des millions d'instances et je me request comment l'indexer.

J'ai un projet Django qui utilise SQL Server comme backend de database.

Après avoir eu un model avec environ 14 millions d'instances dans l'environnement de production, j'ai réalisé que j'avais des problèmes de performance:

class UserEvent(models.Model) A_EVENT = 'A' B_EVENT = 'B' types = ( (A_EVENT, 'Event A'), (B_EVENT, 'Event B') ) event_type = models.CharField(max_length=1, choices=types) contract = models.ForeignKey(Contract) # field_x = (...) # field_y = (...) 

J'utilise beaucoup de requêtes basées dans ce domaine, et c'est très inefficace, puisque le champ n'est pas indexé. Le filtrage du model à l'aide de ce champ prend presque 7 secondes, alors que l'interrogation par une key étrangère indexée ne pose pas de problèmes de performances:

• Django avec plusieurs bases de données et routeurs spécifiques aux applications, impossible d'append des users dans MSSQL
• Erreur de restauration django-pyodbc-azuree avec une configuration précédente – ligne 389
• Problèmes de connection au server SQL Django-pydobc sous Windows
• Un bon moyen de crypter les champs de la database?
• Est-il possible d'utiliser des GUID dans django?

 UserEvent.objects.filter(event_type=UserEvent.B_EVENT).count() # elapsed time: 0:00:06.921287 UserEvent.objects.filter(contract_id=62).count() # elapsed time: 0:00:00.344261 

Quand j'ai réalisé cela, je me suis aussi posé une question: "Ce champ ne devrait-il pas être un SmallIntegerField? Comme je n'ai qu'un petit choix, les requêtes basées sur des champs entiers sont plus efficaces que les requêtes textuelles / varchar."

Donc, d'après ce que je comprends, j'ai deux options *:

* Je me rends count qu'une troisième option peut exister, puisque l' indexing des champs avec peu de cardinalité ne peut pas causer de sérieuses améliorations , mais comme mes valeurs ont une dissortingbution de [1% -99%] (et je cherche la partie 1%), indexing ce champ semble être une option valide.

• A) Il suffit d'indexer ce champ et de le laisser en tant que champ CharField.

   A_EVENT = 'A' B_EVENT = 'B' types = ( (A_EVENT, 'Event A'), (B_EVENT, 'Event B') ) event_type = models.CharField(max_length=1, choices=types, db_index=True) 

• B) Effectuer une migration pour transformer ce champ dans un SmallIntegerField (je ne veux pas qu'il soit un BooleanField, car il peut être possible d'append plus d'options au champ), puis indexer le champ.

   A_EVENT = 1 B_EVENT = 2 types = ( (A_EVENT, 'Event A'), (B_EVENT, 'Event B') ) event_type = models.SmallIntegerField(choices=types, db_index=True) 

Option A

Avantages: Simplicité

Inconvénients: les index basés sur CharField sont less efficaces que les index basés sur Integer

Option B

Avantages: Les index basés sur des nombres entiers sont plus efficaces que les index basés sur CharField

Inconvénients: Je dois effectuer une opération complexe:

1. Migration de schéma pour créer un nouveau SmallIntegerField
2. Migration de données copiant (et transformant) les millions d'instances de l'ancien champ vers le nouveau champ.
3. Mettez à jour le code de projet pour utiliser le nouveau champ ou effectuez une autre migration de schéma pour renommer le nouveau champ comme le précédent.
4. Supprimer l'ancien champ.

En résumé, la vraie question ici est:

L'amélioration des performances que j'obtiens en migrant le terrain vers un SmallIntegerField vaut le risque?

Je suis penché pour essayer l'option A et vérifier si les améliorations de performance sont adéquates.

J'ai aussi posé cette question à StackOverflow parce qu'une question plus générique s'est posée:

• Y at-il une situation où l'utilisation de CharFields selon les choix de Django est une meilleure option que l'utilisation de Boolean / Integer / SmallIntegerField?

Cette situation a été créée parce que lors de la définition des templates de projet, j'ai été inspiré par l' extrait de code de la documentation de Django :

 YEAR_IN_SCHOOL_CHOICES = ( ('FR', 'Freshman'), ('SO', 'Sophomore'), ('JR', 'Junior'), ('SR', 'Senior'), ) year_in_school = models.CharField(max_length=2, choices=YEAR_IN_SCHOOL_CHOICES, default=FRESHMAN) 

Pourquoi utilisent-ils des caractères quand ils pourraient utiliser des entiers, puisque c'est juste une représentation de valeur qui ne devrait jamais être montrée?

• Utilisation de Sql Server avec Django en production
• Python vs C # /. NET – Quelles sont les principales différences à considérer pour en utiliser une pour développer une application web volumineuse?

 UserEvent.objects.filter(event_type=UserEvent.B_EVENT).count() # elapsed time: 0:00:06.921287