Automatic Concurrency Scaling - Qu'est ce que c'est ?

L'Automatic Concurrency Scaling est une fonctionnalité proposée par plusieurs fournisseurs de services Cloud de type Data Warehouses. Elle permet d'ajouter et de retirer automatiquement de la capacité de calcul en fonction de la demande des milliers d'utilisateurs concurrents.

Ce scaling automatique repose sur des Data Warehouses dites " multi-cluster ", composées de plusieurs clusters exécutant les requêtes. Les utilisateurs peuvent configurer le nombre minimum et le nombre maximum de clusters alloués à chaque entrepôt.

Le mode scaling automatique permet donc d'ajouter automatiquement de la capacité de cluster en cas d'augmentation des requêtes de lecture concurrentes. De cette manière, l'utilisateur reçoit davantage de puissance de calcul lorsqu'il en a besoin.

Dès lors que cette capacité additionnelle n'est plus nécessaire, elle est automatiquement supprimée. L'utilisateur n'a donc pas besoin de gérer manuellement le scaling.

Si le nombre de requêtes liées à une queue de scaling dépasse la concurrence maximale configurée, les requêtes éligibles sont transférées vers un autre cluster. Les temps de queue sont donc fortement réduits. Dès que la capacité se libère, les requêtes sont à nouveau effectuées sur le cluster principal.

Grâce à ce scaling automatisé, les utilisateurs peuvent profiter d'une vitesse et d'une capacité de traitement accrues. Un autre avantage est la capacité à augmenter le volume de données analysées sur la Data Warehouse sans pour autant réduire les performances. Il devient donc possible de profiter des avantages de l'analyse de données plus rapidement, et donc d'accélérer le retour sur investissement.

L'Automatic Concurrency Scaling permet aussi de remédier à l'une des principales faiblesses des Data Warehouses traditionnelles, dont les ressources de calcul sont fixes et ne s'adaptent pas en fonction du nombre de requêtes.

Cet avantage repose sur le fait que les Data Warehouses basées sur le cloud permettent la séparation du calcul et du stockage. De plus, le scaling est instantané et les utilisateurs ne paient donc que pour les ressources qu'ils utilisent. Les économies réalisées peuvent être conséquentes.

Cette fonctionnalité est idéale pour les volumes de requêtes élevés, puisqu'il permettra d'augmenter les performances de façon significative. Les utilisateurs peuvent donc faire face à l'augmentation des requêtes concurrentes et aux changements de charge survenant tout au long de la journée.

On retrouve ce mode de scaling automatique chez plusieurs fournisseurs de Data Warehouses Cloud. Cependant, il s'agit d'une innovation qui n'est pas encore démocratisée à tous les fournisseurs. Pour l'heure, ce mode est principalement proposé sur Amazon Redshift et sur la plateforme Snowflake, considérés comme les deux leaders dans ce domaine.