Articles of etl

Datastage – Exécuter le file de requête sql défini par l'user en utilisant le connecteur odbc

À l'aide de DataStage, je dois lire un file séquentiel contenant une instruction sql, exécuter cette instruction sql et générer les résultats dans un file séquentiel. Voici ce que j'ai essayé: En utilisant un connecteur Oracle, j'ai simplement défini l'option "Read Selected statement from File", j'ai entré l'location du file qui contient le SQL stmt, […]

SSIS ETL Transform-Load Comment gérer Créer / Mettre à jour (ie UPSERT) pour des données de table de key étrangère?

J'effectue l'ETL sur un set de tables Office , Employee , Location en suivant la pratique standard consistant à importer toutes datatables dans des tables de transfert, d'abord via des packages d' extraction , puis en effectuant Transform-Load sur chaque table de transfert pour get le données dans la (les) table (s) respective (s). Dans […]

Comment split la table pour le chargement parallèle

Quelle option de division est la meilleure (à des fins de performance) basée sur une colonne d'index clusterisée ou sur une partition (la même colonne)? Je dois split le tableau pour le charger en parallèle en utilisant SSIS (SQL Server 2008 R2 Enterprise Edition) vers Oracle 11. La première option crée Clustered Index Seek en […]

Limiter les lignes dans ETL sans colonne de date pour Cue

Nous avons deux grandes tables (Clients et Contacts) qui subissent un process ETL chaque nuit, étant insérées dans un seul tableau "Personnes" dans l'entrepôt de données. Cette table est utilisée dans beaucoup d'endroits et ne peut pas être modifiée de manière significative sans beaucoup de travail. Les tables source sont peuplées par un logiciel tiers; […]

Comment charger un file dll dans SSIS qui n'est pas dans le GAC

J'essaye de charger une DLL dans un projet SSIS qui n'est pas dans un GAC. J'ai suivi le code suivant d' ici le code: [Microsoft.SqlServer.Dts.Tasks.ScriptTask.SSISScriptTaskEntryPointAtsortingbute] public partial class ScriptMain : Microsoft.SqlServer.Dts.Tasks.ScriptTask.VSTARTScriptObjectModelBase { static ScriptMain() { AppDomain.CurrentDomain.AssemblyResolve += new ResolveEventHandler(CurrentDomain_AssemblyResolve); } static System.Reflection.Assembly CurrentDomain_AssemblyResolve(object sender, ResolveEventArgs args) { if (args.Name.Contains("ssisHelper")) { ssortingng path = @"c:\temp\"; return […]

Comment package SSIS exécute automatiquement un jour?

Est-ce que quelqu'un sait quoi faire pour SSIS package un jour automatiquement exécuté? J'utilise SQL Server Management Studio Express 2012, VS2015 et SSDT 2015. Je sais que dans SQL Server Management Studio 2012 Express n'est pas un travail SQL Server Agent, à travers lequel je pourrais résoudre le problème. Je suis nouveau dans le sis. […]

SSIS – Méthode rapide de détection des vraies suppressions et mise à jour de l'entrepôt de données

Je cherche un moyen efficace de détecter les loggings supprimés dans la production et de mettre à jour l'entrepôt de données pour refléter ces suppressions parce que la table est> 12M lignes et contient des données transactionnelles utilisées à des fins de comptabilité. À l'origine, tout a été fait dans une procédure stockée par quelqu'un […]

Migration de données entre deux bases de données SQL Server 2014

J'ai deux DB SQL Server 2014 avec des schémas différents. Ces DB desservaient deux applications Web distinctes fonctionnant dans la même zone d'intérêt, j'ai donc des tables similaires dans ces deux DB. Quelle est la manière la plus simple de migrer des données entre eux? Je pensais à un script Transact-SQL. Y at-il un outil […]

SSIS Table parent Migration de la relation enfant

J'essaye d'employer SSIS pour déplacer des données d'un server de SQL à mon server de Destimation SQL, la source a une table "parent" avec l'identification de champ d'identité qui est une key étrangère à la "enfant" table. 1 – N relation La question est simple, quelle est la meilleure façon de transférer datatables à un […]

Comment filterr sur la date dans la sous-requête en dehors de la sous-requête

Ma requête ETL renvoie des informations sur un employé et contient également deux colonnes agrégées ( ActualCount et ExpectedCount ) provenant d'une sous-requête. Le problème que je rencontrais était que la table sur laquelle la sous-requête est jointe à gauche est mise à jour indépendamment de l'information agrégée. Ainsi, lorsque ma requête était exécutée de […]