Quel est le sharepoint départ ETL le plus simple et le plus efficace pour l'intégration de SQL Server?

Je suis nouveau dans le monde ETL et j'essaye de faire en sorte qu'un file de données nous soit envoyé par une autre compagnie afin qu'il puisse être ETLed à un entrepôt de données. Je vais développer l'ETL via Integration Services sur SQL Server 2014. Fondamentalement, j'ai cinq types d'loggings: les loggings de count (meta loggings liés au count d'une personne), les loggings d'achat, etc.

Pour faciliter les choses, les loggings de count donnent simplement des informations sur le titulaire du count (nom, numéro de count, sexe, etc.), et les loggings d'achat montrent un historique des achats et de leurs montants, etc.

Ma question est la suivante: la compagnie qui nous envoie les disques me request ceci: comment voulez-vous que les disques soient arrangés?

  1. Multi-header / trailer: chaque en-tête indique le type d'loggings que nous recevons (header1 sera Account)
  2. Plusieurs files (chaque type d'logging sera dans un file séparé)
  3. Mentionnez la personne suivie des documents qui lui appartiennent.

Par exemple:

Person X Account Records.... Purchase Records... ... Person Y Account Records.... Purchase Records... 

Pour SSIS en tant qu'outil ETL, optez toujours pour le même format dans le file.

SSIS peut gérer les loggings d'en-tête (en ce sens que nous pouvons les ignorer). Il ne peut pas gérer les loggings de la bande-annonce (car nos colonnes ne sont plus cohérentes.

1 et 3 à la fois violer ce qui précède.

Comme SSIS vous donne access au framework .NET, vous pouvez écrire toute l'parsing personnalisée et ensuite vous pouvez gérer n'importe quel format de file, même un 1 ou un 3, mais c'est rarement un investissement judicieux de la part de votre entreprise. avec .NET devs qui veulent écrire ETL. Utilisez les composants Out Of the Box jusqu'à ce qu'ils ne remplissent pas la tâche en cours, puis utilisez le script Tâches ou Composants pour compenser. Quand c'est le lieu de départ de votre colis, il est généralement dangereux.