MS SQL Server
  1. MS SQL Server
  3. Pandas to_sql change le type de colonne de varchar en text
Intereting Posts
Quel est le sharepoint départ ETL le plus simple et le plus efficace pour l'intégration de SQL Server? Requête SQL Count sur combien de champs ont un autre champ avec une valeur sql select où quelque chose se passe ce jour-là Modifier datatables de la grid de résultats Déclencheur T-SQL qui vérifie si les sièges d'avion sont pris SqlFunction ne parvient pas à ouvrir la connection au context malgré la présence de DataAccessKind.Read Exporter la valeur dans un file Excel en utilisant SSIS SQL joindre deux requêtes Serveur SQL. Join / Pivot / Aide à la performance s'il vous plait Fusion de deux tables dans SQL Server Java / MSSQL: java.sql.SQLException Nom d'object invalide 'TableName' Insertion de XML dans le tableau Comment les index fonctionnent-ils dans les coulisses? Impossible de find la procédure stockée 'dbo.aspnet_CheckSchemaVersion', quand * est * présent dans aspnetdb Analyse d'index clusterisée au lieu d'index clusterisé Recherche sur la jointure gauche

Pandas to_sql change le type de colonne de varchar en text

J'ai écrit un petit script pour copyr une table entre les servers SQL. Cela fonctionne, mais l'une des colonnes a changé le type de varchar en text … Comment est-ce que je fais pour copyr une table avec les mêmes types de colonnes? 

import pymssql import pandas as pd from sqlalchemy import create_engine db_server= 1.2.3.4\\r2 db_database="Test_DB" db_user="vaf" db_password="1234" local_db_server="1.1.1.1\\r2" local_db_database="Test_DB" local_db_user="vaf" local_db_password="1234" some_query=(""" select * from some_table """) def main(): conn=pymssql.connect(server=local_db_server,user=local_db_user,password=local_db_password,database=local_db_database,charset='UTF-8') data=pd.io.sql.read_sql(some_query,conn) connection_ssortingng='mssql+pymssql://{}:{}@{}/{}'.format(db_user,db_password,db_server,db_database) engine=create_engine(connection_ssortingng) data.to_sql(name="some_table",con=engine,if_exists='replace',index=False) if __name__ == "__main__": main()

Merci

Considérons trois approches:

SPECIFIER LES TYPES (proactif comme anticiper à l'avance)

En utilisant l'argument dtype de pandas.DataFrame.to_sql , passez un dictionary de types sqlalchemy pour les colonnes nommées. 

 data.to_sql(name="some_table", con=engine, if_exists='replace', index=False, dtype={'datefld': sqlalchemy.DateTime(), 'intfld': sqlalchemy.types.INTEGER(), 'strfld': sqlalchemy.types.VARCHAR(length=255), 'floatfld': sqlalchemy.types.Float(precision=3, asdecimal=True), 'booleanfld': sqlalchemy.types.Boolean}

SUPPRIMER LES DONNÉES (proactive comme anticipée)

Nettoyer la table avec la requête d'action DELETE . Ensuite, migrez uniquement datatables de pandas vers SQL Server sans modifier structurellement la table puisque l'argument to_sql replace recrée la table. Cette approche suppose que datatables sont toujours cohérentes (pas de nouvelles colonnes / types modifiés) avec la table de database. 

 def main(): connection_ssortingng = 'mssql+pymssql://{}:{}@{}/{}'\ .format(db_user,db_password,db_server,db_database) engine = create_engine(connection_ssortingng) # IMPORT DATA INTO DATA FRAME data = pd.read_sql(some_query, engine) # SQL DELETE (CLEAN OUT TABLE) VIA TRANSACTION with engine.begin() as conn: conn.execute("DELETE FROM some_table") # MIGRATE DATA INTO DATA FRAME (APPEND NOT REPLACE) data.to_sql(name='some_table', con=engine, if_exists='append', index=False)

MODIFIER LA COLONNE (réactif car il corrige ad-hoc)

Modifiez la colonne après la migration avec une instruction SQL DDL. 

 def main(): connection_ssortingng = 'mssql+pymssql://{}:{}@{}/{}'\ .format(db_user,db_password,db_server,db_database) engine = create_engine(connection_ssortingng) # IMPORT DATA INTO DATA FRAME data = pd.read_sql(some_query, engine) # MIGRATE DATA INTO DATA FRAME data.to_sql(name="some_table", con=engine, if_exists='replace', index=False) # ALTER COLUMN TYPE (ASSUMING USER HAS RIGHTS/PRIVILEGES) with engine.begin() as conn: conn.execute("ALTER TABLE some_table ALTER COLUMN mytextcolumn VARCHAR(255);")

Je recommand la deuxième approche car je crois que les bases de données devraient être agnostiques au code d'application comme python et pandas. Par conséquent, la construction initiale / reconstruction du schéma de table devrait être un process planifié et manuel, et aucun script ne devrait modifier structurellement une database à la volée, interagir seulement avec datatables.