Comment changer le JEU DE CARACTÈRES (et la COLLATION) dans une base de données?

Notre programmeur précédent a défini le mauvais classement dans une table (Mysql). Il l'a mis en place avec le classement latin, alors qu'il devrait être UTF8, et maintenant j'ai des problèmes. Chaque disque avec des caractères chinois et japonais se transforme en ??? personnage.

Est-il possible de changer le classement et de récupérer le détail du personnage?

modifier le classement de la base de données:

ALTER DATABASE <database_name> CHARACTER SET utf8 COLLATE utf8mb4_0900_ai_ci;

modifier le classement de la table:

ALTER TABLE <table_name> CONVERT TO CHARACTER SET utf8 COLLATE utf8mb4_0900_ai_ci;

modifier le classement des colonnes:

ALTER TABLE <table_name> MODIFY <column_name> VARCHAR(255) CHARACTER SET utf8 COLLATE utf8mb4_0900_ai_ci;

Que utf8mb4_0900_ai_cisignifient les parties de ?

3 bytes -- utf8
4 bytes -- utf8mb4 (new)

v4.0 --   _unicode_
v5.20 --  _unicode_520_
v9.0 --   _0900_ (new)

_bin      -- just compare the bits; don't consider case folding, accents, etc
_ci       -- explicitly case insensitive (A=a) and implicitly accent insensitive (a=á)
_ai_ci    -- explicitly case insensitive and accent insensitive
_as (etc) -- accent-sensitive (etc)

_bin         -- simple, fast
_general_ci  -- fails to compare multiple letters; eg ss=ß, somewhat fast
...          -- slower
_0900_       -- (8.0) much faster because of a rewrite

Plus d'informations:

• Quelles sont les différences entre utf8_general_ci et utf8_unicode_ci?
• Quelle est la différence entre utf8_general_ci et utf8_unicode_ci?
• Comment changer le classement de la base de données, de la table, de la colonne?
• Quelle est la différence entre utf8_general_ci et utf8_unicode_ci?

Voici comment changer toutes les bases de données / tables / colonnes. Exécutez ces requêtes et elles afficheront toutes les requêtes suivantes nécessaires pour convertir l'ensemble de votre schéma en utf8. J'espère que cela t'aides!

- Modifier le classement par défaut de la base de données

SELECT DISTINCT concat('ALTER DATABASE `', TABLE_SCHEMA, '` CHARACTER SET utf8 COLLATE utf8_unicode_ci;')
from information_schema.tables
where TABLE_SCHEMA like  'database_name';

- Modifier le classement / le jeu de caractères de TABLE

SELECT concat('ALTER TABLE `', TABLE_SCHEMA, '`.`', table_name, '` CHARACTER SET utf8 COLLATE utf8_unicode_ci;')
from information_schema.tables
where TABLE_SCHEMA like 'database_name';

- Modifier le classement / le jeu de caractères COLUMN

SELECT concat('ALTER TABLE `', t1.TABLE_SCHEMA, '`.`', t1.table_name, '` MODIFY `', t1.column_name, '` ', t1.data_type , '(' , t1.CHARACTER_MAXIMUM_LENGTH , ')' , ' CHARACTER SET utf8 COLLATE utf8_unicode_ci;')
from information_schema.columns t1
where t1.TABLE_SCHEMA like 'database_name' and t1.COLLATION_NAME = 'old_charset_name';

Attention, dans Mysql, le utf8jeu de caractères n'est qu'un sous-ensemble du jeu de caractères UTF8 réel. Afin d'économiser un octet de stockage, l'équipe Mysql a décidé de ne stocker que trois octets de caractères UTF8 au lieu des quatre octets complets. Cela signifie que certaines langues et emoji d'Asie de l'Est ne sont pas entièrement pris en charge. Pour vous assurer que vous pouvez stocker tous les caractères UTF8, utilisez le utf8mb4type de données et / utf8mb4_binou utf8mb4_general_cidans Mysql.

En plus de ce que David Whittaker a publié, j'ai créé une requête qui génère la table complète et l'instruction alter des colonnes qui convertira chaque table. Ce peut être une bonne idée de courir

SET SESSION group_concat_max_len = 100000;

d'abord pour vous assurer que votre groupe concat ne dépasse pas la très petite limite vue ici .

     SELECT a.table_name, concat('ALTER TABLE ', a.table_schema, '.', a.table_name, ' DEFAULT CHARACTER SET utf8mb4 DEFAULT COLLATE utf8mb4_unicode_ci, ',
        group_concat(distinct(concat(' MODIFY ',  column_name, ' ', column_type, ' CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci ', if (is_nullable = 'NO', ' NOT', ''), ' NULL ',
        if (COLUMN_DEFAULT is not null, CONCAT(' DEFAULT \'', COLUMN_DEFAULT, '\''), ''), if (EXTRA != '', CONCAT(' ', EXTRA), '')))), ';') as alter_statement
    FROM information_schema.columns a
    INNER JOIN INFORMATION_SCHEMA.TABLES b ON a.TABLE_CATALOG = b.TABLE_CATALOG
        AND a.TABLE_SCHEMA = b.TABLE_SCHEMA
        AND a.TABLE_NAME = b.TABLE_NAME
        AND b.table_type != 'view'
    WHERE a.table_schema = ? and (collation_name = 'latin1_swedish_ci' or collation_name = 'utf8mb4_general_ci')
    GROUP BY table_name;

Une différence ici entre la réponse précédente est qu'elle utilisait utf8 au lieu de ut8mb4 et l'utilisation de t1.data_type avec t1.CHARACTER_MAXIMUM_LENGTH ne fonctionnait pas pour les énumérations. De plus, ma requête exclut les vues car celles-ci devront être modifiées séparément.

J'ai simplement utilisé un script Perl pour renvoyer toutes ces modifications sous forme de tableau et les ai itérées, j'ai corrigé les colonnes trop longues (généralement elles étaient varchar (256) lorsque les données ne contenaient généralement que 20 caractères, donc c'était une solution facile. ).

J'ai trouvé que certaines données étaient corrompues lors de la modification de latin1 -> utf8mb4. Il semble que les caractères latin1 encodés en utf8 dans les colonnes soient gaffés lors de la conversion. J'ai simplement conservé les données des colonnes dont je savais qu'elles allaient être un problème en mémoire avant et après le changement et les ai comparées et j'ai généré des instructions de mise à jour pour corriger les données.

décrit ici bien le processus. Cependant, certains des personnages qui ne correspondaient pas à l'espace latin ont disparu pour toujours. UTF-8 est un SUPERSET de latin1. Pas l'inverse. La plupart tiendront dans un espace d'un octet, mais tous ceux non définis ne le seront pas (vérifiez une liste de latin1 - tous les 256 caractères ne sont pas définis, selon la définition latin1 de mysql)