patch_gen updateProduct - utilise uniquement une seule CPU #36

Open
opened 2017-10-02 19:52:58 +00:00 by aleajactaest · 7 comments
aleajactaest commented 2017-10-02 19:52:58 +00:00 (Migrated from port.numenaute.org)

le programme patch_gen (commande "patch_gen updateProduct") n'utilise qu'une seule CPU pour générer les fichiers patch.
Cela prend énormément de temps, il serait souhaitable d'avoir la possibilité d'utiliser toutes les CPU pour cette opération.

Solution possible:

  1. Séparer les différentes étapes : un programme qui s'occupe que de controle/effectue la différence avec un fichier des fichiers (facilement exécutabel en // avec des fichiers différents), et un autre qui s'occupe de l'aggrégation.

  2. Avoir un programme qui se fork pour la partie compilation/xdelta

le programme patch_gen (commande "patch_gen updateProduct") n'utilise qu'une seule CPU pour générer les fichiers patch. Cela prend énormément de temps, il serait souhaitable d'avoir la possibilité d'utiliser toutes les CPU pour cette opération. Solution possible: 1) Séparer les différentes étapes : un programme qui s'occupe que de controle/effectue la différence avec un fichier des fichiers (facilement exécutabel en // avec des fichiers différents), et un autre qui s'occupe de l'aggrégation. 2) Avoir un programme qui se fork pour la partie compilation/xdelta
aleajactaest commented 2017-10-02 19:53:56 +00:00 (Migrated from port.numenaute.org)

Exemple d'une partie parallélisable

--- compilation/xdelta du kh_characters_shapes_00001.bnp ---
INF dcd82740 patch_gen_common.cpp 71 ApplyPatch : Executing system command: xdelta patch patch_game/patch/00001/kh_characters_shapes_00001.patch patch_game/empty patch_game/ref/kh_characters_shapes_00001.bnp
INF dcd82740 patch_gen_common.cpp 87 GenerateLZMA : Compressing patch_game/bnp/kh_construction.bnp to patch_game/patch/00001/kh_construction.bnp.lzma.tmp using LZMA...
DBG dcd82740 seven_zip.cpp 262 packLZMA : packLZMA: compress 'patch_game/bnp/kh_construction.bnp' to LZMA file 'patch_game/patch/00001/kh_construction.bnp.lzma.tmp
INF dcd82740 patch_gen_common.cpp 393 generatePatches : - Creating patch: patch_game/patch/00001/kh_construction_00001.patch
INF dcd82740 patch_gen_common.cpp 54 GeneratePatch : Executing system command: xdelta delta patch_game/empty patch_game/bnp/kh_construction.bnp patch_game/patch/00001/kh_construction_00001.patch

Exemple d'une partie parallélisable <code> --- compilation/xdelta du kh_characters_shapes_00001.bnp --- INF dcd82740 patch_gen_common.cpp 71 ApplyPatch : Executing system command: xdelta patch patch_game/patch/00001/kh_characters_shapes_00001.patch patch_game/empty patch_game/ref/kh_characters_shapes_00001.bnp INF dcd82740 patch_gen_common.cpp 87 GenerateLZMA : Compressing patch_game/bnp/kh_construction.bnp to patch_game/patch/00001/kh_construction.bnp.lzma.tmp using LZMA... DBG dcd82740 seven_zip.cpp 262 packLZMA : packLZMA: compress 'patch_game/bnp/kh_construction.bnp' to LZMA file 'patch_game/patch/00001/kh_construction.bnp.lzma.tmp INF dcd82740 patch_gen_common.cpp 393 generatePatches : - Creating patch: patch_game/patch/00001/kh_construction_00001.patch INF dcd82740 patch_gen_common.cpp 54 GeneratePatch : Executing system command: xdelta delta patch_game/empty patch_game/bnp/kh_construction.bnp patch_game/patch/00001/kh_construction_00001.patch </code>
aleajactaest commented 2017-10-02 19:56:14 +00:00 (Migrated from port.numenaute.org)

changed the description

changed the description
aleajactaest commented 2017-10-02 19:56:14 +00:00 (Migrated from port.numenaute.org)

made the issue confidential

made the issue confidential
aleajactaest commented 2017-10-02 19:56:27 +00:00 (Migrated from port.numenaute.org)

changed the description

changed the description
aleajactaest commented 2017-10-02 21:02:58 +00:00 (Migrated from port.numenaute.org)

made the issue visible to everyone

made the issue visible to everyone
yannk commented 2017-10-02 21:05:48 +00:00 (Migrated from port.numenaute.org)

added ~3 ~33 labels

added ~3 ~33 labels
aleajactaest commented 2018-11-29 21:18:32 +00:00 (Migrated from port.numenaute.org)

mentioned in commit 8091bc8fb1

mentioned in commit 8091bc8fb16658d99575cede2c3ff6ab324f3f2f
Sign in to join this conversation.
No milestone
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference: Khaganat-NeL/khanat-opennel-code#36
No description provided.