Github Actions とpre-commitにpoetry exportを適用 #716

FujisakiEx · 2023-07-09T10:27:11Z

内容

Github Actions とpre-commit　のそれぞれで poetry export を行うように対応しました

スクリーンショット・動画など

その他

FujisakiEx · 2023-07-09T10:29:16Z

pre-commit.ci　をGithubのリポジトリ側で有効にしてもらわないとダメなのを忘れていました
FujisakiEx#3
こっちで実行結果を確認できます

github-actions · 2023-07-09T10:50:10Z

Coverage Result

Resultを開く

Name	Stmts	Miss
voicevox_engine/init.py	2	1
voicevox_engine/acoustic_feature_extractor.py	75	0
voicevox_engine/dev/synthesis_engine/init.py	3	1
voicevox_engine/dev/synthesis_engine/mock.py	36	2
voicevox_engine/downloadable_library.py	93	5
voicevox_engine/full_context_label.py	162	3
voicevox_engine/kana_parser.py	86	1
voicevox_engine/metas/Metas.py	33	0
voicevox_engine/metas/MetasStore.py	29	14
voicevox_engine/metas/init.py	2	0
voicevox_engine/model.py	160	9
voicevox_engine/mora_list.py	5	0
voicevox_engine/part_of_speech_data.py	5	0
voicevox_engine/preset/Preset.py	12	0
voicevox_engine/preset/PresetError.py	3	1
voicevox_engine/preset/PresetManager.py	81	2
voicevox_engine/preset/init.py	4	0
voicevox_engine/setting/Setting.py	11	0
voicevox_engine/setting/SettingLoader.py	19	0
voicevox_engine/setting/init.py	3	0
voicevox_engine/synthesis_engine/init.py	5	0
voicevox_engine/synthesis_engine/core_wrapper.py	201	159
voicevox_engine/synthesis_engine/make_synthesis_engines.py	57	49
voicevox_engine/synthesis_engine/synthesis_engine.py	130	11
voicevox_engine/synthesis_engine/synthesis_engine_base.py	67	9
voicevox_engine/user_dict.py	144	11
voicevox_engine/utility/init.py	5	0
voicevox_engine/utility/connect_base64_waves.py	37	0
voicevox_engine/utility/core_version_utility.py	9	2
voicevox_engine/utility/mutex_utility.py	11	1
voicevox_engine/utility/path_utility.py	26	8
TOTAL	1516	289

Hiroshiba

プルリクエストありがとうございます！！
コードを書き足す箇所とかがかなり適切で、レビューがしやすかったです！！

.github/workflows/test.yml

Hiroshiba · 2023-07-09T19:43:18Z

.github/workflows/test.yml

+      - name: Run poetry
+        run: |
+          poetry export --without-hashes -o requirements.txt 
+          poetry export --without-hashes --with dev -o requirements-dev.txt
+          poetry export --without-hashes --with test -o requirements-test.txt
+          poetry export --without-hashes --with license -o requirements-license.txt


このままだとrequirements.txtとpoetry.tomlが乖離していた場合に勝手にrequirements.txtが上書きされちゃいそうです。（exportなので）
やりたいことは乖離していった時にエラーを出すことかなと！

たとえばrequirements.txt.checkにexportして、requirements.txtと差分があったらエラーにするのはどうでしょう？

コメントで挙げてもらった方法で対応しました

Hiroshiba · 2023-07-09T19:45:27Z

.pre-commit-config.yaml

+      - id: poetry-export
+        name: poetry-export
+        args: ["--without-hashes", "-o", "requirements.txt" ]


実際にpoetry addしてpoetry exportしないままpushしてみたらちゃんとエラーが出ました！
ただエラーメッセージが若干不親切だなとちょっと思いました。

これ実際にエクスポートしているのでrequirements.txtファイルが置き換わるんですよね。
なので出来上がったファイルを再度コミットしてくださいというエラメッセージにするのはどうでしょう？
（そういうことってできそうでしょうか？）

poetry_export_all.pyがpre-commitの際に実行されるように修正しました
このスクリプトはdiffに差分があった場合、メッセージを出すようになっています

なるほどです！！

ちょっと1点だけ、環境によってはpythonではなくpython3コマンドとしてPythonスクリプトを実行している人もいるはずで、そういう人にとってはエラーが出てしまうなと思いました！
どうにかできる解決策を調べてみたんですが、何か良い方法は見つかりませんでした･･･。
（シェルスクリプトを書くとかがあったのですが、これまたOSによっては動かないことがあるので）

特に初学者の方がpython3コマンドを使っていた場合、なぜエラーが出るのかわからずにちょっと戸惑ってしまうかもです。
poetry-exportがエラーになるのはpoetryを使えるぐらい熟練者の方なので、自力でなんとかできるかもしれない。
この辺りのバランスを取ると、もしかしたらpoetry-exportを実行するのがいいのかもとちょっと思いました。

（せっかく書いていただいたのに申し訳ないです 🙇 ）

＞pythonではなくpython3
このパターンが確かにありましたね……
pythonコマンドから実行バージョンを取得して、そのバージョンに応じたコマンドで poetry_export_all.py を呼び出すとかでしょうか
それかpoetry-exportは　pre-commitのentryで呼び出してgit diffによる確認だけスクリプトを呼び出す形にするか
やりようはある気がするので探ってみます

pre-commitのentryで呼び出してgit diffによる確認だけスクリプトを呼び出す形

これで問題なさそうだったので poetry_export_check.py にリネームして、git diffだけPythonスクリプトで呼び出すようにしました
pythonコマンドがなくてpython3だけ入ってるということは考慮から外したのですが、問題ないでしょうか？

なるほどです！！　提案ありがとうございます！！

まあでも、「poetry-exportによるエラーの理由が分からずに混乱する人の数」よりも、「python3コマンドを使っていてエラーが発生し理由が分からずに混乱する人の数」の方が多いかもですかね。。。
だとしたらpoetry-export-checkの方はない方がいいかもです 🙇‍♂️

どの環境でも動く方法があればという感じかなと･･･！

差分のチェックは bash コマンドから poetry_export_check.shを実行する方針にしました

bashもwindowsだと動かないんですよね･･･････。

ChatGPT君に聞いてみた感じ、なんか良い感じの方法はなさそうでした。
https://chat.openai.com/share/94cee641-dfe0-483d-b9f3-84085899db20
なにかの言語で書いたものをバイナリにビルドして～とかが紹介されていますが、流石に･･･。

せっかくチャレンジしてくださったのに申し訳ないです 🙇

Windows10からbashが正式サポートされた認識でした……
消しておきます！

FujisakiEx · 2023-07-13T18:05:53Z

@Hiroshiba
フィードバックに対応しました
hiroshibaさんのほうでpre-commit.ciの導入だけやってもらわないとダメかもです

Hiroshiba

追加ありがとうございます！！

Hiroshiba · 2023-07-13T17:47:46Z

.github/workflows/test.yml

+      - name: Add Path for ubuntu
+        if: matrix.os == 'ubuntu-20.04'
+        run:
+          echo "$HOME/.local/bin" >> $GITHUB_PATH
+
+      - name: Add Path for Windows
+        if: matrix.os == 'windows-latest'
+        run:
+          echo "C:\Users\runneradmin\AppData\Roaming\Python\Scripts" >> $GITHUB_PATH
+


これもpip installでpoetry入れるようになったらいらないはず･･･？

.github/workflows/test.yml

Hiroshiba · 2023-07-13T18:21:55Z

pre-commit.ci

これは何でしょう、pre commitの内容をテストしてくれる感じでしょうか？
まあ同じことを Github Actions で行っているので、マストではないかなと思いました！
（でもあった方が便利だとは思います！）

FujisakiEx · 2023-07-14T17:38:44Z

pre-commit.ci は　Github上で確認してくれるようになるやつですね
All check have passedのところに今回追加したテストが並ぶ感じになります
そこら辺の判断はお任せします

FujisakiEx · 2023-07-14T18:29:41Z

@Hiroshiba 再レビューお願いします！

.github/workflows/test.yml

FujisakiEx · 2023-07-15T19:43:14Z

@Hiroshiba 再レビューお願いします！

Hiroshiba · 2023-07-15T21:57:34Z

.github/workflows/test.yml

+env:
+  POETRY_VERSION: "1.3.1"
+


未使用な気がします！
バージョンはrequirements.txtにて固定しているので、ここに書いちゃうとバージョン不一致になってしまうかもです。

Hiroshiba · 2023-07-15T21:59:54Z

.pre-commit-config.yaml

 repos:
+  - repo: https://github.com/python-poetry/poetry
+    rev: '1.3.1'


ここもバージョン不一致になっちゃう可能性がありますね！
まあさほど問題ないのですが、もしrequirements.txtをpip installしたときに入るpoetryを使えるとちょっとかっこいいかもとか思いました。
難しそうなら一旦このままでも！

pip install -r requirements.txtしてからpoetry exportを叩くように変更しました

Hiroshiba · 2023-07-15T22:02:28Z

ほぼLGTMです！！！
いろいろ修正ありがとうございます！！！

FujisakiEx · 2023-07-17T04:37:25Z

@Hiroshiba 再レビューお願いします

Hiroshiba

LGTM！！！
ちょっと細かい部分をこちらで調整させて頂きます！！

PRありがとうございました！
こちらのコメントに対してしっかり対応頂けて嬉しかったです。

もしよかったらまだまだいろんなissueがありますので、なにかできそうなのがあればぜひ･･･！
https://github.com/VOICEVOX/voicevox_engine/issues?q=is%3Aissue+is%3Aopen+sort%3Aupdated-desc

Hiroshiba · 2023-07-17T11:46:03Z

.pre-commit-config.yaml

+        entry: poetry export --without-hashes -o requirements.txt
+        language: python
+        pass_filenames: false
+        stages: [commit]


pysen-lintに合わせてstages: [push]にしようと思います！ 🙇

Hiroshiba · 2023-07-17T11:47:03Z

.pre-commit-config.yaml

+      - id: pip-install
+        name: pip-install
+        entry: pip install -r requirements.txt
+        language: python
+        pass_filenames: false
+        stages: [commit]


pip installが勝手に実行されるのは意図せず開発環境が壊れかねないので、一旦やめておく感じで･･･！

FujisakiEx requested a review from a team as a code owner July 9, 2023 10:27

FujisakiEx requested review from Hiroshiba and removed request for a team July 9, 2023 10:27

Hiroshiba reviewed Jul 9, 2023

View reviewed changes

FujisakiEx force-pushed the issue_566 branch 9 times, most recently from 765c886 to db21bde Compare July 13, 2023 17:20

FujisakiEx changed the title ~~Issue 566~~ Github Actions とpre-commitの適用 Jul 13, 2023

pre-commit とGithub Actionsの設定を行いました

dba0f0c

FujisakiEx force-pushed the issue_566 branch from db21bde to dba0f0c Compare July 13, 2023 17:59

Hiroshiba reviewed Jul 13, 2023

View reviewed changes

FujisakiEx added 2 commits July 15, 2023 02:39

フィードバック対応 test.ymlの整理

5bca530

pre-commitの修正

ab55baa

FujisakiEx force-pushed the issue_566 branch from c151e65 to ab55baa Compare July 14, 2023 18:26

Hiroshiba reviewed Jul 14, 2023

View reviewed changes

.github/workflows/test.yml Outdated Show resolved Hide resolved

Hiroshiba reviewed Jul 15, 2023

View reviewed changes

FujisakiEx force-pushed the issue_566 branch from fc3e0d8 to 56a03bc Compare July 16, 2023 06:30

export_checkの削除とテストが失敗する原因の修正

8a07612

FujisakiEx force-pushed the issue_566 branch from 56a03bc to 8a07612 Compare July 16, 2023 06:42

Hiroshiba approved these changes Jul 17, 2023

View reviewed changes

remove pip-install and commit->push

dc715c4

Hiroshiba merged commit c964f5e into VOICEVOX:master Jul 18, 2023
3 checks passed

Hiroshiba changed the title ~~Github Actions とpre-commitの適用~~ Github Actions とpre-commitにpoetry exportを適用 Jul 18, 2023

tarepan mentioned this pull request Feb 26, 2024

poetry.lock と requirements.txt ファイルの乖離を防止する方法を検討する #566

Closed

3 tasks

sarisia mentioned this pull request Feb 26, 2024

追加: poetry.lock 形式チェック CI #1081

Merged

This was referenced Feb 28, 2024

refactor: poetry 関連 pre-commit を poetry 公式 hook で置換 #1090

Closed

add: content-hash 未更新予防 #1091

Closed

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Github Actions とpre-commitにpoetry exportを適用 #716

Github Actions とpre-commitにpoetry exportを適用 #716

FujisakiEx commented Jul 9, 2023

FujisakiEx commented Jul 9, 2023 •

edited

github-actions bot commented Jul 9, 2023 •

edited

Hiroshiba left a comment

Hiroshiba Jul 9, 2023 •

edited

FujisakiEx Jul 13, 2023 •

edited

Hiroshiba Jul 9, 2023

FujisakiEx Jul 13, 2023

Hiroshiba Jul 13, 2023

FujisakiEx Jul 14, 2023

FujisakiEx Jul 14, 2023 •

edited

Hiroshiba Jul 14, 2023

FujisakiEx Jul 15, 2023

Hiroshiba Jul 15, 2023

FujisakiEx Jul 16, 2023

FujisakiEx commented Jul 13, 2023

Hiroshiba left a comment

Hiroshiba Jul 13, 2023

Hiroshiba commented Jul 13, 2023

FujisakiEx commented Jul 14, 2023

FujisakiEx commented Jul 14, 2023

FujisakiEx commented Jul 15, 2023

Hiroshiba Jul 15, 2023

Hiroshiba Jul 15, 2023

FujisakiEx Jul 16, 2023

Hiroshiba commented Jul 15, 2023

FujisakiEx commented Jul 17, 2023

Hiroshiba left a comment

Hiroshiba Jul 17, 2023 •

edited

Hiroshiba Jul 17, 2023

Github Actions とpre-commitにpoetry exportを適用 #716

Github Actions とpre-commitにpoetry exportを適用 #716

Conversation

FujisakiEx commented Jul 9, 2023

内容

関連 Issue

スクリーンショット・動画など

その他

FujisakiEx commented Jul 9, 2023 • edited

github-actions bot commented Jul 9, 2023 • edited

Coverage Result

Hiroshiba left a comment

Choose a reason for hiding this comment

Hiroshiba Jul 9, 2023 • edited

Choose a reason for hiding this comment

FujisakiEx Jul 13, 2023 • edited

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

FujisakiEx Jul 14, 2023 • edited

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

FujisakiEx commented Jul 13, 2023

Hiroshiba left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Hiroshiba commented Jul 13, 2023

FujisakiEx commented Jul 14, 2023

FujisakiEx commented Jul 14, 2023

FujisakiEx commented Jul 15, 2023

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Hiroshiba commented Jul 15, 2023

FujisakiEx commented Jul 17, 2023

Hiroshiba left a comment

Choose a reason for hiding this comment

Hiroshiba Jul 17, 2023 • edited

Choose a reason for hiding this comment

Choose a reason for hiding this comment

FujisakiEx commented Jul 9, 2023 •

edited

github-actions bot commented Jul 9, 2023 •

edited

Hiroshiba Jul 9, 2023 •

edited

FujisakiEx Jul 13, 2023 •

edited

FujisakiEx Jul 14, 2023 •

edited

Hiroshiba Jul 17, 2023 •

edited