requirements を Poetry で管理する #535

sarisia · 2022-12-25T00:22:53Z

内容

requirements を Poetry で管理し, 以下の課題を解決します:

pip-compile を実行する OS によって requirements.txt の出力結果が変わっていましたが, PR ではどの環境で実行しても同じ出力が得られるようなります
- 特定の OS に依存するパッケージに対し, 自動で --platform 指定が入るため, 全ての OS で同一の requirements.txt を利用できます
pip >= 22 の際に pip-tools がエラーで実行できませんでしたが, poetry は pip のバージョンによらず実行可能です

スクリーンショット・動画など

その他

不要となった依存 pip-tools を削除しました
成果ファイル名は変わらず requirements.txt, requirements-dev.txt, requirements-test.txt を維持していますので, CI/CD は壊れていないと思います
requirements.in などで直接指定されていた依存関係のバージョンは (patch 含め) 変更されていませんが. indirect な依存関係のバージョンが部分的にアップグレードされているようです. 手元で run.py 実行 + 音声合成程度の簡単な動作テストは実施しましたが, 追加で何かあればご教示いただければと思います！

tasks

flake8-bugbear 指摘事項の修正 (b027) #538

takana-v · 2022-12-25T00:41:18Z

ref #149

pipenvかpoetryを使ってバージョンを固定する #149

以前poetryの導入を検討した際はバグによりwindowsで正常に動作しなかったため導入を見送りましたが、現在そのバグは修正されているようです。

Poetry on Windows fails with File does not exists error python-poetry/poetry#4479

sarisia · 2022-12-25T08:29:40Z

git からの pip install だとハッシュ検証失敗するんですね… 出力ファイルからハッシュを削除する形で修正しようと思います。

sarisia · 2022-12-25T09:07:35Z

black (pysen の依存) のバグで落ちているようですね. (psf/black#2964)

以下の複数の選択肢があるのですが, いかがでしょうか？

click のみ明示的に現在のバージョンに固定する (test グループへの依存関係の追加)
~~black >= 22.3.0 で修正されているようなので,~~ pysen 側で依存関係が修正されているようなので, pysen をアップグレードする (0.9.1 -> 0.10.2) (Force lint extras to use older click pfnet/pysen#13)
pysen のバージョンを維持するが, lint extras の利用をやめて明示的に black, flake8, isort, mypy のバージョンを指定する方法もあります: https://github.com/pfnet/pysen#install-pysen-with-your-choice-of-linter-versions

Hiroshiba · 2022-12-25T16:43:35Z

PRありがとうございます！とても丁寧な進行でとても助かっています！

以下の複数の選択肢があるのですが, いかがでしょうか？

２のpysenバージョンアップが一番素直なのかなと思いました！

Hiroshiba · 2022-12-25T16:52:01Z

Poetryとても便利ですね！感動しました。

特定の OS に依存するパッケージに対し, 自動で --platform 指定が入るため, 全ての OS で同一の requirements.txt を利用できます

まさにOS依存でとても困っていたことがあったので期待しています･･･！

もしご存知だったら知りたいのですが、例えばwin/macで別のライブラリに依存しているものをwinもしくはmacでインストールした場合、win/mac両方か、あるいは片方だけのライブラリがlockやrequirements.txtに書かれるのでしょうか 👀

sarisia · 2022-12-25T17:31:59Z

#535 (comment)
もしご存知だったら知りたいのですが、例えばwin/macで別のライブラリに依存しているものをwinもしくはmacでインストールした場合、win/mac両方か、あるいは片方だけのライブラリがlockやrequirements.txtに書かれるのでしょうか 👀

この場合, Win/Mac 両方のライブラリが poetry.lock に追加されます. requirements.txt 3ファイルは poetry.lock を忠実に反映しますので, こちらにも両OSのライブラリが記載されます.

それぞれのライブラリのインストールが各OSで行われるか, 行われないかの条件が requirements.txt 上に以下のように自動で指定されます:

https://github.com/VOICEVOX/voicevox_engine/pull/535/files#diff-2b4945591edfeaa4cf4d3f155e66d4b43d1bda7a55d881d5cf3107f1b05abbbcR15-R26

Hiroshiba · 2022-12-25T19:56:45Z

別OSのも勝手に記載してくれるんですね！！
相当便利です、助かります！！

Hiroshiba · 2022-12-25T19:57:52Z

あ、もしかしたらflake8のバージョンが上がってエラーになってますね･････ 🙇‍♂️

sarisia · 2022-12-25T20:12:48Z

pysen 依存の flake8-bugbear が上がった結果、新規ルールが追加されたのでそれに違反して落ちてますね… 何度も落としてしまいすみません💦 (~~PyCQA/flake8-bugbear#273~~ こっちでした PyCQA/flake8-bugbear@592b722)

pysen では flake8-bugbear のバージョン指定がありませんので、バージョンを落として以前のルールに戻すこともできるのですが、バグ防止という意味では指摘内容からソースコードを修正した方が良い気がしています…！

Hiroshiba · 2022-12-25T20:16:00Z

該当箇所を改修すのに賛成です！
直せそうだったらおまかせできると嬉しいです！難しそうでしたらそのままにして頂ければ･･･！

sarisia · 2022-12-25T20:20:45Z

対応できますので別PRで対応します、よろしくお願いします！

sarisia · 2022-12-29T09:22:30Z

PR を master に対して rebase しました.

今度はライセンス取得 (generate_licenses.py) で落ちているのですが, 原因は platformdirs パッケージのライセンスファイルが LICENSE.txt から LICENSE にリネームされたことのようです.

ファイルのリネームだけで壊れてしまう原因が正直わかっていませんが, 以下の対処法のどちらが良さそうでしょうか？

pip-licenses を v4 系にアップグレードする (現在は v3) (正常に generate_licenses.py が走ることを確認しています)
platformdirs を元の 2.4.0 にロックする
generate_licenses.py にライセンス取得処理を追加する

sarisia · 2022-12-29T11:59:40Z

pip-licenses v4 はライセンス周りの問題があるようですね (#544). 対処法2でロックバージョンを戻そうと思います.

github-actions · 2022-12-29T12:10:55Z

Coverage Result

Resultを開く

Name	Stmts	Miss
voicevox_engine/init.py	1	0
voicevox_engine/acoustic_feature_extractor.py	75	0
voicevox_engine/dev/synthesis_engine/init.py	2	0
voicevox_engine/dev/synthesis_engine/mock.py	36	2
voicevox_engine/full_context_label.py	162	3
voicevox_engine/kana_parser.py	86	1
voicevox_engine/model.py	155	7
voicevox_engine/mora_list.py	4	0
voicevox_engine/part_of_speech_data.py	5	0
voicevox_engine/preset/Preset.py	12	0
voicevox_engine/preset/PresetLoader.py	34	1
voicevox_engine/preset/init.py	3	0
voicevox_engine/synthesis_engine/init.py	5	0
voicevox_engine/synthesis_engine/core_wrapper.py	206	166
voicevox_engine/synthesis_engine/make_synthesis_engines.py	57	49
voicevox_engine/synthesis_engine/synthesis_engine.py	133	12
voicevox_engine/synthesis_engine/synthesis_engine_base.py	67	9
voicevox_engine/user_dict.py	129	6
voicevox_engine/utility/init.py	3	0
voicevox_engine/utility/connect_base64_waves.py	37	0
voicevox_engine/utility/path_utility.py	26	6
TOTAL	1238	262

Hiroshiba · 2022-12-29T19:55:53Z

他issueもチェックして頂いたりと、いろいろとありがとうございます！！助かります！！

ちょっと実際にリニューアルされたREADME見つつ動かしてみたいところなのですが、今帰省していていつもの開発環境がなく･･･。
@takana-v さん・ @aoirint さん、もしよければお願いしても良いでしょうか 🙇‍♂️

takana-v · 2022-12-31T10:18:19Z

#531 でjinja2が追加された結果、コンフリクトが発生しているみたいです。
お手数ですが、コンフリクト解消をお願いします:bow:

…poetry

sarisia · 2022-12-31T10:54:01Z

ありがとうございます, 対応しました！

README.md

Hiroshiba

ほぼLGTMです！！READMEだけ！

めちゃくちゃいいなと思いました！
できるかわかってないのですが、lockとかrequirements.txtとかがずれてないかを確認するActionsとかあっても面白いかもですね！！

sarisia · 2023-01-05T14:24:03Z

#535 (review)
できるかわかってないのですが、lockとかrequirements.txtとかがずれてないかを確認するActionsとかあっても面白いかもですね！！

diff 取ればできそうですね！テスト時に回せるようにしたら安心できそうです.

こちらのマージ後にフォローアップ Issue などで対応したいと思います, ありがとうございます！

Co-authored-by: Hiroshiba <hihokaruta@gmail.com>

to resolve windows-specific errors (see raimon49/pip-licenses#121)

sarisia · 2023-01-05T18:35:50Z

以下の修正を行いました

Poetry を requirements-dev.txt へロックしました
- Poetry が依存するパッケージのライセンス取得のため, generate_licenses.py を修正しました
platformdirs を 2.6.2 へアップグレードしました
- Poetry が要求するためです
pip-licenses を 3.5.5 へアップグレードしました
- Windows で動作しないバグがあり, 3.5.4 で修正されているためです (Error when a package stores the license file in a subdirectory raimon49/pip-licenses#121)
- v4 系ではないので, requirements を Poetry で管理する #535 (comment) のライセンス問題は発生しませんでした.

(ビルド成果物に Poetry 関係のライブラリは入らないはずなので不要な気がしていますが, 一応...)
新たに追加された依存関係 (d386407) のライセンスは以下の通りで, README.md に記載されていた利用可能なライセンスの範囲かと思いますが, 念のためレビュー頂けますでしょうか.

package name	version	license
attrs	22.2.0	MIT License
CacheControl	0.12.11	Apache Software License
cleo	2.0.1	MIT License
crashtest	0.4.1	MIT License
cryptography	39.0.0	Apache Software License; BSD License
dulwich	0.20.50	Apache Software License
html5lib	1.1	MIT License
importlib-metadata	4.13.0	Apache Software License
importlib-resources	5.10.2	Apache Software License
jaraco.classes	3.2.3	MIT License
jeepney	0.8.0	MIT License
jsonschema	4.17.3	MIT License
keyring	23.13.1	MIT License
lockfile	0.12.2	MIT License
more-itertools	9.0.0	MIT License
msgpack	1.0.4	Apache Software License
packaging	22.0	Apache Software License; BSD License
pexpect	4.8.0	ISC License (ISCL)
pkginfo	1.9.4	MIT License
pkgutil-resolve-name	1.3.10	MIT License
platformdirs	2.6.2	MIT License
poetry	1.3.1	MIT License
poetry-core	1.4.0	MIT License
poetry-plugin-export	1.2.0	MIT License
ptyprocess	0.7.0	ISC License (ISCL)
pyrsistent	0.19.3	MIT License
rapidfuzz	2.13.7	MIT License
requests-toolbelt	0.10.1	Apache Software License
SecretStorage	3.3.3	BSD License
shellingham	1.5.0.post1	ISC License (ISCL)
tomli	2.0.1	MIT License
tomlkit	0.11.6	MIT License
trove-classifiers	2022.12.22	Apache Software License
webencodings	0.5.1	BSD License
zipp	3.11.0	MIT License

README.md

Hiroshiba

LGTM！！！

ありがとうございました！！
@takana-v さんor @y-chan さんもレビュー頂けると･･･！

takana-v

LGTM！

sarisia mentioned this pull request Dec 26, 2022

flake8-bugbear 指摘事項の修正 (b027) #538

Merged

sarisia marked this pull request as draft December 26, 2022 15:50

sarisia added 8 commits December 29, 2022 08:29

use poetry to manage dependencies

84c5a3b

update lock files

c9338b1

remove pip-compile sources

484702f

update readme

c0459f5

do not ignore poetry.lock

509317d

fix readme

c91f10f

do not export hashes

2d8934b

upgrade pysen

0a881b5

sarisia force-pushed the manage-deps-with-poetry branch from e912f5a to 0a881b5 Compare December 29, 2022 08:30

sarisia marked this pull request as ready for review December 29, 2022 09:25

lock platformdirs==2.4.0

5adb59c

Merge remote-tracking branch 'upstream/master' into manage-deps-with-…

99ce3e5

…poetry

add jinja2

6db0279

Hiroshiba reviewed Jan 4, 2023

View reviewed changes

README.md Outdated Show resolved Hide resolved

Hiroshiba reviewed Jan 4, 2023

View reviewed changes

README.md Outdated Show resolved Hide resolved

Hiroshiba reviewed Jan 4, 2023

View reviewed changes

README.md Outdated Show resolved Hide resolved

Hiroshiba reviewed Jan 4, 2023

View reviewed changes

sarisia requested a review from a team as a code owner January 5, 2023 15:48

sarisia requested review from y-chan and removed request for a team January 5, 2023 15:48

sarisia and others added 2 commits January 6, 2023 00:48

Update README.md

54f6971

Co-authored-by: Hiroshiba <hihokaruta@gmail.com>

add poetry to requirements-dev.txt

d386407

sarisia marked this pull request as draft January 5, 2023 15:52

sarisia added 3 commits January 5, 2023 15:52

update readme (removed poetry installation guide)

422d2ae

update license generate script

185d939

upgrade pip-licenses to 3.5.5

10bf2a5

to resolve windows-specific errors (see raimon49/pip-licenses#121)

sarisia marked this pull request as ready for review January 5, 2023 18:36

sarisia commented Jan 5, 2023

View reviewed changes

README.md Show resolved Hide resolved

make dev and test groups required

e78e616

Hiroshiba approved these changes Jan 6, 2023

View reviewed changes

sarisia mentioned this pull request Jan 7, 2023

poetry.lock と requirements.txt ファイルの乖離を防止する方法を検討する #566

Closed

3 tasks

takana-v self-requested a review January 9, 2023 06:30

takana-v approved these changes Jan 9, 2023

View reviewed changes

takana-v merged commit 26b91bd into VOICEVOX:master Jan 9, 2023

sarisia deleted the manage-deps-with-poetry branch January 9, 2023 16:16

Hiroshiba removed the request for review from y-chan January 9, 2023 16:46

aoirint mentioned this pull request Feb 2, 2023

pysen lint extrasの利用をやめ、linterを更新する #608

Merged

sevenc-nanashi mentioned this pull request May 23, 2023

poetryとpipではどちらが開発に使われていますか？ #683

Closed

3 tasks

aoirint mentioned this pull request Jun 24, 2023

Poetry 1.5に更新する #710

Closed

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

requirements を Poetry で管理する #535

requirements を Poetry で管理する #535

sarisia commented Dec 25, 2022 •

edited

takana-v commented Dec 25, 2022 •

edited

sarisia commented Dec 25, 2022

sarisia commented Dec 25, 2022 •

edited

Hiroshiba commented Dec 25, 2022

Hiroshiba commented Dec 25, 2022

sarisia commented Dec 25, 2022

Hiroshiba commented Dec 25, 2022

Hiroshiba commented Dec 25, 2022

sarisia commented Dec 25, 2022 •

edited

Hiroshiba commented Dec 25, 2022

sarisia commented Dec 25, 2022

sarisia commented Dec 29, 2022 •

edited

sarisia commented Dec 29, 2022

github-actions bot commented Dec 29, 2022 •

edited

Hiroshiba commented Dec 29, 2022

takana-v commented Dec 31, 2022

sarisia commented Dec 31, 2022

Hiroshiba left a comment

sarisia commented Jan 5, 2023

sarisia commented Jan 5, 2023 •

edited

Hiroshiba left a comment

takana-v left a comment

requirements を Poetry で管理する #535

requirements を Poetry で管理する #535

Conversation

sarisia commented Dec 25, 2022 • edited

内容

関連 Issue

スクリーンショット・動画など

その他

tasks

takana-v commented Dec 25, 2022 • edited

sarisia commented Dec 25, 2022

sarisia commented Dec 25, 2022 • edited

Hiroshiba commented Dec 25, 2022

Hiroshiba commented Dec 25, 2022

sarisia commented Dec 25, 2022

Hiroshiba commented Dec 25, 2022

Hiroshiba commented Dec 25, 2022

sarisia commented Dec 25, 2022 • edited

Hiroshiba commented Dec 25, 2022

sarisia commented Dec 25, 2022

sarisia commented Dec 29, 2022 • edited

sarisia commented Dec 29, 2022

github-actions bot commented Dec 29, 2022 • edited

Coverage Result

Hiroshiba commented Dec 29, 2022

takana-v commented Dec 31, 2022

sarisia commented Dec 31, 2022

Hiroshiba left a comment

Choose a reason for hiding this comment

sarisia commented Jan 5, 2023

sarisia commented Jan 5, 2023 • edited

Hiroshiba left a comment

Choose a reason for hiding this comment

takana-v left a comment

Choose a reason for hiding this comment

sarisia commented Dec 25, 2022 •

edited

takana-v commented Dec 25, 2022 •

edited

sarisia commented Dec 25, 2022 •

edited

sarisia commented Dec 25, 2022 •

edited

sarisia commented Dec 29, 2022 •

edited

github-actions bot commented Dec 29, 2022 •

edited

sarisia commented Jan 5, 2023 •

edited