линуксоидам: Python 3.7 на Dell gpu+cuda

[Mad Hatter]

Кстати, к определённой версии Питона надо свю версию tensorflow, а к нему нужную версию CUDA. Они очень к этому привередливы!
Я когда себе ставил, брал вовсе не самый последний CUDA toolkit, а той версии что совместима, там табличка есть.

[kyk]

Я бы посоветовал скачать старую Анаконду с Python 3.7:
https://docs.anaconda.com/free/anaconda ... dpkglists/

этот?
https://docs.anaconda.com/free/anaconda/reference/packages/old-pkg-lists/2022.10/py3.7_linux-64/

Вроде как это он же download?
Anaconda3-2022.10-Linux-x86_64.sh

[kyk]

Кстати, к определённой версии Питона надо свю версию tensorflow, а к нему нужную версию CUDA. Они очень к этому привередливы!
Я когда себе ставил, брал вовсе не самый последний CUDA toolkit, а той версии что совместима

там табличка есть.

а где эту табличку смотреть?

[Mad Hatter]

Я бы посоветовал скачать старую Анаконду с Python 3.7:
https://docs.anaconda.com/free/anaconda ... dpkglists/

этот?
https://docs.anaconda.com/free/anaconda/reference/packages/old-pkg-lists/2022.10/py3.7_linux-64/

Вроде как это он же download?
Anaconda3-2022.10-Linux-x86_64.sh

Ммм.... Там версия 2018 года есть. Может её?
В Анаконде много чего идёт сразу с гарантированной совместимостью.
CUDA нет, так это блажь

[Mad Hatter]

Кстати, к определённой версии Питона надо свю версию tensorflow, а к нему нужную версию CUDA. Они очень к этому привередливы!
Я когда себе ставил, брал вовсе не самый последний CUDA toolkit, а той версии что совместима

там табличка есть.

а где эту табличку смотреть?

Тута:
https://punndeeplearningblog.com/develo ... atibility/

[kyk]

Ммм.... Там версия 2018 года есть. Может её?

почему?

[Mad Hatter]

Ммм.... Там версия 2018 года есть. Может её?

почему?

Чтобы не была сильно свежей

[kyk]

Чтобы не была сильно свежей

The github project committed on Jul 11, 2021 and they use Python version 3.7.

So, how about this one:
Packages included in Anaconda 2021.05 for 64-bit Linux on x86_64 CPUs with Python 3.7
Download: Anaconda3-2021.05-Linux-x86_64.sh

Or, maybe this one(s): 2018 Anaconda-3 and 2018 Anaconda-2:
Packages included in Anaconda 2018.12 for 64-bit Linux with Python 3.7
Download: Anaconda3-2018.12-Linux-x86_64.sh
Download: Anaconda2-2018.12-Linux-x86_64.sh

[Mad Hatter]

Пробовать надо, что тут ещё сказать?

Анаконда должна быть третьей, на мой взгляд, ну и наверное можно брать последнюю что есть с 3.7
Если есть возможность - делать VM, ставить и смотреть какие там версии тех модулей что у тебя в списке (если попадают в список дистрибутива)

[kyk]

Анаконда должна быть третьей, на мой взгляд, ну и наверное можно брать последнюю что есть с 3.7

the most recent Anaconda with Python 3.7 dated 2022.10:
https://docs.anaconda.com/free/anaconda/reference/packages/old-pkg-lists/2022.10/py3.7_linux-64/
Download: Anaconda3-2022.10-Linux-x86_64.sh


There is also Anaconda with Python 3.7 dated 2021.05 (which is just one month before the project committed):
Packages included in Anaconda 2021.05 for 64-bit Linux on x86_64 CPUs with Python 3.7
Download: Anaconda3-2021.05-Linux-x86_64.sh

Finally, there are Anaconda versions of 2020, 2019, and 2018, all with Python 3.7

[Mad Hatter]

Посмотри по версии пакетов что включены, чтобы версии соответствовал тем что тебе надо. В принципе их всегда потом (с удачей) можно апгрейдить или даунгрейдить до нужных (а это отдельный геморрой)

[Mad Hatter]

Я бы взял этот:
https://docs.anaconda.com/free/anaconda ... _linux-64/
Download: Anaconda3-2022.10-Linux-x86_64.sh

[Mad Hatter]

И вот сюда смотри:
https://stackoverflow.com/questions/588 ... thon-3-7-3

I am using Windows 10 (64 bit) and I use these versions in a project and they work together:
python:3.7.4
tensorflow-gpu: 1.15
cuda:10.0
cudnn:7.6.5.32
numpy:1.17.4

Неважно что Windows, главное смотри какие версии TF & CUDA

официально похоже такой винигрет уже не поддерживается:
https://www.tensorflow.org/install/pip?lang=python3

[Mad Hatter]

официальный список версий:
https://www.tensorflow.org/install/source#gpu

[kyk]

Допустим, Python package installs 'tensorflow-2.9.0' with Python 3.7x

So according to https://www.tensorflow.org/install/source#gpu
my configuration should be as follows:

cuDNN=8.1
CUDA=11.2
Compiler=GCC 9.3.1
Build tools= Bazel 5.0.0

Tensorflow_compatab.png (114.45 КБ) 449 просмотров

In my Google Colab Jupiter notebook, I have Python 3.74 virtual environment:

Код: Выделить всё

$nvidia-smi

Sun Oct 15 05:46:53 2023
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 525.105.17 Driver Version: 525.105.17 CUDA Version: 12.0 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|===============================+======================+======================|
| 0 Tesla V100-SXM2... Off | 00000000:00:04.0 Off | 0 |
| N/A 35C P0 24W / 300W | 0MiB / 16384MiB | 0% Default |
| | | N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=============================================================================|
| No running processes found

How do I remove CUDA Version: 12.0 and install CUDA=11.2 and cuDNN=8.1 ?

[Mad Hatter]

https://stackoverflow.com/questions/577 ... ogle-colab

I got the answer for downgrading cuda to version 8.0 using the following command line.

Код: Выделить всё

!wget https://developer.nvidia.com/compute/cuda/8.0/Prod2/local_installers/cuda-repo-ubuntu1604-8-0-local-ga2_8.0.61-1_amd64-deb
!dpkg -i cuda-repo-ubuntu1604-8-0-local-ga2_8.0.61-1_amd64-deb
!apt-get update
!apt-get install cuda=8.0.61-1

[Mad Hatter]

мда... жуткий у тебя винигрет, ещё и пекедж не прописывает все депенденси, чисто из сообщений ошибок видно, что к примеру нужен SciSpacy 0.4.0, иначе возникают несовместимости. А это тоже за собой тянет много чего. В конде этого пакета нет, а значит всё дерево зависимостей надо писать руками. Ужос!

P.S. намякивает также, что правильная версия Ubuntu - 18, так как ней по умолчанию идёт Python 3.6, который можно апгрейдить до 3.7
Ubuntu 20 уже идёт с Python 3.8

[kyk]

P.S. намякивает также, что правильная версия Ubuntu - 18, так как ней по умолчанию идёт Python 3.6, который можно апгрейдить до 3.7
Ubuntu 20 уже идёт с Python 3.8

Я на днях собираюсь на Dell установить.

Т.е. ты рекомендушь мне устновить не самую последнюю Ubuntu (23.10), а Ubuntu - 18? Ubuntu 18.04.6 LTS (Bionic Beaver)

Ubuntu - 18, так как ней по умолчанию идёт Python 3.6, который можно апгрейдить до 3.7

А как потом апгрейдить Ubuntu - 18 до Питон до 3.7 ? Путём установки Anacond-ы with Python 3.7? Anaconda3-2022.10-Linux-x86_64.sh

Но ведь с таким же успехом можно установить Ubuntu 22.04.3 LTS, а потом уже конду с Питоном 3.7. Чем такой путь хуже?

И кстати, вместо Анаконды, наверно можно установить миниконду?

[Mad Hatter]

Я тебе напишу скоро подробнее

[Alexander Troyansky]

5. Ставьте любую версию Python, 3.7 100% есть на deadsnakes

Код: Выделить всё

sudo add-apt-repository ppa:deadsnakes/ppa
sudo apt update
sudo apt install python3.7

К сожалению, Python, 3.7 совсем недавно у брали с Deadsnakes
Поэтому только хардкор

Код: Выделить всё

!sudo apt install -y build-essential libssl-dev zlib1g-dev libncurses5-dev libncursesw5-dev libreadline-dev libsqlite3-dev libgdbm-dev libdb5.3-dev libbz2-dev libexpat1-dev liblzma-dev tk-dev libffi-dev wget
!wget https://www.python.org/ftp/python/3.7.4/Python-3.7.4.tgz
!sudo ./configure --enable-optimizations --with-ensurepip=install
!sudo make -j $(nproc)
!sudo make altinstall

какой же это хадкор... Хардкор - это когда ентот петон надо было компилировать на HPUX или AIX. На Линухе - двапальцаобоссать