[Django]サーバーの構築

VisualSdudioで開発していたDjango3.2のプロジェクトを、CentOSサーバーに公開する手順についてのメモ書き。

デプロイに関する3.2のドキュメントは以下。

https://docs.djangoproject.com/ja/3.2/howto/deployment/

今回は最終的にuWSGIでサーバーを構築する予定で、設定の流れは以下が参考になる。

https://uwsgi.readthedocs.io/en/latest/tutorials/Django_and_nginx.html

流れとしては、以下の順に順次確認して最終形にする。

  1. Django
  2. uWSGI –> Django
  3. nginx –> uWSGI –> Django
  4. WAF –> nginx –> uWSGI –> Django

まずはDjangoプロジェクトを設定して単体で確認する。

0.今回の条件

  • クライアント開発環境:Visual Studio Community 2022
  • Djangoバージョン:3.2
  • サーバー:CentOS Stream9
  • WAF:nginx+Naxsiサーバー
  • ソース管理:自前Gitサーバー

1.Djangoプロジェクト構築

1-1. Python

サーバーにインストールされているpythonのバージョンを確認。

python --version

今回のサーバーは3.9で、クライアント開発時と同じのためそのまま使うことにし、pyenvは使わないこととした

1-2. pip,git

dnf install pip
dnf install git

1-3. アプリ実行ユーザー作成

Django実行用のアプリユーザー(仮にappユーザー)を作成し、ユーザー変更する。

adduser app
su - app

1-4. Gitクライアント設定

gitサーバーは同じセグメント内の別サーバーにあり、鍵認証としている。

1)appユーザーで、鍵を作成する。

ssh-keygen -t rsa -b 4096

2)作成した公開鍵を、Gitサーバーに登録

作成された公開鍵(~/.ssh/id_rsa.pub)を、Gitサーバーのgitユーザーのauthorized_keysに登録する。

1-5. Djangoソース取得

Djangoプロジェクト用のディレクトリを作成(仮に~/django)して移動して、gitからソースを取得(クローン)する。

git clone ssh://git@10.10.10.1:9999/~/myapp.git

1-6. python実行環境

プロジェクトフォルダ配下に環境を構築し、必要なパッケージをインストール。

cd myapp
virtualenv env
cd env
source bin/activate
pip install -r ../requirements.txt

appユーザーの.bash_profileにvirtualenvのactivateを仕込んでおく。

1-7. Djangoの設定

設定をサーバー用に修正して、デプロイチェック。

https://docs.djangoproject.com/ja/3.2/howto/deployment/checklist/

まずはDEBUG=Flaseとする。SSL周りの設定については、WAFからの呼び出しのため後に設定。

ログファイルのディレクトリとしては以下を作成する。

mkdir /var/log/django
chown app:app /var/log/django

データベースについて、新規に作成した場合は、マイグレーションとスーパーユーザーを作成する。

https://docs.djangoproject.com/en/3.2/topics/migrations/

1-8. Django単体の確認

Django開発サーバーを立ち上げて、起動できることを確認する。

python manage.py runserver 0.0.0.0:8000

ブラウザで確認すると、DEBUG=Flaseとしているためstatic以下が取得できないが、この時点では無視して、後でnginx設定時に対応する。

2.uWSGI構築

2-1. uWSGIインストール

https://uwsgi.readthedocs.io/en/latest/Install.html

dnf groupinstall "Development Tools"
dnf install python-devel
pip install uwsgi

2-2. uWSGI設定

https://docs.djangoproject.com/ja/3.2/howto/deployment/wsgi/uwsgi/

起動用のuwsgi.iniファイルを/home/app/django/myapp/に作成する。設定例は以下。

[uwsgi]
chdir=/home/app/django/myapp/
module=myapp.wsgi:application
master=True
pidfile=/tmp/myapp-master.pid
vacuum=True
max-requests=5000
daemonize=/var/log/uwsgi/daemon-@(exec://date +%%Y-%%m-%%d).log 
http-socket = :8000
#socket=/usr/share/nginx/tmp/uwsgi.sock ※nginxとunixソケットでつなぐ場合

/var/log/uwsgiは以下で作成

mkdir /var/log/uwsgi
chown app:app /var/log/uwsgi

パラメータに関するドキュメントは以下。

https://uwsgi.readthedocs.io/en/latest/Options.html

2-3. 起動コマンド

uWSGIの起動コマンドstart_uwsgi.shを、/home/app/django/myapp/binに作成する。

#!/bin/sh
cd /home/app/django/myapp/
source env/bin/activate
env/bin/uwsgi --ini uwsgi.ini

起動コマンドに実行権を付与して実行し、正常に動作することを確認する。

2-4. uwsgiサービス登録

/usr/lib/systemd/systemに、サービス定義ファイルuwsgi.serviceを作成する。

[Unit]
Description=UWSGI
After=network-online.target
Wants=network-online.target

[Service]
Type=forking
ExecStart=/home/app/django/myapp/bin/start_uwsgi.sh
KillSignal=SIGQUIT
TimeoutStopSec=5
KillMode=mixed
User=app
Group=app

[Install]
WantedBy=multi-user.target

定義ファイルを作成したら、サービスの起動設定を行う。

systemctl enable uwsgi.service
systemctl start uwsgi.service

3.nginx構築

3.1 nginxインストール

dnf install nginx

3.2 static設定

https://docs.djangoproject.com/en/3.2/howto/static-files/#deployment

1)ディレクトリ作成

staticファイル配置用のディレクトリを作成する。nginxから参照できる場所として以下とし、appユーザーからもアクセスできるようにする。

mkdir /usr/share/nginx/static
chmod 777 /usr/share/nginx/static

2)Django設定

Djangoプロジェクトのsetting.pyのSTATIC_ROOTに、上記ディレクトリを設定

STATIC_ROOT = '/usr/share/nginx/static/'

3)ファイル配置

appユーザーにて以下を実行する。

python manage.py collectstatic

3.3 設定

https://uwsgi.readthedocs.io/en/latest/Nginx.html

nginxの設定ファイルに以下を追加。

location / {
    include    uwsgi_params;
    uwsgi_pass 127.0.0.1:8000;
    #uwsgi_pass unix:/usr/share/nginx/tmp/uwsgi.sock; ※unixソケットの場合
}

location /static {
    alias /usr/share/nginx/static;
}

※unixソケットを使う場合はこちらを有効にして、uWSGI側の設定もこれに合わせる。

3.4 起動設定

設定ファイルが問題ないことを確認して、nginxサービスを起動する。

nginx -t
systemctl start nginx

httpでアクセスして正常に表示できることを確認する。

4.WAF設定

4.1 WAFサーバー設定

WAFサーバー経由での公開設定を行い、正式なSSL証明書を取得する。

4.2 DjangoのSSL設定

Djangoのデプロイチェックで保留していたSSL周りの設定を変更する。SECURE_PROXY_SSL_HEADERを設定する場合は、nginx側で、X-Forwarded-Proto ヘッダーを付与するように設定する。

https://docs.djangoproject.com/ja/3.2/ref/settings/#std:setting-SECURE_PROXY_SSL_HEADER

具体的には以下を追加。

proxy_set_header    X-Forwarded-Proto       $scheme;

4.3 Naxsi設定

最初はNAXSIを学習モードにして、ルール調整して、最終的にfail2banを有効にする。

ChromebookのVSCodeで改行コードが勝手に追加される

【現象】

WindowsのVisualStudioで作成したファイルを、ChromebookのVSCodeで編集すると、全行の間に空白行が勝手に追加される。

【原因】

Windowsで作成したファイルは改行コードが「CRLF」となっていたので、VSCode側で「CR」を「LF」に変更するため、「LF」+「LF」となっているため改行が増えてしまっている。

【解決方法】

Chromebookの「Settings」の「Files」の「Linebreaks for saving files」で、「CRLF」に変更してみたが、それでは治らなかった。

ファイルの改行コードを「LF」に変更することで問題は解決。

VC++のコンパイル警告

昔のVC++プロジェクトを、Visual Studio2019に取り込んだが、古いソースで、最新ではコンパイル警告がいくつか出る。

(コンパイラバージョン別の警告の一覧)

https://docs.microsoft.com/ja-jp/cpp/error-messages/compiler-warnings/compiler-warnings-by-compiler-version?view=msvc-160

だいぶ昔のソースを取り込んだのもありも、VSも以前よりチェック項目が増えていて結構な数の警告が出た。警告は無視しても動くが、警告を直していくことでいい勉強になることもある。

C4589:Constructor of abstract class ‘type’ ignores initializer for virtual base class ‘type’

 抽象クラス  ’VBase2 ’のコンストラクターは仮想基底クラス 'VBase’ を無視します

これは、仮想基底クラスVBaseを継承する抽象VBase2のコンストラクター定義で、書かなくていい VBase の定義を書いていたということ。抽象クラスを継承した抽象クラスだけど、何となく実装クラスのイメージでコンストラクターのコードを書いて警告が出たということでした。

class VBase
{
public:
	VBase(const int param);
	virtual ~VBase() {};
	
	virtual void mustOverrideMethod() = 0;

private:
	int _param;
};

VBase::VBase(const int param)
{
	_param = param;
}

class VBase2 : public virtual VBase
{
public:
	VBase2(const int param);
	virtual ~VBase2() {};

	virtual void mustOverrideMethod2() = 0;
};

VBase2::VBase2(const int param) : VBase(param)  // ← C4589警告
{
}

この抽象クラスVBase2のコンストラクターの実装が以下。

(誤)
VBase2::VBase2( const int param ) : VBase(param )  // ← C4589警告
{
}

(正)
VBase2::VBase2( const int /* param */ ) 
{
}

VBase2自体も抽象クラスで、ここでVBaseのコンストラクターの引数を定義しても意味は無く、実装クラスで定義する必要があるということ。

class ImplVBase2 : public virtual VBase2
{
public:
	ImplVBase2(const int param);
	virtual ~ImplVBase2() {};

	virtual void mustOverrideMethod() {};
	virtual void mustOverrideMethod2() {};
};

ImplVBase2::ImplVBase2(const int param) : VBase2(param), VBase(param)   // ← ※ここでVBase(param) 定義
{
}

VBase2のコンストラクターで引数を持つ必要がそもそもないということになるが、例えばユーザークラスを実装していて、キーがユーザーNoでそれを引数としている場合には、やはり引数があった方が見た目が良いように個人的には思えるので残した。

UserImpl::UserImpl(const int userNo) : UserBaseEx( userNo ), UserBase( userNo )

↓ 

UserBaseEx::UserBaseEx( const int /* userNo */)  ※このクラスだけ、userNoが無いのもなんか違和感が・・・・

↓

UserBase::UserBase( const int /* userNo */)

C4996 :コンパイラの警告(レベル3)

古いソースのため、推奨されない関数を使っているということで、以下のメッセージが出た。

'inet_ntoa': Use inet_ntop() or InetNtop() instead or define _WINSOCK_DEPRECATED_NO_WARNINGS to disable deprecated API warnings

inet_toaが非推奨で、inet_ntop()かInetNtop()を使えとのことで、inet_ntopに変えたが

https://docs.microsoft.com/en-us/windows/win32/api/ws2tcpip/nf-ws2tcpip-inet_ntop

ws2tcpip.hをインクルードしても、「inet_ntopが定義されていない」というエラーが・・・・

ws2tcpip.h の中を見てみると、バージョンチェックではじかれているよう。

https://docs.microsoft.com/ja-jp/cpp/porting/modifying-winver-and-win32-winnt?view=msvc-170

古い古いVSで作ったもので、stdafx.hの中のバージョン定義が古すぎのため、inet_ntopの対象外となっていた。astafx.hの中のバージョン定義を変えることで解決。

Debug版のプロジェクト設定の問題

古いプロジェクトから自動移行した場合に、以下の警告が出るので設定変更が必要。

LNK4075:リンカー ツールの警告

/EDITANDCONTINUE は /SAFESEH の指定によって無視されます

追加になったデバッグ用の設定が自動でされていないため、プロジェクトの[プロパティ]-[詳細]で、[デバッグ ライブラリの使用]を「はい」に設定。

D9305:コマンド ラインの警告カー ツールの警告

オプション 'Gm' の使用は現在推奨されていません。今後のバージョンからは削除されます。

プロジェクトの[プロパティ]-[C/C++]-[コード生成]で、[最小リビルドを有効にする]を「いいえ」に設定。

その他

アプリケーションの画面

作成されたアプリケーションの画面サイズが小さくなってしまうので、 プロジェクトの[プロパティ]-[マニフェストツール]-[入出力]で、[DPI認識]を「なし」に設定。

Django開発ではまったこと

はじめてのDjango開発で、ひっかかったところ、はまったところの記録。

1)拡張テンプレート側のstaticのロードエラー

ベース側で「{% load static %}」しているので、なんとなく拡張側は要らないような気でいたら、以下エラーが出た。

Invalid block tag on line **: 'static', expected 'endblock'. Did you forget to register or load this tag?

拡張ファイル側でも「static」を使う場合は、「{% load static %}」する必要がある。

※「{{ block.super() }} 」した場合に、その中で「static」を使われている場合も、「{% load static %}」する必要がある。

2)Django Debug Toolbarが表示されない

Visual Studio からDjangoの開発用サーバーで実行すると、ツールバーが表示されない。Chromeのエラーを見ると、toolbar.jsの読み込みがはじかれている。

Failed to load module script: The server responded with a non-JavaScript MIME type of "text/plain".

とりあえず、setting.pyに以下を追加することで解決。

# For Debug Toolbar
if DEBUG:
    import mimetypes
    mimetypes.add_type("text/javascript", ".js", True)

3)Visual Studioのサンプルの文字コード

サンプルのDjangoのWebアプリのテンプレートの文字コードがSJISのようで、修正しながら、テンプレート内に日本語を書くと、実行時にエラーになった。他のエディタで一度UTF-8で一度保存してから修正する必要あり。

4)アドオンhumanizeのintcomma

自分のプロジェクトの言語設定の問題か、桁区切りをつけるintcommaがうまく動作しなかった。

https://docs.djangoproject.com/ja/3.1/ref/contrib/humanize/#intcomma

ソースを見ると、第二引数で言語設定を無視できるよう。

(GitHubソース)contrib/humanize/templatetags/humanize.py

以下のように、Falseを設定することで回避できた。

<div class="text-right>{{ report.count_visit|intcomma:False }}</div>

Visual StudioでDjango

Visual Studio Community 2019 で、Djangoで開発を始めたので、作業メモ。とりあえず、Microsoftのドキュメントからチュートリアルを参考に。

(MS公式)チュートリアル: Visual Studio での Django Web フレームワークの概要

チュートリアルは前の2017バージョンだけど参考に、軽く動かしながら、実際に作りたいものに変えていく。

【主な変更作業】

Webプロジェクト テンプレートから、自分用に変更していく。

(MSサイト)手順 4: Django Web プロジェクト テンプレートを使用する

1 Viewの変更

まずは見た目からということで、自分の作りたいページ構成に変えていく。

  • app/templates/layout.html:タイトル、メニュー、フッター等を修正
  • app/views.py:templateの中で表示するデータを修正

2 DB変更

DBを、業務で使っているPostgreSQLに変更する。使うドライバとしては、以下のPsycopgがよく使われているらしいので、それを使うことにする。

(Psycopg公式)Psycopg – PostgreSQL database adapter for Python

1)ドライバのインストール

psycopg2パッケージをインストールする。インストール方法は以下ページを参考に。

(MS公式)[Python 環境] ウィンドウ タブ リファレンス

ソリューションエクスプローラーの[Python環境]>[Env]を右クリックして[Pythonパッケージの管理]からも行ける。

2)DB接続の設定

以下ページを参考に、settings.pyのDATABAESを修正。

(django公式)djangoドキュメント – Settings -DATABASES

DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.postgresql',
        'NAME': 'mydatabase',
        'USER': 'mydatabaseuser',
        'PASSWORD': 'mypassword',
        'HOST': '111.111.111.1111',
        'PORT': '', # 空白の場合はデフォルト
    }
}

3)既存の業務DBの定義を取り込む

以下を参考に、models.pyに既存DBの定義を追加する。

(Djangoi公式)レガシーなデータベースと Django の統合

ソリューションエクスプローラーから[Python環境] を右クリックして、[すべてのPython環境を表示]して、実行環境を選択して、下の[PowerShell で開く]。

PowerShellで、以下コマンドを実行。

$ python manage.py inspectdb

以下のエラーが出て、うまく定義を作成できないよう。

Unable to inspect table 'XXXXXXXXXX'
The error was: syntax error at or near "WITH ORDINALITY"
LINE 6: FROM unnest(c.conkey) WITH ORDINALITY co…

PostgreSQLがVer9.2と古くて対応していないので、いい機会なのでバージョンアップすることに。

PostreSQLをバージョン13にしたら、問題なくinspectdbができたので、models.pyに定義を追加する。

4)DBのマイグレーション

PostgreSQLにadmin関係のテーブルを作成する。Microsoftのドキュメントの手順をい参考に。

(MS公式)手順 6-1:プロジェクトを作成し、データベースを初期化する

ソリューションエクスプローラーで、プロジェクトを右クリックして、[Python]>[Django で移行を実行する]を行う。その後、[Django でスーパーユーザーを作成する]を実行。

3.setting.pyの修正

日本語設定等を行う。

(Django公式)設定 | Django ドキュメント

とりあえず、変えたところは以下。

LANGUAGE_CODE = 'ja'
TIME_ZONE = 'Asia/Tokyo'

【アプリ作成】

Django公式のチュートリアルを参考に、仕組みを勉強しながら作業。

4.Djangoのバージョンアップ

Visual Studio 2019 のプロジェクトテンプレートは、Django2.2なので、最新のDjango3.1に変更した。

プロジェクトフォルダ直下のrequirement.txtのバージョンを修正する。

django~=3.1

Python環境の実行環境(ディフォルトならenv)を選択して、[パッケージ(PyPI)]を選択して、表示されている「Django2.2.*」の横の上矢印でバージョンアップするか、プロジェクトを再読み込みすれば画面上部にメッセージが出るのでクリックしてバージョンアップ。

テンプレートファイルの、staticsfilesの読み込みが、エラーになるので、テンプレートファイルを修正する。

【旧】{% load staticfiles %}
↓
【新】{% load static %}

5.テストについて

https://docs.microsoft.com/ja-jp/visualstudio/python/unit-testing-python-in-visual-studio?view=vs-2019