並行コンピューティング技法 ―実践マルチコア/マルチスレッドプログラミング
Juliaの特徴に、分散・並列処理がしやすいという特徴があります。
Juliaでは言語の並行・並列処理として、
1 非同期タスク、コルーチン (並行処理)
2 マルチスレッド
3 分散処理 (並列処理)
4 GPU計算
の4つの方法をサポートしていますが、
今回の記事では、3の分散、並列処理の概要を
下記の記事を元に紹介したいと思います。
1.の並行処理に関しては、下記を参照ください。
続きを読む
GoogleなどのIT企業がソフトウェアを開発する際には
Design Docというドキュメントを利用しているそうです。
Design Docは「設計書」と訳されることが多いですが、
日本語の設計書とは少し意味合いが違うようです。
今回は、このDesing Docの要点を、
末尾の参考資料を元に勉強してみたので、
自分用のメモとしてまとめておきたいと思います。
続きを読む
本日、
自分が開発者のメンバーとして参加している
SciPyの新しいバージョン1.7.0がリリースされました🎉
今回は、1.7.0の新機能や特徴を、
連続ツイートでまとめてみたので、
そちらを、あとから参照しやすいように
記事としてまとめておきます。
過去のバージョンの記事は下記の通りです。
続きを読む
昨今、ネットワークを通して協調的に動くシステムを
作ることが多いため、
並行処理は重要な技術だと思います。
しかし、この並行処理は、様々な専門用語があり、
昔から分かりづらいなと思っていたので、
色々調べながらまとめてみました。
加えて、いくつかのプログラミング言語で、
実際にHTTPリクエストを並行処理で実施する
サンプルコードを紹介したいと思います。
続きを読む
The Little Book of Julia Algorithms: A workbook to develop fluency in Julia programming
ついに待ちに待ったJulia 1.6がリリースされたのですが、
Julia1.6で導入された新機能に関して調べながら、
Twitterでメモを取ったのでまとめておきます。
続きを読む
各プログラミング言語において、short circuit evaluationができるか試してみました。
続きを読む
これまで、自分はPythonのユニットテストには、
PythonのデフォルトのUnitTestsを使っていましたが、
自分がコントリビュートしているPython OSSの殆どが
pytestというテストフレームを使っていたので、
気になって調べてみました。
下記は、これまでPythonデフォルトのUnitTestsを使ってきた自分が、
pytestを使ったほうが良いなと思った7つの項目です。
UnitTestsはJavaのユニットテストフレームワークである
JUnitをベースとして開発されているため、
テストを作成する時に毎回UnitTestsクラスを継承した
テストクラスを作成する必要があります。
一方、pytestの場合、クラスは作る必要がなく、
test_*.py または、*_test.pyというファイルに、
test_*という名前の関数をさえ作れば、
pytestが勝手にその関数を検索して、テストとして実行してくれます。
これにより、テストを書く敷居がかなり低くなり、
テストを書きやすくなると思います。
UnitTestのテストは、assertTrueやassertEqualなど、
様々なassert関数を使ってテストを作成しますが、
どのようなassert関数使うべきか覚える必要があります。
pytestでは、Pythonのデフォルトキーワードである
assert文を使って、条件を書くことによりテストを評価します。
これにより、すべてのテストコードを一貫性をもって、
作成することができると思います。
UnitTestsで作成したテストが失敗した場合、
そのテストが失敗したことはわかりますが、
なぜそのテストが失敗したのかは、
テストの結果をみるだけではわかりにくいと思っていました。
一方、pytestの場合、
下記の公式ドキュメントにあるように
失敗したテストに関しては、
それぞれの値がどのような値であったせいで、
テストが失敗したのかをわかりやすく表示してくれます。
加えて、コマンドライン引数で設定することにより、
テストが失敗したときに定義されていた
それぞれの変数の中身なども表示することができ、
再度テストを実行しなくても、
テストのログだけで、ある程度のデバックができるようになっています。
UnitTestsにも、自動的にテストコードを検索して、実行する
auto discovery機能がありますが、
pytestにauto discoveryはより一層使いやすく、高機能だと思います。
例えば、
$ pytest
とタイプすることで自動的にcurrent directory以下のテストを検索してくれますが、
検索するディレクトリを指定したり、
あるテストファイルの一部のテストのみ実行したり、
テスト名の部分一致で検索して実行なども
すべてコマンドライン引数を設定することで可能です。
pytestには、プラグイン機能があり、
様々な便利な追加機能のためのプラグインが公開されています。
例えば、
マルチスレッドや分散処理でテストを並列実行するpytest-xdistや
文法/コードスタイルチェッカーであるpyflakesを実行するpytest-flakes
コードカバレッジを確認するpytest-cov
などがあります。
これらのプラグインは、それぞれpipでインストールでき、
あとは必要な設定やデータをpytestのオプションに指定すれば
それぞれの機能を利用可能です。
pytestは、Pythonのデフォルトのテストフレームワークである
unittestで作成されたテストも実行可能です。
これにより、すでに沢山のUnitTestsベースのテストが存在している
プロジェクトにおいても、pytestで既存のテストを実行しつつ、
少しづつ、pytestのテストに置き換えていくことができます。
また、UnitTestsベースのテストが失敗したときも、
pytestで実行した場合、わかりやすく失敗した理由を表示してくれます。
--duration=0というオプションを使うことにより、
簡単にテストの実行時間の遅いものからランキングリストを作ってくれます。
下記は自分のOSSの場合の出力例です：
上記のように、簡単にどのテストが失敗しているのかわかり、
そのような遅いテストを改善したり、
テスト対象のコードそのものを改善することができます。
| コマンドライン引数 | 機能 |
|---|---|
| -l | トレースバックとともにローカル変数も表示 |
| -v | すべてのテスト名とその結果を表示 |
| --lf | 前回失敗したテストだけを実行 |
| -x | 最初の失敗したテストでテストを止める |
| -Werror | Warningが出たときもエラーにする |
| --durations=N | テスト実行時間がN秒以下のテストを表示(0に場合はすべて) |
JetbrainsのPython IDEであるPycharmは、
テストフレームワークとして、pytestに対応しています。
下記の公式ドキュメントにある通り、
IDEからテストを実行し、テスト結果をわかりやすく表示したり、
auto discoveryでテストを検索することもできます。
続きを読む
本日、
自分が開発者のメンバーとして参加している
SciPyの新しいバージョン1.6.0がリリースされました🎉
今回は、1.6.0の新機能や特徴を、
連続ツイートでまとめてみたので、
そちらを、あとから参照しやすいように
記事としてまとめておきます。
過去のバージョンの記事は下記の通りです。
続きを読む
PythonやJuliaを使っている人が、
Javaを使うと、
言語のデフォルト機能が足りないなと
思うことがあると思います。
そんな時に便利なのが、
Googleが開発公開しているJavaライブラリであるGuavaです。
Guavaは、Javaのデフォルト機能で実装すると、
コードの量が長くなってしまったり、
バグが入りやすくなってしまうコードを、
簡潔に、バグが入りにくく実装することを
目的に開発されています。
Guavaはかなり古くから開発されているため、
Java8などで導入された機能とかぶっている部分も多いですが、
それでもまだデフォルトの機能にはない沢山の機能が実装されています。
今回の記事では、
Guavaの代表的な機能の概要と
コードサンプルを紹介したいと思います。
すべてのコードサンプルはこちらでも公開しています。
続きを読む
今回の記事は、
数理最適化Advent Calendar 2020の23日目の記事です。
今回の記事では、
数理最適化の基本的な問題の一つである、(線形)割当問題の概要と、
Pythonのライブラリの一つであるscipyを使った解法について紹介したいと思います。
続きを読む
