2022年9月28日水曜日

Pythonでヒストグラムを生成する【3/3】

 前回



前回はデータの分類をやったので今回はグラフの作成


3.グラフの作成



こういったグラフにするためには、「階級数」だけリストを作成し、それらの要素数は「最大の階級の値」する。そのうえで、各リストを最後尾から「■」で埋めて、最後に縦軸を合成すればいい。つまり、階級数が10、最大の階級の値が10であれば、10個の空白の要素を持つ10個のリストを用意すればよい。
  1. #sep_listは階級(横軸)
  2. #separatedは元データを階級別に分けたもの
  4. longest = 0
  5. for i in separated:
  6.     if len(i) > longest:
  7.         longest = len(i)
  8. y = longest + 1 
  9. x = len(sep_list)
  10. graph = [[' ']*x for _ in range(y)]
  11. sep_list = list(map(lambda x: (map(lambda y: str(y),x)), sep_list))
  12.  	#sep_listは[int, int]の形なのでstrに変換
  13. graph[y-1] = list(map(lambda x:'~'.join(x), sep_list))
  14. 	#グラフのリスト末尾に軸を追加
  15. for i in range(x):
  16.     volume = len(separated[i])
  17.     for k in range(volume,0,-1):　#後ろから■で埋めてく
  18.         graph[y-1-k][i] = "■"
  19.

最後にグラフの縦軸を作成する。
まず、グラフの縦軸の数字を含むリスト用意する。縦軸は、グラフを含むリストの一次元目の要素数~1までをとる。ここでは次のステップの都合上0まで含むリストを「要素数」、「要素数-1」... 「0」といった形で作成する。
その後、このリストをグラフリストの一次元目の要素(リスト)の先頭に入れる形で結合する。
最後にグラフリストの[0][0]を半角スペースに置換する。


  1. #graphはグラフを格納しているリスト
  2. num = [[i] for i in range(len(graph)-1,-1,-1)]
  3. for i in range(len(graph)):
  4. 	graph[i] = num[i] + graph[i]
  5. self.graph[len(graph)-1][0] = ' '
最後にこれまでのコードをまとめてクラス化するとこう 
  1. class histogram:
  2.     """docstring-
  3.         data_array -> ヒストグラムにしたいデータ(一次元リスト)
  4.         sep ->　ヒストグラムの階級    
  5.         drawメソッドで実行
  6.         output_to_csvメソッドでワーキングディレクトリにcsv書き出し
  7.     """
  8.     def __init__(self, data_array, sep):
  9.         self.data = data_array
  10.         self.s = min(data_array)
  11.         self.e = max(data_array)
  12.         self.sep = sep
  13.         self.separated = []
  14.         self.sep_list = []
  16.     def draw(self):
  17.         self.distribute_data()
  18.         self.select_list()
  19.         self.draw_a_histogram()
  20.         self.draw_vertical_axis()
  22.     def draw_a_histogram(self):
  23.         longest = 0
  24.         for i in self.separated:
  25.             if len(i) > longest:
  26.                 longest = len(i)
  27.         y = longest + 1
  28.         x = len(self.sep_list)
  29.         self.graph = [[' ']*x for _ in range(y)]
  30.         self.sep_list = list(map(lambda x: (map(lambda y: str(y),x)), self.sep_list))
  31.         self.graph[y-1] = list(map(lambda x:'~'.join(x), self.sep_list))
  32.         for i in range(x):
  33.             volume = len(self.separated[i])
  34.             for k in range(volume,0,-1):
  35.                 self.graph[y-1-k][i] = "■"
  36.         
  37.     def distribute_data(self):
  38.         n = (self.e - self.s+1)//self.sep
  39.         if (self.e - self.s +1)%self.sep != 0:
  40.             n += 1
  41.         self.separated = [[] for _ in range(n)]
  42.         for i in range(n):
  43.             if i == 0:
  44.                 self.sep_list.append([self.s, self.s + self.sep -1])
  45.             else:
  46.                 previous = self.sep_list[i-1][1]
  47.                 nxt = previous + self.sep
  48.                 if nxt >= self.e:
  49.                     nxt = self.e
  50.                 if previous + 1 == nxt:
  51.                     self.sep_list.append([previous+1])
  52.                 else:
  53.                     self.sep_list.append([previous+1, nxt])
  55.     def select_list(self):
  56.         for i in self.data:
  57.             counter = (i - self.s) // self.sep
  58.             self.separated[counter].append(i)
  60.     def draw_vertical_axis(self):
  61.         num = [[i] for i in range(len(self.graph)-1,-1,-1)]
  62.         for i in range(len(self.graph)):
  63.             self.graph[i] = num[i] + self.graph[i]
  64.         self.graph[len(self.graph)-1][0] = ' '
  65.         
  66.     def output_to_csv(self):
  67.         import csv
  68.         with open("./histogram.csv",encoding = "utf-8",newline='',mode="w") as f:
  69.             writer = csv.writer(f)
  70.             writer.writerows(self.graph)
時刻:
ラベル:

2022年9月23日金曜日

Pythonでヒスグラムを生成する【2/3】

 前回

https://beyondthe20th.blogspot.com/2022/09/python13.html


前回は1のステップをやったので今回は2から

2.データの分類

前回の投稿で、横軸の数は、「(最大値 - 最小値+1) / 横軸の幅」で算出した。データを格納すべきリストの数と横軸の数は同じなので、同数のリストを作成する。
    	distributed_list = [[] for _ in range(n)] 
        #nは横軸の数「(最大値 - 最小値+1) / 横軸の幅」
ここで作成したリストにデータを格納していく。
これは、そのデータが何番目のリストに格納されるかを調べるためには、「(対象のデータ-データリストの最小値)//横軸の幅」で求められる。つまり、10区切り、1~100の場合に、8は、(8-1)//10 = 0となり、0番目のリストに格納される(つまりindex = 0)。
これをPython 3のコードに直すと以下のようになる。
  1.     for i in data_array:
  2.     	counter = (i - start) // sep
  3.         distributed_list[counter].append(i)
これでdistributed_listには次のようにデータが格納された。
distributed_list = [[1番目の軸のデータ], [2番目の軸のデータ]...]
これでデータの分類が完了した。あとは、各配列に格納されているデータの個数をカウントし、縦軸を生成したうえでグラフ化、CSV出力を行えば、作成完了になる。


次回


時刻:
ラベル:

2022年9月19日月曜日

Pythonでヒストグラムを生成する【1/3】

ヒストグラムは、品質管理の七つ道具として有名で、これを作成するライブラリやソフトウェアは、数多くある。Pythonのライブラリにもmatlabがあるし、自分で作るものでもないのだが、Pythonistaたるものライブラリに頼らず自分で作っていきたいところである。
今回は、ExcelやLibre Office Calcで表示することを前提にCSVでヒストグラムを生成するコードを書いてみた。
出来栄えはこんな感じ、完璧なヒストグラムと言っても過言ではないではないだろう。


さて、これを作るにあたっては、元データを読み込んでから、いくつかステップを踏まねばならない。今回は以下の手順で行った。
  1. 横軸の作成
  2. データの分類
  3. グラフ化
以下では順を追ってみていきたい。

1.横軸の作成

横軸の作成の作成のためには、元データから最初の項目と最後の項目を確認したうえで、いくつのリストが必要かを確認し、横軸のデータを格納するリストを用意する必要がある。従って、以下のような処理が必要になる。
  1. start = min(data_array)
  2. end = max(data_array)
  3. n = (end - start+1)// sep #(最大値-最小値+1)//横軸の幅
  4. if (end - start+1)/sep != 0: 
  5. 	n += 1
ここでは、「(最大値 - 最小値+1) / 横軸の幅」の切り上げた値が用意すべきリストの数になることになる。つまり、1~100まで5刻みで横軸を用意したいのであれば、(100-1+1)/5 = 20、つまり20個のリストが必要となり、最後のリストには91~100までが格納される。また、1~101であれば、(101-1+1)/5 = 20.2となり、同様に21個のリストが必要となり、最後のリストには、101が格納される。
次に、軸の値を格納する必要がある。つまり、1~100まで10刻みであれば、1~10、11~20、21~30...といった形で軸の値をリストに格納していく必要がある。これは次のようになる。
  1. #sep_listは軸の値を格納するためのリスト、sepは刻みの値、nは必要なリスト数
  2. for i in range(n):
  3. 	if i == 0:
  4. 		sep_list.append([start, start + sep -1])
  5.     else:
  6. 		previous = sep_list[i-1][1]
  7. 		nxt = previous + sep
  8. 		if nxt >= end:
  9. 			nxt = end
  10. 			if previous + 1 == nxt:
  11. 				sep_list.append([previous+1])
  12. 			else:
  13. 				sep_list.append([previous+1, nxt])
これは、前工程で確認したn個のリストの数だけループを回し、ループの最初で「[最小値,最小値＋刻み-1,]」、それ以降は、「[前の値＋1, 前の値+刻み]」といった形で処理を行っている。つまり、1~100を10刻みで軸とした場合は、最初のループで「[1, 1+10-1]」、二番目のループは「[10+1, 10+10]」という処理になっている。
これで横軸の作成が完了したので、次に収集したデータを分類して、ヒストグラム本体を作成していく。

2/3
3/3
時刻:
ラベル:

2022年9月10日土曜日

File APIを用いたCSVファイルの入出力

VBAを使いたくないので、HTML＋JavaScriptでCSVファイルを処理したいものの、File APIに関する記述がそこら中に散らばっていて、入出力をまとめた記事がないので今回作成してみた。

ファイルオブジェクトの読み書きに関してはPromiseとイベント駆動のものがあるが、今回は、わかりやすいのでイベント駆動のものを採用した。
EventListenerのコールバック関数に引数を与えるのはどうもうまくいかなかったので、グローバルオブジェクトにファイルの内容をロードする形にして読み込み→グローバルオブジェクトで読み書きとした。


  1.     
  2. let loaded_csv = []; //ファイル読み込み用のグローバルオブジェクト
  3. function load(e){
  4. 	for (let file of e.target.files){
  5.     	let reader = new FileReader();
  6.         reader.onload = event => {
  7.         	let csv = event.target.result.trim(/\r\n/).split(/\r\n/);
  8.             csv = csv.map( x => x.split(','));
  9.             loaded_csv.push(csv);
  10.             }
  11.             reader.readAsText(file);
  12.         }
  13. }
  15. function create(write_array, filename){
  16. 	let csv_string = "";
  17.     for (let i of write_array){
  18.     	csv_string += i.join(',');
  19.         csv_string += '\r\n';
  20.     	}
  21. 	let b = new Blob([csv_string], {type: "text/csv"});
  22.     let url_link = URL.createObjectURL(b);
  23.     let link = document.createElement("a");
  24.     link.download = filename;
  25.     link.href = url_link;
  26.     document.body.appendChild(link);
  27.     link.click();
  28. }
時刻:
ラベル:
登録: 投稿 (Atom)