결론적으로 sciktlearn은 매우 빠르다.

System Monitor를 보면 소문난 CPU 핵심을 일부 사용한 것이 아니냐면 그렇지 않다. 코드 최적화를 통해 CPU의 쓸모없는 처리를 절약할 수 있을 것 같다.이 부분은 기술서를 정독하지 않으면 분명하지 않지만, 바닐라 파이톤보다 더 빠른 처리가 있음을 발견했다.

Model Name: iMac
      Model Identifier: iMac19,1
      Processor Name: Intel Core i5
      Processor Speed: 3.7 GHz
      Number of Processors: 1
      Total Number of Cores: 6
      L2 Cache (per Core): 256 KB
      L3 Cache: 9 MB
      Memory: 24 GB

Anaconda에 intelpython을 넣는 것을 추천하지만 개인적으로 Anaconda를 좋아하지 않아서 이렇게 구축했습니다.
(의외의 함정이 있어 Jupyter가 되면 idp가 아닌base로 설정하기가 힘들다.)

 pyenv
    └── anaconda3-2019.10
        └── intel_python

쌍방이 네트워크를 끊고 다시 가동한 후 10분 후에 측정을 시작한다.
다음은 결과다.
통계청에서 비정규직 직원을 대상으로 한 설문조사에서 비정규직 고용 형태로 정리한 흥미로운 데이터가 있어 하트맵으로 비율을 살펴봤다.데이터는 2017년이다.

데이터

통계국은 "남녀, 교육, 현직 고용 형태의 이유, 현직 직원의 지위, 고용 형태가 다른 인구(비정규직, 직원) - 전국, 전국 시청, 도도부현, 도도부현 시청, 정령 지정 도시"
독특하다

def show_columns(dfl, num=10):
    for i in dfl.columns:
        print('----------------')
        print(i)
        print(dfl[i].nunique(), '個のユニーク')
        print(dfl[i].unique()[:num])
df["value"] = pd.to_numeric(df["value"], errors='coerce')
show_columns(df, 117)
'''

tab_code
1 個のユニーク
['001-2017']
----------------
表章項目
1 個のユニーク
['人口']
----------------
cat01_code
1 個のユニーク
[0]
----------------
男女
1 個のユニーク
['総数']
----------------
cat02_code
9 個のユニーク
[ 0  1 11 12 13 14 15 16 17]
----------------
教育
9 個のユニーク
['総数' '卒業者' '小学・中学（卒業者）' '高校・旧制中（卒業者）' '専門学校（２年未満）（卒業者）'
 '専門学校（２～４年未満）（卒業者）' '専門学校（４年以上）（卒業者）' '短大（卒業者）' '高専（卒業者）']
----------------
cat03_code
15 個のユニーク
[ 0  1  2  3  4  5  6  7  8  9 10 11 12 13 14]
----------------
雇形理由
15 個のユニーク
['総数' '主に自分の都合のよい時間に働きたいから' '主に家計の補助・学費等を得たいから' '主に家事・育児・介護等と両立しやすいから'
 '主に通勤時間が短いから' '主に専門的な技能等を生かせるから' '主に正規の職員・従業員の仕事がないから' '主にその他'
 '自分の都合のよい時間に働きたいから' '家計の補助・学費等を得たいから' '家事・育児・介護等と両立しやすいから' '通勤時間が短いから'
 '専門的な技能等を生かせるから' '正規の職員・従業員の仕事がないから' 'その他']
----------------
cat04_code
7 個のユニーク
[0 1 2 3 4 5 6]
----------------
現職従地位･雇形
7 個のユニーク
['総数' 'パート' 'アルバイト' '労働者派遣事業所の派遣社員' '契約社員' '嘱託' 'その他']
----------------
area_code
117 個のユニーク
[    0     1  1000  1001  1100  2000  2001  3000  3001  4000  4001  4100
  5000  5001  6000  6001  7000  7001  8000  8001  9000  9001 10000 10001
 11000 11001 11100 12000 12001 12100 13000 13001 13100 14000 14001 14100
 14130 14150 15000 15001 15100 16000 16001 17000 17001 18000 18001 19000
 19001 20000 20001 21000 21001 22000 22001 22100 22130 23000 23001 23100
 24000 24001 25000 25001 26000 26001 26100 27000 27001 27100 27140 28000
 28001 28100 29000 29001 30000 30001 31000 31001 32000 32001 33000 33001
 33100 34000 34001 34100 35000 35001 36000 36001 37000 37001 38000 38001
 39000 39001 40000 40001 40100 40130 41000 41001 42000 42001 43000 43001
 43100 44000 44001 45000 45001 46000 46001 47000 47001]
----------------
地域区分
117 個のユニーク
['全国' '全国市部' '北海道' '北海道市部' '札幌市' '青森県' '青森県市部' '岩手県' '岩手県市部' '宮城県' '宮城県市部'
 '仙台市' '秋田県' '秋田県市部' '山形県' '山形県市部' '福島県' '福島県市部' '茨城県' '茨城県市部' '栃木県'
 '栃木県市部' '群馬県' '群馬県市部' '埼玉県' '埼玉県市部' 'さいたま市' '千葉県' '千葉県市部' '千葉市' '東京都'
 '東京都市部' '特別区部' '神奈川県' '神奈川県市部' '横浜市' '川崎市' '相模原市' '新潟県' '新潟県市部' '新潟市'
 '富山県' '富山県市部' '石川県' '石川県市部' '福井県' '福井県市部' '山梨県' '山梨県市部' '長野県' '長野県市部'
 '岐阜県' '岐阜県市部' '静岡県' '静岡県市部' '静岡市' '浜松市' '愛知県' '愛知県市部' '名古屋市' '三重県'
 '三重県市部' '滋賀県' '滋賀県市部' '京都府' '京都府市部' '京都市' '大阪府' '大阪府市部' '大阪市' '堺市' '兵庫県'
 '兵庫県市部' '神戸市' '奈良県' '奈良県市部' '和歌山県' '和歌山県市部' '鳥取県' '鳥取県市部' '島根県' '島根県市部'
 '岡山県' '岡山県市部' '岡山市' '広島県' '広島県市部' '広島市' '山口県' '山口県市部' '徳島県' '徳島県市部' '香川県'
 '香川県市部' '愛媛県' '愛媛県市部' '高知県' '高知県市部' '福岡県' '福岡県市部' '北九州市' '福岡市' '佐賀県'
 '佐賀県市部' '長崎県' '長崎県市部' '熊本県' '熊本県市部' '熊本市' '大分県' '大分県市部' '宮崎県' '宮崎県市部'
 '鹿児島県' '鹿児島県市部' '沖縄県' '沖縄県市部']
----------------
time_code
1 個のユニーク
[2017000000]
----------------
時間軸(年次)
1 個のユニーク
['2017年']
----------------
unit
1 個のユニーク
['人']
----------------
value
2737 個のユニーク
[21325700. 19530900.   892700.   735200.   334200.   182900.   143800.
   189800.   156600.   380400.   320200.   181500.   146500.   133100.
   150500.   121100.   276400.   226300.   488800.   441000.   336700.
   287200.   339300.   286000.  1353100.  1236400.   232200.  1114300.
  1067300.   165600.  2330100.  2319600.  1569400.  1710700.  1642400.
   697600.   266100.   147000.   336200.   325700.   125200.   157200.
   144800.   181200.   160200.   121800.   106500.   144700.   122700.
   339200.   272400.   339000.   288800.   641000.   603900.   120600.
   131400.  1329600.  1257400.   395200.   310400.   272900.   259300.
   245500.   469500.   446000.   267500.  1535900.  1505000.   474000.
   139100.   918600.   876700.   261900.   220100.   175100.   141400.
   111500.    83700.    61400.   103100.    93500.   282100.   265900.
   108900.   459200.   430400.   204500.   213200.   204400.    92400.
    69200.   139900.   117900.   197000.   179500.    98400.    80700.
   869100.   759500.   148300.   288600.   123500.   103600.   207600.
   186600.   264800.   216200.   118900.   169800.   162800.   168400.
   141500.   262400.   233200.   253800.   193400.]
'''

학력, 동기, 지역에 따라 취업 형식의 이유를 기재했다.
필요 없는 데이터를 삭제하다.

df_01 = df[(df['教育'] == '総数')
           & (df['雇形理由'] != '総数')
           & (df['教育'] == '総数')
           & (df['地域区分'] == '全国')
           & (df['現職従地位･雇形'] != '総数')]

xy 맵 꺼내기 지정

df_pivot = pd.pivot(data=df_01, columns='現職従地位･雇形', index='雇形理由', values='value')
s = sns.heatmap(df_pivot, annot=True, cmap='Blues',
                fmt="0", linewidths=1, linecolor="white",)

plt.savefig('heat.png')
plt.close('all')

아르바이트는 법적으로 같은 고용형태여야 하는데 왠지 헤어졌다.
통계국의 통계에 따르면 부분의 정의는 다음과 같다.
16A-Q07 아르바이트 및 아르바이트 인원수
노동력 조사에 관한 Q&A(대답)
하지만 읽어봤자 특별히 아르바이트를 구분할 이유를 찾지 못했다.
아르바이트를 선택한 이유는 여가 시간을 이용하고 싶어 가계와 학비를 보조하고 싶어서다.
아르바이트 비율이 너무 높아 다른 지도가 보이지 않으니 정규화해야 한다.
Pandas의 표준은 평균과 표준 편차 값입니다.
이럴 때 판다는 무엇보다 가볍다.

df_pivot=(df_pivot-df_pivot.mean())/df_pivot.std()

그다음에 스토리.

위탁 계약자는 전문 기술이 필요하기 때문에 선택의 폭이 넓다
지도상으로는 위탁, 아르바이트, 아르바이트 모두 비교적 긍정적인 이유로 일하지만 파견사원, 계약사원은 정규직이 되지 못하는 소극적인 이유가 많다.
비정규직 고용의 문제라지만 비정규직 중인 계약직, 파견직 노동자들이 특히 불만을 갖고 있다는 사실을 잘 알 수 있다.반면 아르바이트 얘기만 하면 불만이 많지 않을 것이다.