使用jieba套件進行中文tf-idf關鍵字詞提取時,由於.idf檔是用開發者預設的字詞權重,若開發者想對特定產業或是主題進行文字挖掘透過jieba,就必須定義屬於自己的idf權重

此演算法的目的在於方便開發者定義屬於自己的idf權重,讓tf-idf關鍵字詞提取能夠更科學

#整體架構:
將收集而來的文件落地後儲存 --> 讀檔進corpus --> 切詞後計算idf後寫入.idf檔

to52016 發表在 痞客邦 留言(0) 人氣()

t1.PNG

#決策分類樹(Decision Tree )  

from sklearn.tree import DecisionTreeClassifier
from sklearn.cross_validation  import train_test_split
from sklearn import metrics

to52016 發表在 痞客邦 留言(0) 人氣()

K.PNG

#分群 K-means
from sklearn.cluster import KMeans
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline

to52016 發表在 痞客邦 留言(6) 人氣()

l1.PNG

#Logistic Regression
#雖然名為迴歸,但常⽤於分類(⼆元或多類別)
from sklearn import preprocessing, linear_model
import pandas as pd
import pandas as pd

to52016 發表在 痞客邦 留言(0) 人氣()

回歸.PNG

#scikit-learn套件

------簡單回歸-------
#簡單回歸 Y=aX+b
import pandas as pd
import numpy as np

to52016 發表在 痞客邦 留言(0) 人氣()

output1.PNG

#視覺化

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
plt.style.use('ggplot')

to52016 發表在 痞客邦 留言(0) 人氣()

有鑒於近期得到公司APP的使用者紀錄資料,因此我想洞察出一些有用的資訊透過R語言   Sequential Pattern Mining 分析的方法,找出user使用APP的動線,看是否可以加強與改善APP

這裡稍微紀錄一下序列分析的方法~~

Sequential Pattern Mining 是找出「大部分的人都有的行為模式」的方法 ,他是關聯規則的延伸,加入了時間的觀念

測試資料如下(txt檔):

1,1,A

to52016 發表在 痞客邦 留言(1) 人氣()

MLB文字雲

來玩文字探勘囉~~~  文字雲是文字探勘的其中一種應用

網路上有很多方法,我結合了一些前輩資訊,自己研究出一套流程  參考看看囉~~

首先 先進行爬蟲,爬體育新聞標題

參考:http://brucehau.blogspot.tw/2016/09/rrvest.html

以下是R code

to52016 發表在 痞客邦 留言(0) 人氣()

BAYES

再來一個應用情境: 我們要準備各個分類(汽車、運動、科技)的數篇新聞集合,然後比對計算特徵關鍵字字詞頻率向量。

資料來源: http://enginebai.logdown.com/posts/241677/bayes-classification

(P:汽車  S:運動 T:科技)

> #載入套件 貝式分類
> library(e1071)

to52016 發表在 痞客邦 留言(0) 人氣()

這次來試試貝式分類~~

用上一章KNN分類的資料來測試

> traindata
# A tibble: 50 × 8
Status SO2 CO O3 PM10 PM2.5 NO2 NO

to52016 發表在 痞客邦 留言(0) 人氣()

AIR資料

 無聊玩玩~~

空氣品質 KNN分類

K-NN使用點間的距離為分類標準,當新的觀測值準備預測時,演算法會計算出和她接近最多的類目標點,比方說,k值=5,觀測值比較靠近其中3個目標點時,演算法就會採用多數票來決定分類結果。

根據變數["SO2","CO","O3","PM10","PM2.5","NO2","NO"]歸類空氣品質["Status" ]是良好還普通

********************************

to52016 發表在 痞客邦 留言(0) 人氣()

巴哈dataset

一時興起 想探討巴哈XX版 GP值與回覆數之間有甚麼關聯~

************網路爬蟲***********************

1.
爬巴哈1~20頁標題
smarttitle=NULL

to52016 發表在 痞客邦 留言(0) 人氣()

Blog Stats
⚠️

成人內容提醒

本部落格內容僅限年滿十八歲者瀏覽。
若您未滿十八歲,請立即離開。

已滿十八歲者,亦請勿將內容提供給未成年人士。