Author: SAS Blogs

Feed: SAS Blogs. Author: Nihan Yami. Yeni tip korona virus (COVID-19) ile yapılan global mücadeleye veri bilimi ışığında katkıda bulunmak ister misiniz? Uzmanların belirttiği üzere, “sosyal mesafe”ye dikkat etmek ve temel hijyen kurallarını takip etmek başta olacak şekilde, almamız gereken önlemler var. Veri bilimciler ise bu pandeminin en etkili şekilde yönetilmesinde çeşitli projelerle yardımcı olmaktalar. Sizler de tedbir almanın dışında neler yapılabileceğini merak ediyorsanız, yapay zeka uygulamalarının virüsün etkilerini azaltmakta nasıl yardımcı olduğunu keşfedebiliriz. Örneğin, medyada karşılaşacağınız görselleştirmelerin birçoğu gelişmiş analizlerin sonucudur, hatta bazıları yapay zeka kullanılarak yapılan geleceğe yönelik tahminleri içerir. Ülke bazında vakaları takip etmek için kullanabileceğiniz bir ... Read More

Feed: SAS Blogs. Author: Paul Gittins. Until recently I’d not appreciated the flurry of hackathons that have occurred over the past few weeks, many with the admirable aim to identify and improve measures to combat the effects of COVID-19 or to better enable organisations (public and private) to cope with its fallout. How can we understand more about the spread of infectious disease? Notable public examples include: At the same time, some commercial organisations are doing much the same thing to address immediate challenges, such as: How to better forecast demand for product lines over the coming months, reflecting the ... Read More

Feed: SAS Blogs. Author: Javier Alexander Rengifo. Usualmente, las crisis son el principal incentivo para adoptar cambios originados por un factor externo, circunstancial y con impactos negativos, y el COVID-19 no será la excepción, las políticas adoptadas por los gobiernos han llevado a las organizaciones a replantear la forma de trabajar y la manera en la que nos comunicamos con nuestro entorno profesional (colegas, partners, clientes, proveedores y demás) para así diseñar e implementar medidas efectivas de teletrabajo. Bajo esta premisa es inminente la necesidad de los diversos sectores de activar los planes de contingencia en pro de mitigar los ... Read More

Feed: SAS Blogs. Author: Alyssa Grube. Over the last few weeks, the world has experienced unprecedented events. The current situation with COVID-19 continues to develop rapidly, and it’s requiring parents to think outside the box to solve problems – from home. With their new, sometimes invasive co-workers. Their kids. Parents don’t cease to be parents when their laptops are open, and kids don’t cease to be kids when Mom or Dad have back to back calls. Daily life has been turned upside down and with school and daycare closures, parents are trying to find ways to keep their kids healthy ... Read More

Feed: SAS Blogs. Author: Luis Barrientos. Cuando reflexionaba recientemente sobre la publicación final de la regulación relacionada con IFRS 9 en México, me di canta de que la discusión versaba sobre si las herramientas tecnológicas actuales eran capaces, con algunos ajustes, de soportar los cambios de este proyecto de norma en lo que corresponde a la metodología general estándar de cálculo de reservas preventivas por riesgo crediticio. A manera  introducción sobre IFRS 9 se tiene que, a raíz de la crisis financiera de 2008, el Consejo de Normas Internacionales de Contabilidad (IASB, por sus siglas en inglés) desarrolló y publicó ... Read More

Feed: SAS Blogs. Author: Sophia Rowland. Before joining SAS, I was unaware of the possibilities around hyperparameter autotuning. When trying to maximize model performance, I would code up cumbersome pipelines trying multiple hyperparameter values across multiple models. This effort created a better performing model, but it still took up a large chunk of my time. In SAS VDMML, adding hyperparameter autotuning only requires an extra line of code or a button click. While SAS searches the hyperparameter space in the background, I am free to pursue other work. Hyperparameter autotuning is now one of my favorite machine learning capabilities (right ... Read More

Feed: SAS Blogs. Author: SAS Taiwan. 決策樹結果重在商業邏輯的解釋 決策樹不似其他預測模型方法，依照每一觀察者的不同的特徵屬性值，計算出各自的發生機率值，它則是某一區間內的特徵屬性給定一個分數，歸屬在同一條預測規則下的觀測點，都會給定同一個值，發生機率都會判定相同，所以會有一定的誤差值。也就造成決策樹的準確度雖然不是最佳，但由於其容易表達、方便解讀，對於入門data mining的初階miner，賽博士卻是大大推薦決策樹一定要好好學習。模型的準確度在初學時，常會被我們認為是分析結果的重點。事實上，模型結果具有商業解釋性才更勝於一切，模型看似準確高，但產出的模型結果卻是分析人員或產業專家無法解釋，其實就等於是無用的模型。而模型準確度也可透過資料的處理或重要衍生變數的投入，提升模型的準度。準度也必需要禁得起時間的考驗，也就是每定期的模型驗證，來確定模型的穩定性。過度配適(model over-fitting)也可能造成一時的模型預測正確率很高，但幾期的時間觀察下來，卻發現模型越來越失準。(模型評估的方法，我們可以另闢一期來特別說明)。 SAS EM決策樹混合各種決策樹演算方法 我們常聽到的決策樹演算方法有：ID3、CHID、CART、C4.5、C5等方法，SAS EM的決策樹模型分析方法則混合了上述所提各種的決策樹演算法，在單一決策樹分析節點裡就可以連結各種決策樹處理演算法，分析者只需將欲輸入的資料集的資料型態設定好，在SAS EM決策樹分析節點的分割規則(Splitting Rule)的各項參數，進行適當調整，即可選擇想要的演算方法進行預測模型建置。 表一、決策樹演算法之比較 資料屬性 分割規則 修剪樹規則 Quinlan（1979） 離散型資料 Entropy、 Gain Ratio Predicted Error Rate Quinlan（1993） 離散型資料 Gain Ratio Predicted Error Rate Kass（1980） 離散型資料 Chi-Square Test No Pruning Briemen（1984） 連續型資料 Gini Index Entire Error Rate 運用SAS EM決策樹產生CART分析 CART (Classification and Regression Trees)演算方法是以每個節點的動態臨界值作為條件判斷式，藉由單一輸入的變數函數，在每個節點分隔資料，並建立一個二元決策樹，CART是使用 Gini Ratio來衡量指標，如果分散的指標程度很高，表示資料中分佈許多類別，相反的，如果指標程度越低，則代表單一類別的成員居多。C4.5 與CART 建構過程非常類似，兩者之間最大不同就在於節點分支的數目，C4.5 會在每一個節點產生不同數目分支，分支數目會決定於行為變項中類別的個數。而CART 只會在每一個節點產生兩個分支。C4.5 是較新出現的決策樹演算法，它的前身即為ID3。 在SAS EM決策樹裡產生CART分析，必須進行以下參數調整： 運用SAS EM決策樹產生CHAID分析  CHAID (Chi-Square Automatic Interaction Detector)演算法為利用卡方分析(Chi-Square Test)預測二個變數是否需要合併，如能夠產生最大的類別差異的預測變數，將成為節點的分隔變數。透過計算節點中類別的 P值 (P-Value)，以P值大小來決定決策樹是否繼續生長，所以不需像C4.5或CART要再做決策樹修剪的動作。CHAID 與CART、C4.5 之差異在於，CHAID只限於處理類別變數，如連續變數必須採用區段的方式，轉換成類別變數。另一差異部分在於修剪的部分，CART、C4.5 是先過度套用資料訓練，之後再修剪。但CHAID 則是在過度套用之前即停止支點蔓生擴大。 ... Read More

Feed: SAS Blogs. Author: SAS Taiwan. 介紹完如何運用SAS EM的關聯分析節點進行購物籃分析，是不是覺得運用EM進行購物籃分析不是件難事? 此外，關聯分析容易產生大量的關聯規則，但並不一定每一個都是有用的，有些關聯規則是業務老手早已知道的規則，有些則無法解釋，都必須一一剔除。所以這些資料解讀與處理程序，也是購物籃分析的重點之一。 關聯分析結果重在行銷策略應用 同一個關聯規則，運用不同的行銷方法，可能會產生不同的行銷效果。不同的行銷人員看到同一個關聯規則，引發他們的行銷設計也可能不同。如何讓關聯分析的結果產生效用，重要的必須結合行銷策略的設計與應用。 舉例而言，分析人員得到了「買芭比娃娃就會糖果」的關聯規則，若你是行銷人員，你的行銷會是策略如何？ 把兩項商品擺在一起 特意把兩項商品擺在相距較遠的地方 將糖果和芭比娃娃組合起來一起賣 糖果+芭比娃娃+銷售較差的商品一起組合銷售 定價策略：提供一個單價，降低另一個商品價格 廣告策略：芭比娃娃和糖果不需要同時廣告活動 產品設計：設計芭比娃娃形狀的糖果 提供芭比娃娃的配件，提升銷售 ……等等。 以上都是可行的行銷方案設計，沒有一定的標準答案。但若是要比較出哪一個行銷方案的效果較好，則可以將關聯分析連結前幾期所提的預測模型演算方法透過EM建置回應預測模型，來進行行銷方案回應效果的比較。 關聯規則結合客群分析實務應用效果更好 此外，購物籃分析所得到的關聯規則，若能配合客群分析，實務的應用效果會更好。分析所得的關聯規則再透過進一步的分析，找到是哪些客戶特徵的人特別喜好這樣的消費組合，再依此結果進行行銷方案規劃，回應效果會更加精準。 如何運用關聯分析結合客群分析的步驟： 關聯規則歸戶客戶ID匯出。 執行完關聯分析，至參數設定列內的Rules參數選項中的Export Rule by ID改成Yes，並重新執行關聯分析節點。 2.檢視執行後的資料表結果。點選參數設定列內General參數選項內的Exported Data。 開啟後，會跳出Exported Data視窗方框，點選TRAIN後，選擇瀏覽Browse…。 開啟檢視資料表後，可以看到SAS EM已將關聯分析所產生的關聯規則，轉成歸戶資料表，每一關聯規則自動產生一個資料欄位，以Dummy變數方式儲存。 若要將有此交易規則：「芭比娃娃-->糖果」的客戶挑選出來進一步分析，則只要將此變數值為1的客戶名單篩選出來。 3.進行客群分析，以針對不同客群設計適宜的行銷方案。 同樣是買芭比娃娃就會買糖果的客戶，給予相同的行銷刺激並不會每個人都會有回應。因此結合客群分析，給予適當的行銷區隔，則可以提高回應效果。將上述步驟所篩出的名單，結合客戶的交易偏好、客戶基本資料等資訊，利用SAS EM的分群節點Cluster Node進行簡單的分群分析，如下圖例，依據客戶資料分成四群並命名，掌握到每一群的客戶的特徵後，再對應各分群設計行銷活動，則容易打動到各客群的真實回應效果。 ... Read More

Feed: SAS Blogs. Author: SAS Taiwan. Transform Variables node變數轉換的案例情境說明 延續『如何運用SAS EM進行變數處理與衍生變數產生(中)』文章說明 4. 利用「Formula衍生變數編輯區」進行衍生變數處理 【情境說明】 -產生衍生變數公式編輯計算逾期週期 -運用SAS 運算函數進行變數轉換 step1.  點選參數列內的「Formulas」選項，進入衍生變數編輯區進行衍生變數處理。 圖一、Transform Variables Node參數列 step2.  點選「Formula衍生變數編輯區」視窗左上列的 (新增衍生變數鈕) 列內的「Formulas」選項，進入衍生變數編輯區進行衍生變數處理。 圖二、Formula衍生變數編輯區 step3.  點選「Build...」進入「Expression Builder」衍生變數公式編輯區。除了簡單的四則運算式編輯外，在編輯區下方提供各類運算函式，以利分析者進行進階演算式產出。 位於函數區旁的另一個頁籤，則完整列出原始資料集的變數清單，分析者無須記憶變數名稱，可透過點選拖曳方式將進階處理的變數投放入編輯區。 圖三、Formula衍生變數編輯區--新增變數 step4.  產生衍生變數一：「Delinq_Freq逾期週期」，衍生變數公式：IMP_CLAGE(貸款往來期間)/IMP_DELINQ (逾期次數)。 從「Variables List原始變數列表區」選取變數IMP_CLAGE及IMP_DELINQ，點選「Insert」將欲處理之變數置放於衍生變數公式編輯區進行上述公式編輯。 圖四、Formula衍生變數編輯區--變數公式編輯與變數命名 step5.  點選「OK」，完成衍生變數新增。 step6.  產生衍生變數二：「LOG_YOJ工作年資對數化」，衍生變數公式：LOG (IMP_YOJ)。 重複Step2、Step3 進行衍生變數新增程序，從「Functions函數區」選取 Log 函數進行 IMP_YOJ 的變數轉換。 圖五、Formula衍生變數編輯區--變數公式編輯與變數命名 step7.  點選「OK」，並將變數命名為「LOG_YOJ」完成變數新增。 step8.  檢視衍生變數的資料分布。 如下圖，在「Formula」視窗裡，可同時檢視變數轉換前與轉換後的結果，轉換前 YOJ 變數呈一極右偏分布，LOG函數轉換後，新變數分布較為常態。 讀者或許會問，變數若要進行簡單函數轉換，為何不直接點選「Variables」直接進行函數轉換? 此處在「Formula」展示的目的是讓分析者可以直接在此視窗內，直接檢視轉換前後的結果，決定是否為最佳的轉換處理方法。因此，分析者可彈性選擇其中一種方式。 圖六、Formula衍生變數編輯區--轉換前後變數資料分布展示 5. 利用SAS程式編輯區進行衍生變數處理(案例情境) 【情境說明】 -利用SAS程式編輯區將申貸次數級距化 step1. 點選參數列內的「Formulas」選項，進入衍生變數編輯區進行衍生變數處理。 圖七、Transform Variables Node參數列--SAS Code編輯區 step2. 點選參數列內的「Formulas」選項，進入衍生變數編輯區進行衍生變數處理。 圖八、SAS程式編輯區 step3. 檢視衍生變數產出結果。 點選參數列的「Exported Data」檢視轉置後結果如下圖。 或者可在分析流程後再拖曳一個Transform Variables Node,此時第二個Transform Variables節點的目的用在於檢視衍生變數結果，而非進行變數處理，流程串接如下圖。 此時，再點選參數列「Variables」檢視衍生變數結果，從變數列中可看到新的衍生變數「NINQ_Bin」。 圖九、檢視新衍生變數NINQ_Bin產出結果 ... Read More

Feed: SAS Blogs. Author: SAS Taiwan. 　　SEMMA 方法論第一步的「S」即為Sample，此處的Sample有多個意涵，一為分析樣本的定義，如何從分析母體抽取適當的樣本資料，以及如何選擇最適抽樣。SEMMA方法論告訴分析者當進行分析建模時，我們應取用樣本資料而不是直接匯入母體資料進行建模程序。同時，母體資料不一定是資料庫裡的全體觀測值，端賴分析的主題來進行分析樣本的定義與確認。 　　分析資料匯入EM平台後，Dr.SAS建議分析資料集後先串接Filter node，Filter節點有幾個基本分析上的功能，一可進行分析樣本的資料範圍確認，透過排除條件設定，過濾資料範圍以外的觀測值；一可透過圖示化的分布圖，快速檢視資料的分布，初步檢視資料的品質，如極端值或異常值；可透過統計值或專家經驗值設定，進行極端值偵測，並予以過濾排除。 Filter node兩大分析功能 1. 定義分析樣本 　　分析者依據分析主題，定義所需分析樣本。多數的分析非以整體母體資料進行分析，而是多透過專家經驗或分析進行適當的客群區隔取得分析樣本後再進行分析。以信用卡客戶分析為例，欲分析加油卡客戶行為，則應依產品別取product code='加油卡'，其餘卡類別的客戶應予以排除。若欲分析循環動用客戶，則應排除呆戶或未開卡等條件客群，因為未曾有消費紀錄，就不可能會動用循環；進行電信業流失預測模型時則應排除合約尚未到期的客戶，因為方案通常會綁約，客戶絕大多數會等到合約到期才開始轉換其他資費方案或移轉到其他家電信服務。因此，明確地定義分析樣本是正式分析前基本且重要的第一步驟，適當的樣本定義可以讓分析者更清楚欲分析的目標客戶群，同時也可以讓分析模型更臻於精確，然而，清楚定義的背後也表示分析者對產業背景的熟稔程度，這一點是非常重要的。 　　此外，分析資料除須排除業務經驗已知的規則外，常見的排除條件包括：企業戶、VIP客群、呆戶、靜止戶、排除特殊行業別(政策規定不得承作)、排除員工或特殊專案代碼、外部資料庫有重大違約事件者、已剪卡、未開卡、未成年等條件。 Filter node可透過使用者自訂的方式進行上述規則或條件式資料篩選，協助樣本資料的產出。 2. 極端值的偵測 　　資料不會百分百乾淨，在資料蒐集過程中容易因為人為因素而造成資料的異常，這類資料通常隨機，也無法解釋異常的原因，這類型資料稱為干擾值或噪音值，可透過適當圖形分析，找出可能值並予以過濾排除。另外部分觀測值也可能與絕大部分的分析資料有極端差異分布，此類資料稱為極端值，在進行模型分析時，當了解分析資料本身有嚴重的極端值時，則應選擇適當演算方法或進行極端值的處理，演算方法如迴歸分析或K-means分群演算方法等，其分析結果都易受極端資料的影響，極值處理則可透過Transform variables node進行衍生變數處理或轉換，或者可直接利用本章節介紹的Filter node進行極值偵測與排除。 Filter node極端值偵測的方法 SAS EM的Filter node位於Sample工具頁籤裡，依據連續變數(Interval Variables)以及類別變數(Class Variables)提供對應的的極值偵測的方法，連續變數的方法說明如下： Mean Absolute Deviation (MAD)平均絕對離差 平均絕對離差是指將每一資料點到平均數的差取絕對值後，即離差的絕對值，加總起來再除以n，其計算公式如下所示。 　　若選擇MAD法進行極值偵測時，系統預設值為9，即表示系統會以平均數為中心計算其左右9倍MAD值當作上下限，超過計算的門檻值的觀測點，即為資料分布的相對極值。若欲調整設定的預設值，可點選參數設定列的Tuning Parameters重新設定。 User-Specified Limits使用者自訂上下限： 使用者可透過參數列下的「Class Variables」以及「Interval Variables」各自進行類別及連續變數的資料排除條件設定，Filter node提供互動式篩選介面，可透過游標點選顯示的分布圖形，拖曳欲分析的區間範圍資料，系統會自動計算其實際的資料上下限，被選取的資料區塊以外的觀測點，系統會進行排除。另外亦可透過值的輸入決定選取範圍的上下限。 Metadata Limits後設資料設定： 　　Metadata Limits和User-Specified Limits一樣屬使用者自訂方法，亦可稱專家經驗法。兩個方法不同之處在於Metadata Limits的設定會在create a data source或Input Data node的變數列下進行上下限設定，排除資料會在資料匯入前就完成，Metadata Limits不提供互動式篩選功能。 Extreme Percentiles分布極端值百分比設定： Extreme Percentiles則是決定分布的左右兩尾的百分比，預設值為0.5，亦即資料分布99%以外的資料為相對極值。若欲調整設定的預設值，可點選參數設定列的Tuning Parameters裡「Cutoff Percentiles for Extreme Percentiles」進行重新設。 Modal Center眾數中心值設定： 同MAD法，Modal Center不同處是以眾數當作中心，系統預設會以眾數為中心計算其左右9倍MAD值當作上下限，超過計算的門檻值的觀測點，即為資料分布的相對極值。若欲調整設定的預設值，可點選參數設定列的Tuning Parameters裡「Cutoff for Modal Center」進行重新設定。 Standard Deviations from the Mean 標準差法： (預設方法) 連續變數的預設方法即為Standard Deviations from the Mean標準差法，預設會以平均數為中心計算其左右3倍標準差當作上下限，超過計算的門檻值的觀測點，即為資料分布的相對極值。若欲調整設定的預設值，可點選參數設定列的Tuning Parameters裡「Cutoff for Standard Deviation」進行重新設定。 不處理(None)：不做任何排除設定。建議使用Filter node進行極值偵測與排除時，分析開始前先將參數Default Filtering Method值由預設的「Standard Deviations from the Mean」改成「None」，否則系統會將所有變數都透過標準差法進行極值偵測與排除，實務上並不會所有變數都要進行極值過濾，所以建議先改成None,再進入Interval Variables參數，一一針對需要處理的變數設定適當方法進行資料排除工作。 類別變數的方法則提供有三種，功能說明如下： ... Read More