Author: SAS Blogs

Feed: SAS Blogs. Author: Caslee Sims. You’re down by 10 points in your NFL fantasy football league, and you need to choose a wide receiver from the free agency pool because your starter was injured. How do you decide to get the 11 points required for a win? What methods will you use to lead you to that decision? Fantasy football managers are constantly making those tough decisions throughout the season. For years, fantasy managers have made decisions based on watching games, studying box scores and going off their intuition. Typically, their decisions come down to answering simple questions: “Why ... Read More

Feed: SAS Blogs. Author: Olivia Ojeda. Even with today's technology, it's hard to know precisely when, where and how weather-related damage will occur. Flooding costs are expected to rise drastically during the next 20 years and climate change is a constant threat. Unfortunately, natural disasters are here to stay, but we can try our best to minimize the destruction they cause - including predicting and preparing for floods. Using SAS® AI, organizations and hackathon teams are working to make the world a safer place. Here you'll find a list of incredible contributions designed to help reduce flooding damage worldwide. Disaster ... Read More

Feed: SAS Blogs. Author: Rick Wicklin. The noncentral t distribution is a probability distribution that is used in power analysis and hypothesis testing. The distribution generalizes the Student t distribution by adding a noncentrality parameter, δ. When δ=0, the noncentral t distribution is the usual (central) t distribution, which is a symmetric distribution. When δ > 0, the noncentral t distribution is positively skewed; for δ < 0, the noncentral t distribution is negatively skewed. Thus, you can think of the noncentral t distribution as a skewed cousin of the t distribution. SAS software supports the noncentrality parameter ... Read More

Feed: SAS Blogs. Author: Suzanne Morgen. There has been a lot of buzz about data scientist jobs recently. And for good reason! Since 2016, data scientist has been at or near the top of Glassdoor’s Best Jobs in America list. But since the job hit the top spot in the list, the field has exploded both in popularity and complexity. (Our data shows that data scientist job postings have more than tripled in the last five years!) In this quickly evolving field, new opportunities are always on the horizon. Perhaps the question to ask is no longer, “Do you want ... Read More

Feed: SAS Blogs. Author: Leonid Batkhan. Let’s consider the following ubiquitous scenario. You have created a SAS program that you want to run automatically on schedule on a SAS server under the Microsoft Windows operating system. If you have SAS® Enterprise BI Server or SAS® BI Server and Platform Suite for SAS you can do the scheduling using the Schedule Manager plug-in of SAS Management Console. But even if you only have SAS Foundation installed on a Windows server (or any Windows machine), you can automate/schedule your SAS program to run in batch using Windows Task Scheduler. In order to ... Read More

Feed: SAS Blogs. Author: Manuel Rodriguez. Un analista recopila, estudia datos y, a partir de ellos, saca conclusiones. Sus cometidos incluyen encontrar patrones de comportamiento en los datos y tomar decisiones basadas en el aprendizaje obtenido. Hay analistas en una amplia variedad de sectores, así como diferentes tipos y con objetivos heterogéneos. Los científicos de datos son un perfil absolutamente en boga en estos años. En la actualidad a menudo nos referimos por “analista” principalmente a este perfil. Sin embargo, en este artículo nos enfocaremos en otro tipo con mucha presencia en múltiples sectores, al que denominaremos: analista de inteligencia ... Read More

Feed: SAS Blogs. Author: Ryosuke Horiuchi (堀内 亮佑). こんにちは！SAS Institute Japanの堀内です。今回も自然言語処理について紹介いたします。 前回の投稿では、実際にSASを使って日本語の文章を扱う自然言語処理の例を解説しました。最終回の本投稿ではその応用編として、自然言語処理の代表的なタスクとSASによる実装方法を紹介します。なお、ここでいうタスクとは「定式化され一般に共有された課題」といった意味になります。自然言語処理には複数のタスクがあり、タスクごとに、共通する部分はあるとはいえ、問題解決のアプローチ方法は基本的に大きく異なります。SASには各タスクごとに専用のアクションセット1が容易されています。 要約タスク その名の通り文章を要約するタスクです。SASではtextSummarizeアクションセットで対応可能です。ここでは、NHKのニュース解説記事「気になる頭痛・めまい　天気が影響？対処法は？」(https://www.nhk.or.jp/kaisetsu-blog/700/471220.html) の本文を５センテンスで要約してみましょう。 import swat conn = swat.CAS('mycashost.com', 5570, 'username', 'password') conn.builtins.loadActionSet(actionSet='textSummarization') conn.textSummarization.textSummarize(addEllipses=False, corpusSummaries=dict(name='corpusSummaries', compress=False, replace=True), documentSummaries=dict(name='documentSummaries', compress=False, replace=True), id='Id', numberOfSentences=5, table={'name':CFG.in_cas_table_name}, text='text', useTerms=True, language='JAPANESE') conn.table.fetch(table={'name': 'corpusSummaries'}) numberOfSentencesで要約文のセンテンス数を指定しています。結果は以下の通りです。'まず体調の変化や天気、気温・湿度・気圧などの日記をつけ、本当に天気が影響しているのか、どういうときに不調になるのかパターンを把握すると役立ちます。 気温・湿度以外にも、気圧が、体調の悪化や、ときに病気の引き金になることもあります。 私たちの体は、いつも耳の奥にある内耳にあると言われている気圧センサーで、気圧の変化を調整しています。 ただ、天気の体への影響を研究している愛知医科大学佐藤客員教授にお話ししを伺ったところ、「台風最接近の前、つまり、気圧が大きく低下する前に、頭が痛いなど体調が悪くなる人は多い」ということです。 内耳が敏感な人は、わずかな気圧の変化で過剰に反応し、脳にその情報を伝えるので、脳がストレスを感じ、体のバランスを整える自律神経が乱れ、血管が収縮したり、筋肉が緊張するなどして、その結果、頭痛・めまいなどの体に様々な不調につながっているのです。'重要なセンテンスが抽出されていることが分かります。 テキスト分類タスク 文章をいくつかのカテゴリに分類するタスクです。その内、文章の印象がポジティブなのかネガティブなのか分類するものをセンチメント分析と呼びます。ここでは日本語の有価証券報告書の文章をポジティブかネガティブか判定してみます。使用するデータセットは以下になります。 https://github.com/chakki-works/chABSA-dataset （なお、こちらのデータセットには文章ごとにポジティブかネガティブかを示す教師ラベルは元々付与されておりませんが、文章内の特定のフレーズごとに付与されているスコアを合算することで教師ラベルを合成しております。その結果、ポジティブ文章は1670文章、ネガティブ文章は1143文章、合計2813文章になりました。教師ラベルの合成方法詳細はこちらのブログをご覧ください。）pandasデータフレームにデータを格納した状態を確認してみましょう。 df = pd.read_csv(CFG.local_input_file_path) display(df) 先ほどのpandasデータフレームはCAS2にアップロードしておきます。 conn.upload(df, casout=dict(name=CFG.in_cas_table_name, promote = False, replace=True)) それでは実際に判定してみましょう。まずはsentimentAnalysisアクションセットを使ってみます。 sentimentAnalysisアクションセット conn.builtins.loadActionSet(actionSet='sentimentAnalysis') conn.sentimentAnalysis.applySent(casOut={'name':CFG.out_cas_table_name, 'replace':True}, language='JAPANESE', docId='Id', table={'name':CFG.in_cas_table_name}, text='text') conn.table.fetch(table={'name': CFG.out_cas_table_name}) 文章ごとにスコアが計算されています。スコアが0.5よりも大きいとポジティブ、小さいとネガティブ、0.5ちょうどであればニュートラル、という分類になります。今回はニュートラルはデータに存在していないため、ニュートラルと予測したものは一律ネガティブに変換します。それでは精度はどうでしょうか？ F1マイクロスコアで0.657でした。何も訓練をしていない状態であることを考慮すれば、まずまずの結果と言えます。 それでは次にBERTをfine-tuningして予測してみましょう。 BERT BERTとは、Bidirectional Encoder Representation from Transformersの略で、「Transformerによる双方向エンコード表現」と訳されるディープラーニングモデルの一種で、自然言語処理の様々なタスクにおいて高い精度を出せることで知られています。なお、Transformerとは、Self-Attentionと呼ばれる自己注意機構とPosition-wise Feed Forward Networksと呼ばれる位置単位順伝播ネットワークからなる新しいタイプのディープラーニングモデルで、トークンとトークンの関係性に効率的に注意を払えるようになったことで、自然言語処理で用いられるディープラーニングモデルの代表格になりました。またこれらのディープラーニングモデルは予めWikipediaなどの大量のテキストデータでpre-trainと呼ばれる事前学習が施されており、それを手元のデータで追加学習（fine-tuning)することで更に高い精度を発揮することができます。 SASでBERTを使う場合はDLPy3というライブラリを使います。DLPyでは、Hugging Faceという、多数のpre-train済みTransformerモデルを公開しているサイトから任意のモデルを呼び出して利用することができます。今回は東北大学乾研究室がpre-trainのうえ公開している'cl-tohoku/bert-base-japanese'という日本語に対応したBERTを使用します。 # コンフィグ class CFG: cas_table_name = 'BLOG_NLP_SAS_CHABSA' local_input_file_path = '/local/path/to/chABSA/chABSA_fsa.csv' cache_dir = '/local/path/to/transformers/' server_dir = '/server/path/to/' ... Read More

Feed: SAS Blogs. Author: Aline Riquetti. O escândalo de 2018 envolvendo a campanha do então candidato à presidência Donald Trump em 2016, o Facebook e a empresa Cambridge Analytica estimulou debates acerca da proteção e acesso aos dados. À época, foi revelado pela mídia que as informações de mais de 50 milhões de usuários do Facebook foram utilizadas pela Cambridge Analytica sem o consentimento deles para fazer propaganda política. Dentre os desdobramentos desses debates se encontra a Lei nº 13.709/2018, alterada pela Lei nº 13.853/2019, ou Lei Geral de Proteção aos Dados (LGPD), que dispõe sobre os limites e boas ... Read More

Feed: SAS Blogs. Author: Charles Des Monstiers. Design thinking, also known as collaborative design, is a way of innovating that puts customer needs above everything else. It requires you to observe how people really use products and interact with their environment in a very hands-on way, and feed that into your creative process. Design thinking is not new. It was invented by Rolf Faste at Stanford University in the mid-80s. However, the concept is still little known and seldom exploited by many companies. This is both surprising and unfortunate, because the technique allows you to innovate in very different ways ... Read More

Feed: SAS Blogs. Author: Rick Wicklin. A common question on SAS discussion forums is how to use SAS to generate random ID values. The use case is to generate a set of random strings to assign to patients in a clinical study. If you assign each patient a unique ID and delete the patients' names, you can preserve the patients' privacy during data analysis. A common requirement is that the strings be unique. This presents a potential problem. In a set of random values, duplicate values are expected. Think about rolling a six-sided die several times: you would ... Read More