Tag: Scripting

Feed: Planet PostgreSQL. Replication is a critical part of any database system that aims to provide high availability (HA) and effective disaster recovery (DR) strategy. This blog is aimed at establishing the role of replication in a database system. The blog will give a general overview of replication and its types as well as an introduction to replication options in PostgreSQL. The term Replication is used to describe the process of sharing information between one or more software or hardware systems; to ensure reliability, availability, and fault-tolerance. These systems can be located in the same vicinity, could be on a single ... Read More

Feed: The Connector by Workato. Author: Pamela Seaton; Lead enrichment is an important part of the lead management process, which also includes lead uploads, lead-to-account matching, lead routing and lead follow-up. After a campaign or collecting leads at a conference, for example, you will have undoubtedly seen the telltale signs of gaps in lead details — their first or last name, phone number, company size, email address or any other applicable field that needs to be identified before uploading a lead template to the marketing/CRM/sales enablement tool of your choosing.  However, to ignore incomplete or unenriched leads is costly. After ... Read More

Feed: Microsoft Power BI Blog | Microsoft Power BI. Author: . We find great pleasure in announcing RC1 of SQL Server 2019 Analysis Services (SSAS 2019). The SSAS 2019 release is now feature complete! We may still make performance improvements for the RTM release. RC1 introduces the following features: Custom ordering of calculation items in calculation groups Query interleaving with short query bias for high-concurrency workloads Online attach for optimized synchronization of read-only replicas Improved performance of Power BI reports over SSAS multidimensional Governance setting to control Power BI cache refreshes SSAS 2019 features announced in previous CTPs are recapped ... Read More

Feed: SAS Blogs. Author: Lijun Liu (リュウ リクン). 例年と同様に、SAS Instituteはグローバル各国でフォーラムを開催しました。日本ではSAS Forum Japanと題して6月11日に東京の六本木で開催され、また、アメリカSAS本社はダラスでSAS Global Forum 2019を開催（4/28~5/1）し、その中では多数の論文が発表されています。本シリーズでは、これらの論文の中から、OSSとSASプラットフォーム製品のユースケース、OSSコーディング開発・運用事例、クラウドアーキテクチャの設計と運用等々の注目された内容を選別した上で、４回に分けて紹介していきます。 第1回「OSS言語から活用できるオープンなSASプラットフォーム」 近年、OSS（オープンソースソフトウェア）プログラミング言語が数多くのデータサイエンティストや企業によって利用され、分析モデルが開発されています。PythonやR、Luaなどデータサイエンティストや開発者たちに好かれたプログラミング言語はアナリティクス業界に革新をもたらしました。SASはそれらのOSSユーザと企業の要望に応じ、従来のSASユーザとOSSプログラミングユーザーたちが共同作業、かつ連携できるようなプラットフォームを提供しています。今回は、OSSユーザがどのような方法を利用し、SASプラットフォーム上で自由自在なデータ分析を行えるのかをテーマとし、SAS Global Forumで公開した論文をご紹介します。 1．Open Visualization with SAS® Viya® and Python この論文では、オープンソース言語の一つであるPythonに関し、SAS ViyaのSWAT（Scripting Wrapper for Analytics Transfer）を通じて、メインにオープンソースのグラフィックテクノロジー、特にPythonのMatplotライブラリ、そして現在主流となっているD3の可視化フレームワークとのインテグレーション技術について紹介しています。本文で用いた例は、統計プログラミングのサンプルを使って、Jupyter NotebookからSAS Viyaの機能を呼び出し、最終的に、mpld3で作られた静的なグラフを動的グラフに変更した例となります。 2．SWAT’s it all about? SAS Viya® for Python Users SASは2016の7月にPythonライブラリSWATをリリースしました。それにより、PythonユーザはSASのCASに接続して、SAS Viyaの各種機能を使えるようになりました。SWATを利用することで、SAS言語バックグラウンドを持っていないユーザには、SAS言語ユーザと同じくCASとSAS Viyaの各種機能を使用できるようになります。この論文では、Python SWATを通じて、CASセッションへ接続し、PythonからCASへデータをロードし、さらにCASアクションで実行して分析する一連作業をデモンストレーションの形で紹介します。使用するデータは、SASほかのアプリケーション、例えばVisual Analyticsなどでも利用できる様子を紹介します。 3．Deploying Models Using SAS® and Open Source 近来、機械学習と人工知能の議論はほとんどの時間がモデル開発の議論に費やされています。しかし、モデルによって得られる洞察をどのように効率的にビジネス価値創出に適用するかに関してはほとんど議論されていません。この論文では、モデルの構築に応じ、Docker、Flask、Jenkins、Jupyter、Pythonなどのオープンソースプロジェクトとの組み合わせで、SASを使用してモデルを展開するためのDevOpsプリンシパルの使用例を紹介します。例に使われている関連アプリケーションはグローバルなユーザベースを持つ資産上のレコメンド・エンジンとなります。この使用例は、セキュリティ、待ち時間、スケーラビリティ、再現性に直面する必要があることをめぐってディスカッションします。最後に、その解決策となるソリューションとその課題となる部分を含めて説明します。 4．SAS® and Open Source: Two Integrated Worlds 現在、データサイエンティストたちは多様なコマーシャル、オープンソースのツールを使ってデータ分析を行っている時代となってきました。その結果、アナリティクスと人工知能のエンタープライズアプリケーションにとっては、各種ツールのコラボレーションを重要視にする必要に迫られています。SASはそれら各種のユーザに対し、データ分析と結果を簡単に操作できるプラットフォームを提供しています。例えば、PythonやRなどの言語を中心とするプログラミング能力を持っているデータサイエンティストや開発者は、生産性の向上と価値実現までの時間を短縮するために様々なAPIを通じて効率的に使用することができます。この論文では、SASのソフトウェアが提供しているオープンソースツールとのインテグレーション機能により、どのようにエンドツーエンドの分析ワークフローをサポートするベストプラクティスについて紹介します。 5．A Complete Introduction to SASPy and Jupyter Notebooks この論文では、Jupyter Notebooksの概要説明から始め、次にPythonコードからSASセッションとシームレスに通信することを可能にするSASPyの本質的な概念の説明に進みます。 そのプロセスに含まれているPython Data Frame、そしてSASデータセットとの連携性、さらにSASの作業をJupyter Notebookワークスペースに取り入れ、Pythonの構文の幅広い魅力を生かして生産性を高めることによってもたらされる独自の利点も紹介します。 ６．Make SAS Viya Realize Strategic Data Science ~Data Governance, AI platform and AI SAS programmer~ データサイエンティストは常に「データサイエンス」を最大限に生み出すため、様々なモデルを構築し、様々な種類のデータに対する最新の解析方法を学習する必要があります。また、この論文で定義する人工知能（AI）は、人々の活動をサポートする一連のプロセスを持つシステムです。例えば、「認知」、「学習」、「行動」というプロセス。AIには様々種類のデータが使用されているため、認知、学習、行動に使用されるモデルまた方法はデータ形式によって異なります。しかし、データサイエンスについて話をする際に、データ形式に関係なく、データガバナンスは非常に重要です。この論文では、SAS Viyaを通じて、PythonとSASを使用してデータガバナンスに関する戦略を立て、機械学習やディープランニング（CNN、RNNなど）の効果的なマッチングに基づいてデータサイエンスを最大化していることを紹介します。例として、当社、塩野義製薬株式会社が開発した臨床データ解析用のSASプログラムを半自動化作成する「AI SAS Programmer」システムを紹介します。このシステムは、まさにSAS Viyaを通じて、自動的にプログラミング言語を選択するにより、分析作業における標準作業時間の33%削減することに繋がりました。現在このData Drivenデータガバナンスのベースに基づいて、新薬開発の製品革新にデータサイエンスを利用する戦略を立てていて、それについても少し紹介します。 7．The ... Read More

Feed: Planet big data. Author: Praveen Sripati. Disclosure : The intention is NOT to help others hack, but to make sure they can secure their applications built on top of AWS or some other Cloud. A few mitigations to fix the SSRF vulnerability have been mentioned towards the end of the blog. Introduction  Capital One hosted their Services on AWS and it was hacked (, ). It's a feature in AWS which was exploited and a misconfiguration done by the Capital One which caused the hack by an ex-AWS employee. The information about the hack was every where in the ... Read More

Feed: Planet MySQL; Author: Severalnines; Deployment and management your database environment can be a tedious task. It's very common nowadays to use tools for automating your deployment to make these tasks easier. Automation solutions such as Chef, Puppet, Ansible, or SaltStack are just some of the ways to achieve these goals. This blog will show you how to use Puppet to deploy a Galera Cluster (specifically Percona XtraDB Cluster or PXC) utilizing ClusterControl Puppet Modules. This module makes the deployment, setup, and configuration easier than coding yourself from scratch. You may also want to check out one of our previous ... Read More

Feed: AWS Partner Network (APN) Blog. Author: Kevin Kelly. By Kevin Kelly, Director of AWS Certification and Education ProgramsWe’ve heard from AWS Partner Network (APN) Partners and customers around the world that hiring skilled cloud talent can be a challenge. As part of our larger AWS Training and Certification vision, we want to help build a pipeline for entry-level cloud roles. To this end, we have a new cohort of cloud-ready, AWS-trained individuals ready for employment across the United States. We are excited to announce the launch of AWS re/Start in the U.S. after a two-year pilot in the United ... Read More

Feed: CronJ. Author: Prateek Agarwal; In this blog, I am going to explain to you more about Best Javascript frameworks to use in 2019. What comes to mind when one hears the word javascript? Some would think of it as a language used at frontend, can be used to trigger any event and handle that event, can be used to send a request and get a response from the backend or from an API. Nowadays developers are also using it as a platform to implement backend, to connect with the server and perform operations on the server. Javascript is basically ... Read More

Feed: AWS Architecture Blog. A few weeks ago, we kicked off this series with a discussion on REST vs GraphQL APIs. This post will dive deeper into the things an API architect or developer should consider when building REST APIs with Amazon API Gateway.Request Rate (a.k.a. “TPS”) Request rate is the first thing you should consider when designing REST APIs. By default, API Gateway allows for up to 10,000 requests per second. You should use the built in Amazon CloudWatch metrics to review how your API is being used. The Count metric in particular can help you review the total number of API requests ... Read More

Feed: R-bloggers. Author: stats_on_the_cloud. With the Rugby World Cup 2019 Japan starting on 20th September, I thought I’d take a look at the tournament from a few different statistical angles. For this post I’ll be looking at the problem: given a rugby score, how can we decompose it into possible combinations of tries, conversions, penalties and dropped goals? Context I have a dataframe of results for almost all professional and international rugby union scores since the 2012/13 season, more than 10,000 matches. This is nice in terms of ‘breadth’ of the sample – however in terms of depth it’s a ... Read More