Tag: Container

Feed: CronJ. Author: Ayush Goel; As discussed in my last blog, there are 2 types of databases SQL and NoSQL. So in this blog, we will be looking at one type of NoSQL database that is MongoDB. MongoDB is an example of a document-type database, which means it stores data in JSON-like documents. One of the biggest reasons for its popularity is the data model used is a highly elastic one that allows us to combine and store data of multivariate types. MongoDB Architecture Let’s first discuss the architecture of MongoDB. A typical MongoDB architecture has 3 parts-  Database: A database ... Read More

Feed: Blog Post – Corporate – DataStax. Author: Louise Westoby, Senior Director, Product Marketing. Historically, software was monolithic. In most cases, development teams would have to rewrite or rebuild an entire application to fix a bug or add a new feature. Building applications with any sense of speed or agility was largely out of the question, which is why software suites like Microsoft Office were generally released once a year. Much has changed over the last decade or so. In the age of lightning-fast networks and instant gratification, leading software development teams are adopting DevOps workflows and prioritizing CI/CD so ... Read More

Feed: Radar. Author: Mac Slocum. Attend the Strata Data Conference in New York, September 23-26 to learn how ML, AI, and data are converging. The Strata Data Conferences helped chronicle the birth of big data, as well as the emergence of data science, streaming, and machine learning (ML) as disruptive phenomena. Strata attracts the leading names in the fields of data management, data engineering, analytics, ML, and artificial intelligence (AI). For nearly a decade, it’s provided a venue for developers, data and ML engineers, data architects, data scientists, and others to acquire or hone skills, explore provocative ideas, and network ... Read More

Feed: Radar. Author: Mac Slocum. Editor's note: Welcome to the first O’Reilly Radar column. We plan to use this column to cover topics related to the themes that have our attention these days: AI/ML; Next Economy and Future of the Firm; Next Architecture; and tech-driven innovation and disruption. We’ll also venture outside of O’Reilly’s core focus on technology practitioners to include how technology fits into the modern economy, and offer the kind of information that can provide guidance and confidence to technology leaders facing this brave new world. The Radar team uses a combination of input from our wide-ranging social ... Read More

Feed: Radar. Author: Mac Slocum. Both quantitatively and qualitatively, the Radar team has uncovered a growing wave of change in software development and architectural trends. Organizations are increasingly choosing the combination of cloud, containers, and orchestration to implement microservices as their directional architecture. The need to support business processes and customer expectations—and to have flexibility, adaptability, and scaling for new projects and for migrating legacy systems—has organizations embracing the interrelated technologies and approaches we call Next Architecture. In this report, we cover background, technology and business drivers, and key components that define the Next Architecture concept. Every company has a ... Read More

Feed: AWS Government, Education, & Nonprofits Blog. Author: publicsector. AWS EdStart members are pushing the limits in education by creating products and solutions to improve school administration. In honor of back to school season, we are featuring companies who are using Amazon Web Services (AWS) to build solutions that help educational institutions improve operations.Read on to learn about these AWS EdStart EdTechs: Hive Digital Minds Hive Digital Minds was created to help school leaders with their communication and parent engagement strategies. Their core product SchoolBzz is a software as a service (SaaS) platform that simplifies how information is shared with families ... Read More

Feed: AWS Compute Blog. Author: Matt Garman. We announced AWS Outposts at re:Invent last December and since then have seen immense customer interest. Customers have been asking for an AWS option on-premises to run applications with low latency and local data-processing requirements. AWS Outposts is a new service slated to launch in late 2019, that brings the same infrastructure, APIs, and tools that customers use in AWS to virtually any customer on-premises facility. It is a fully managed service; the physical infrastructure is delivered and installed by AWS, operated and monitored by AWS, and automatically updated and patched as part ... Read More

Feed: R-bloggers. Author: Tony Hirst. For those who don’t know it, MyBinder is a reproducible research automation tool that will take the contents of a Github repository, build a Docker container based on requirements files found inside the repo, and then present the user with a temporary, running container that can serve a Jupyter notebook, JupyterLab or RStudio environment to the user. All at the click of a button. Although the primary, default, UI is the original Jupyter notebook interface, it is also possible to open a MyBinder environment into JupyterLab or, if the R packaging is install, RStudio. For ... Read More

Feed: SAS Blogs. Author: Lijun Liu (リュウ リクン). 前回は、ビジネス価値創出につながる「オペレーショナル・アナリティクス for Data Scientist」ユースケースの論文を紹介しました。今回は、企業様にとって、クラウド上のインフラアーキテクチャと分析プラットフォームのデプロイメントについて、ご紹介します。昨今、なぜ「コンテナ」が注目されているのか、そして、クラウドやコンテナ上に分析プラットフォームを移行/構築し、活用することに関心があるのであれば、ぜひ最後までご覧ください。 1．Cows or Chickens: How You Can Make Your Models into Containers モデルは特定の作業（新しいデータをスコアリングして予測を出すこと）として役割を果たしてきています。一方、コンテナは簡単に作成し、廃棄し、再利用できることができます。実際、それらは簡単にインテグレートさせ、パブリッククラウドとオンプレミス環境で実行できます。SASユーザは本論文を通じて、簡単にモデルの機能をコンテナに入れることができます。例えば、パブリッククラウドとオンプレミス環境でのDockerコンテナ。また、SASのModel Managerは様々なソース（オープンソース、SAS、コンテナ等々）からモデルの管理を行うことができます。したがって、この論文はそれらの基本知識と、どのようにSASの分析モデルをコンテナに入れることをメインに紹介します。 2．Orchestration of SAS® Data Integration Processes on AWS この論文では、Amazon Web Services（AWS）S3でのSASデータインテグレーションプロセスの構成について説明します。例としては、現在サポートしているお客様がクレジット報告書を生成するプロセスを毎日実行しています。そして、そのお客様の対象顧客は1カ月ごとに1回その報告を受け取ります。データ量としては、毎日に約20万の顧客情報が処理され、最終的に毎月約600万人の顧客へ報告することとなります。プロセスはオンプレミスデータセンターで始まり、続いてAWSのSASデータインテグレーションでAPR計算が行われ、最後にオンプレミスデータセンターで報告書が生成されます。さらに詳しい情報としては、彼らのアーキテクチャ全体はマイクロサービスを使われていますが、同時にAWS Lambda、簡易通知サービス（SNS）、Amazon Simple Storage Service（Amazon S3）、およびAmazon Elastic Compute Cloud（EC2）などの独立した高度に分離されたコンポーネントも使われています。つまり、それらにより、データパイプラインに対するトラブルシューティングが簡単になっていますが、オーケストレーションにLambda関数を使用することを選択すると、プロセスがある程度複雑になります。ただし、エンタープライズアーキテクチャにとって最も安定性、セキュリティ、柔軟性、および信頼性もあります。S3FやCloudWatch SSMのようなより単純な代替手段がありますが、それらはエンタープライズアーキテクチャにはあまり適していません。 ３．SAS® on Kubernetes: Container Orchestration of Analytic Work Loads 現在、Big Dataの時代で、Advanced analyticsのためのインフラストラクチャに対するニーズが高まっています。また、分析自体に対して、最適化、予測が最も重要領域であり、小売業、金融業などの業界ではそれぞれ、分析に対する独自の課題を抱えています。この論文では、Google Cloud Platform（GCP）で提供されるGKEのKubernetesでこれらの仕事と課題を調整する方法を紹介します。本文で使われる例は、アナリティクス領域おいて最も強力な製品であるSASと、コンテナ管理の最適者GKEを使って、分析ワークロードを管理するソリューションを構築する例を紹介します。このソリューションには、スケーラブル、高いパフォーマンス、コスト削減とデプロイメントの簡単さというメリットがあります。 4．SAS® and Containers: The State of the Union 2019 近年、コンテナはアプリケーションの構築とデプロイに対し、一般的となってきている新しい技術です。SAS Global Forum 2018では、SAS Viyaのため、Dockerコンテナの作り方を紹介しました。コンテナは、SASコードまたはJupyter Notebook（Python）からViyaとそれに関連するCASアクションを呼び出し、使用することにより、SASプログラミングとその実証環境を立ち上げることができます。この論文では、違うSAS/ACCESSエンジンを通じて、いくつか例を挙げ、コンテナをKubernetes管理環境でより複雑なデプロイメントするパターンを紹介します。 5．Enabling SAS® Software to Communicate RESTfully with Cloud Services Representational State Transfer（REST）アーキテクチャは、クラウド通信の標準となってきています。その理由はRESTが各種独立して変化しているサービスプロバイダー間の抽象化通信方式を一つ共通の場を提供しているからです。 RESTがあるため、SASソフトウェアは通信の承認プロセスや持続させるファンクションなどの処理はどのように提供されているかを知る必要がなく、さらにクラウドサービスの変更による影響も受けません。例えば、認証プロセスをLDAPからKerberosへ変更することができ、持続性はPostgreSQLからOracleに変更することもできます。SASソフトウェアは、HTTPプロシージャを呼び出してクラウドサービス要求を送信し、LIBNAME定義をJSON（JavaScript Object Notation）エンジンと共に使用してクラウドサービス応答を解析することによって、機能にアクセスできます。このような動作原理によって、作業を自動的に負荷分散することもできます。この論文では、SASソフトウェアがクラウドサービスのRESTfulクライアントになる方法を紹介します。 6．Seriously Serial or Perfectly Parallel Data Transfer with SAS® Viya® SAS ... Read More

Feed: Planet MySQL; Author: Severalnines; Microsoft Azure is known to many as an alternative public cloud platform to Amazon AWS. It's not easy to directly compare these two giant companies. Microsoft's cloud business -- dubbed commercial cloud -- includes everything from Azure to Office 365 enterprise subscriptions to Dynamics 365 to LinkedIn services. After LinkedIn was acquired by Microsoft it began moving its infrastructure to Azure. While moving LinkedIn to Azure could take some time, it demonstrates Microsoft Azure’s capabilities and ability to handle millions of transactions. Microsoft's strong enterprise heritage, software stack, and data center tools offer both familiarity ... Read More