Tag: Apache

Feed: Recent Announcements. We are excited to announce that Amazon EMR 6.5.0 now includes Apache Iceberg version 0.12. Apache Iceberg is an open table format for large data sets in Amazon S3 and provides fast query performance over large tables, atomic commits, concurrent writes, and SQL-compatible table evolution. With the current release, you can use Apache Spark 3.1.2 on EMR clusters with the Iceberg table format. Apache Iceberg offers an open source table format for data stored in data lakes that helps data engineers manage complex challenges such as managing continuously evolving data sets while maintaining query performance. Iceberg allows ... Read More

Feed: Recent Announcements. Amazon FinSpace managed Spark clusters now support Apache Spark 3.1.2. Apache Spark 3 has query optimization features like dynamic partition pruning to optimize joins such as joining a large fact table of trades with a smaller dimension table of execution centers. It also includes changes to be more compatible with the ANSI SQL standard and features 30 new built-in functions. FinSpace Spark clusters make it simple for analysts to launch, connect, resize and terminate clusters. FinSpace Spark clusters are available in five sizes, so you can select a configuration that is suitable for your workload, and they ... Read More

Feed: Recent Announcements. Amazon EMR integration with AWS Lake Formation allows you to define and enforce database, table, and column-level permissions when Apache Spark users access data in Amazon S3 through the Glue Data Catalog. Previously, with AWS Lake Formation integration is enabled, you were limited to only being able to read data using Spark SQL statements such as SHOW DATABASES and DESCRIBE TABLE. Now, you can also insert data into, or update the Glue Data Catalog tables with these statements: INSERT INTO, INSERT OVERWRITE, and ALTER TABLE. This feature is enabled on Amazon EMR 5.34 in the following AWS ... Read More

Feed: Recent Announcements. AWS Lambda now supports Max Batching Window, a new feature that allows developers to fine tune Lambda invocation for cost optimization. This feature gives you additional control on batching behavior when processing data from Amazon MSK, Apache Kafka, Amazon MQ for Apache Active MQ and RabbitMQ as event sources. Lambda reads records from an event source stream at a fixed cadence and invokes a function with a batch of records. Max Batching Window allows you to wait as long as 300s to build a batch before invoking a function. Now, a function is invoked when one of ... Read More

Feed: SAS Blogs. Author: SAS Japan. Log4jの脆弱性に関する最近のニュースは、SASのお客様の多くにとって依然として最大の懸念事項です。ここでは、SASによる最新の活動と発見事項を皆様と共有したいと思います。 SASのお客様へ： SASソフトウェア環境およびSAS Cloudホスティング環境のセキュリティと完全性は常に当社の最優先事項です。SASのチームは、Log4j脆弱性に関する報道が出た後の早い時期（2021年12月中旬）に迅速に対応しました。オンプレミス環境のお客様のためには、影響を受けるSAS製品に関する情報はもとより、推奨されるアクションもご案内しました。SAS Viya 2021.2.2には、アップデートされたバージョンのLog4jが含まれています。加えて、当社は「loguccino」という無償ツールをリリースしました。お客様はこれを使うことで、ご利用中のSAS 9.4およびSAS Viya 3.x環境内にある脆弱なlog4jファイル群を検出し、パッチを適用することができます。 SAS Cloudホスティング環境のお客様のためには、「こうした脆弱性が悪用される可能性のある、この環境の複数の側面」を即座に強固にしました。具体的には、ネットワークベースのポリシーの厳格化や監視の増強などです。当社では「これらの公表された脆弱性に特化した形での、SASソフトウェアに関連した攻撃」のエビデンスは一切検知しておりません。 さらなる調査の結果、当社では「Log4j脆弱性自体は深刻であるものの、SASがホスティングされているシステム内におけるLog4jのコンフィグレーションおよび利用法では、エクスポージャーは極めて限定的」と判断しました。いかなる未認証ユーザー（＝既存のアクセス権限を持たないユーザー）も、リモートコード実行脆弱性（RCE脆弱性）をトリガーすることはできません。これらの発見事項と既に実施済みの予防措置とを踏まえ、当社では「SAS Cloud内のお客様のSASアプリケーションとデータは安全性が維持されている」という確信を感じています。 さらなる詳細については、本件に関するSAS Security Bulletin（セキュリティ速報）をご覧ください。 ご利用中のSAS環境の生産性・安全性の維持に関する皆様の継続的なパートナーシップに感謝いたします。また、SASのお客様でいてくださり、ありがとうございます！ セキュリティ速報のハイライト 上記の速報のアップデートに関する通知を受け取るには、SAS Support Communitiesのトピック「Updates on log4j Remote Code Execution Vulnerability (CVE-2021-44228)」をサブスクライブするか、このRSSフィードをフォローしてください。 SASでは、お客様のために “監査済みの自動化されたアプローチ” を提供する取り組みの一貫として、「loguccino」という脆弱性パッチスクリプトを開発済みです。このloguccinoは「logpresso」に似たツールですが、SASソフトウェア向けにカスタマイズされています。このツールはSAS 9.4およびSAS Viya 3環境を修復するために特別に設計されており、脆弱なLog4j JARファイルを再帰的に検索し、JndiLookupクラスを取り除いた上で、この脆弱性を含まない状態でJARを再パッケージ化します。 上記の速報には、SASがアップデート済みバージョンのLog4jを自社ソフトウェア内にデリバリーするにあたっての計画とタイムラインも記載されています。 SAS Viya 2020.1、SAS Viya 3.5、SAS Viya 3.4プラットフォームおよびSAS 9のSAS Logonプロセス内でのLog4jの利用に関してSASが実施した継続的および継続中の調査では、「CVE-2021-44228に関するコミュニティの理解を踏まえると、未認証のRCEエクスプロイトは現時点では不可能である」という結論に達しています。 大手の脆弱性スキャニング・ベンダー（Qualys、Rapid7、Tenable）はすべて、「この脆弱性に関連した最も一般的な攻撃ベクトル群をチェックするための、アップデートされたシグニチャ群」をリリース済みです。 最後に念のため繰り返しますが、お客様はいつでも当社のSupportサイトで最新のセキュリティ速報（英語）をご覧いただけます。 この記事は、英語版のオリジナルをもとにSAS Institute Japanが翻訳および編集したものです。 ... Read More

Feed: AWS Architecture Blog. For a long time, industrial control systems were the heart of the manufacturing process which allows collecting, processing, and acting on data from the shop floor. Process manufacturers used a distributed control system (DCS) to do the automated control and operation of an industrial process or plant. With the convergence of operational technology and information technology (IT), customers such as Yara are integrating their DCS with additional intelligence from the IT side. This provides customers with a holistic view of the different data sources to make more complex decisions with advanced analytics. In this blog post, ... Read More

Feed: Recent Announcements. Amazon SageMaker Feature Store is announcing a new enhancement, a connector for Apache Spark that makes batch data ingestion easier for customers. Amazon SageMaker Feature Store is a fully managed, purpose-built repository to store, update, retrieve, and share machine learning (ML) model features. There are various ways to ingest data into SageMaker Feature Store including the PutRecord API, SageMaker Python SDK’s FeatureGroup.ingest functionality and SageMaker Processing Job ... Read More

Feed: AWS Public Sector Blog. Author: Mukhtar Kabir. This blog post aims to provide a summary of all the currently disclosed Apache Log4j vulnerabilities as well as important resources that Amazon Web Services (AWS) has released to help our customers and partners limit the risk of these vulnerabilities. Log4j vulnerability description and timeline On December 9, 2021, news broke about a newly discovered vulnerability (CVE-2021-44228) in Apache’s popular Log4j Java-based logging utility. This vulnerability was issued a severity of “Critical” and a base Common Vulnerability Scoring System (CVSS) score of 10.0, affecting several versions of the logging utility. This is ... Read More

Feed: SAS Blogs. Author: SAS Software. SAS is tracking and actively responding to the remote execution vulnerability known as "Log4Shell" (CVE-2021-44228). The vulnerability exists in some versions of the Apache Log4j Java logging library, and was initially disclosed on December 9, 2021. See the SAS security bulletin about this vulnerability. The bulletin contains information about affected SAS software and services, as well as list of actions already taken by SAS. As new information and guidance becomes available, we will update this bulletin. To receive notifications about bulletin updates, subscribe to the Updates on log4j Remote Code Execution Vulnerability (CVE-2021-44228) topic ... Read More

Feed: Planet PostgreSQL. In parts 6 and of the pipeline series we took a different path in the pipe/tunnel and explored PostgreSQL and Apache Superset, mainly from a functional perspective—how can you get JSON data into PostgreSQL from Apache Kafka Connect, and what does it look like in Superset. In part 8, we ran some initial load tests and found out how the capacity of the original Elasticsearch pipeline compared with the PostgreSQL variant. These results were surprising, so in true “Myth Busters” style we had another attempt to make them more comparable (Part 9). In this blog, we sum ... Read More