PySpark - 2023년 한 해를 돌아보며April 9, 2024 작성자: Hyukjin Kwon, Takuya Ueshin, Allison Wang, Ruifeng Zheng, Xinrong Meng, Haejoon Lee, Amanda Liu in 산업 (번역: Youngkyong Ko) Original Post 2023년에 출시된 Apache Spark 3.4와 3.5에서는 PySpark의 성능, 유연성, 사용 편의성을 개선하는 데 중점을 두었습니다. 이 블로그 게시물에서는...
DataFrame 동일성 테스트 함수를 이용하여 PySpark 테스트 간소화March 14, 2024 작성자: Haejoon Lee, Allison Wang, Amanda Liu in 엔지니어링 블로그 (번역: Youngkyong Ko) Original Post DataFrame 동일성 테스트 함수 는 PySpark 단위 테스트를 간소화하기 위해 Apache Spark 3.5와 Databricks Runtime 14.2에 도입되었습니다. 이...
SQL 함수의 명명된 인수(Named Arguments)December 6, 2023 작성자: Daniel Tenedorio, Xinyi Yu, Allison Wang, Wenchen Fan, Serge Rielau, Richard Yu in 엔지니어링 블로그 (번역: Youngkyong Ko) Original Blog Post 오늘은 SQL 함수에 명명된 인수(named arguments)를 사용할 수 있는 새로운 기능을 소개합니다. 이 기능을 사용하면 보다 유연한...
Apache Spark™ 3.5 소개October 30, 2023 작성자: Yuanjian Li, Daniel Tenedorio, Martin Grund, Allan Folting, Hyukjin Kwon,