内容简介:翻译自:https://stackoverflow.com/questions/32550478/pyspark-take-average-of-a-column-after-using-filter-function
我使用以下代码来获得薪水大于某个阈值的人的平均年龄.
dataframe.filter(df['salary'] > 100000).agg({"avg": "age"})
列的年龄是数字(浮点数),但我仍然收到此错误.
py4j.protocol.Py4JJavaError: An error occurred while calling o86.agg. : scala.MatchError: age (of class java.lang.String)
您是否知道在不使用groupBy函数和 SQL 查询的情况下获得avg等的任何其他方法.
聚合函数应该是值,列名是键:
dataframe.filter(df['salary'] > 100000).agg({"age": "avg"})
或者你可以使用pyspark.sql.functions:
from pyspark.sql.functions import col, avg
dataframe.filter(df['salary'] > 100000).agg(avg(col("age")))
也可以使用CASE .. WHEN
from pyspark.sql.functions import when dataframe.select(avg(when(df['salary'] > 100000, df['age'])))
翻译自:https://stackoverflow.com/questions/32550478/pyspark-take-average-of-a-column-after-using-filter-function
以上所述就是小编给大家介绍的《python – pyspark:使用过滤函数后取平均值》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!
猜你喜欢:- K均值算法
- Linux 求某一列平均值
- openCV之中值滤波&均值滤波(及代码实现)
- 机器学习实战---K均值聚类算法
- 吴恩达机器学习系列20:K - 均值算法
- R语言 模糊C均值(FCM)聚类分析
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
社交电商
[美] Stephan Spencer(斯蒂芬.斯宾塞)、[美] Jimmy Harding(吉米.哈丁)、[美] Jennifer Sheahan(詹尼弗.希汉) / 谭磊 / 电子工业出版社 / 2015-3 / 69.00元
你想要在互联网上赚钱吗?想要做好电子商务吗?那么你一定不能忽视社交媒体的力量。不管你想要营销的是实物商品、电子类产品还是本地的服务,这本书会教你怎么做。 《社交电商》全面介绍形形色色的社交媒体以及如何利用这些社交媒体来为你的企业做好服务。如果你经营得不好,在社交媒体上散发出的只是噪声而不是真正的信息。 而如果做得好,社交媒体会成为你最有效的营销工具,帮助你赢得老客户的拥戴,获得新的客户。 ......一起来看看 《社交电商》 这本书的介绍吧!