まず、フックの引数の数を明示します。
add_filter('item_list_layout_filter_list_price','custom_item_list_layout_filter_list_price', 10, 3);
タグはこのようになるかと思います。
function custom_item_list_layout_filter_list_price( $price, $post, $opts ) {
global $usces;
if( usces_the_firstPrice( 'return', $post ) == 0 ) {
$price = mb_convert_encoding( '¥', 'UTF-8', 'HTML-ENTITIES' ).'-'.$usces->getGuidTax();
}
return $price;
}